Zum Inhalt springen
Training & Optimierung

Batch Size PLUS

In einem Satz

Die Batch Size bestimmt, wie viele Trainingsbeispiele ein neuronales Netz gleichzeitig verarbeitet, bevor es seine Gewichte aktualisiert.

Die Batch Size bestimmt, wie viele Trainingsbeispiele ein neuronales Netz gleichzeitig verarbeitet, bevor es seine Gewichte aktualisiert. Sie ist einer der wichtigsten Trainings-Hyperparameter - und einer der unterschätztesten.

Am einen Extrem steht Stochastic Gradient Descent (SGD) mit Batch Size 1: Nach jedem einzelnen Beispiel wird das Netz aktualisiert. Das Lernen ist schnell und verrauscht - der Zufall hilft manchmal, aus lokalen Minima zu entkommen. Am anderen Extrem steht Full-Batch Training: Das gesamte Dataset wird verarbeitet, bevor ein einziger Update-Schritt erfolgt. Das Lernen ist stabil, aber extrem langsam und speicherhungrig.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Hyperparameter

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz