Batch Size PLUS
Die Batch Size bestimmt, wie viele Trainingsbeispiele ein neuronales Netz gleichzeitig verarbeitet, bevor es seine Gewichte aktualisiert.
Die Batch Size bestimmt, wie viele Trainingsbeispiele ein neuronales Netz gleichzeitig verarbeitet, bevor es seine Gewichte aktualisiert. Sie ist einer der wichtigsten Trainings-Hyperparameter - und einer der unterschätztesten.
Am einen Extrem steht Stochastic Gradient Descent (SGD) mit Batch Size 1: Nach jedem einzelnen Beispiel wird das Netz aktualisiert. Das Lernen ist schnell und verrauscht - der Zufall hilft manchmal, aus lokalen Minima zu entkommen. Am anderen Extrem steht Full-Batch Training: Das gesamte Dataset wird verarbeitet, bevor ein einziger Update-Schritt erfolgt. Das Lernen ist stabil, aber extrem langsam und speicherhungrig.
Mit KI Woche Plus weiterlesen
Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.
9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.
Erklärung wird geladen …