Batch Normalization
Batch Normalization (Batch Norm) ist eine Technik, die 2015 eingeführt wurde und das Training tiefer neuronaler Netze revolutioniert hat. Sie adressiert das Problem des 'Internal Covariate Shift', bei dem sich die Verteilung der Inputs einer Schicht ständig ändert, weil sich die Parameter der vorherigen Schichten während des Trainings ändern. Das macht das Training instabil und langsam, da man sehr vorsichtige (niedrige) Lernraten wählen muss.
Batch Norm löst dies, indem es die Aktivierungen jeder Schicht für jeden Mini-Batch normalisiert: Es subtrahiert den Mittelwert des Batches und teilt durch die Standardabweichung, sodass die Daten immer zentriert sind (Mittelwert ca. 0, Streuung ca. 1). Danach werden sie wieder so skaliert und verschoben, wie das Netz es für optimal hält. Dies führt zu drastisch schnellerer Konvergenz, erlaubt höhere Lernraten und macht das Netz weniger abhängig von der Initialisierung der Gewichte.
OptimizationDeep Learning
Verwandte Begriffe
Parameter Efficient Fine Tuning (PEFT)PEFT macht Fine-Tuning billig. Statt alle Milliarden Parameter zu ändern, passt man nur wenige an (Adapter). …EpochEine Epoch ist ein vollständiger Durchlauf durch den gesamten Trainingsdatensatz. Wenn ein Datensatz 10.000 …Cost FunctionDie Cost Function (auch Loss Function oder Verlustfunktion) ist die mathematische Formulierung dessen, was e …



