AdamW PLUS
AdamW ist eine Variante des Adam-Optimierers, die den Gewichtsabbau von der eigentlichen Gradientenaktualisierung trennt.
AdamW ist ein Optimierungsverfahren für neuronale Netze. Es verändert Adam so, dass der Gewichtsabbau unabhängig von der gradientengesteuerten Anpassung behandelt wird.
Gewichtsabbau verkleinert Gewichte während des Trainings und dient der Regularisierung. Bei adaptiven Verfahren wie Adam ist eine L2-Strafe im Fehlerwert nicht gleichbedeutend mit diesem getrennten Gewichtsabbau. Die Originalarbeit zeigt diese Abweichung und schlägt die Entkopplung vor.
Mit KI Woche Plus weiterlesen
Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.
9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.
Erklärung wird geladen …