Zum Inhalt springen
Training & Optimierung

AdamW PLUS

In einem Satz

AdamW ist eine Variante des Adam-Optimierers, die den Gewichtsabbau von der eigentlichen Gradientenaktualisierung trennt.

AdamW ist ein Optimierungsverfahren für neuronale Netze. Es verändert Adam so, dass der Gewichtsabbau unabhängig von der gradientengesteuerten Anpassung behandelt wird.

Gewichtsabbau verkleinert Gewichte während des Trainings und dient der Regularisierung. Bei adaptiven Verfahren wie Adam ist eine L2-Strafe im Fehlerwert nicht gleichbedeutend mit diesem getrennten Gewichtsabbau. Die Originalarbeit zeigt diese Abweichung und schlägt die Entkopplung vor.

PLUS

Mit KI Woche Plus weiterlesen

Dieser vertiefende Begriff ist Teil von KI Woche Plus. Alle anderen Begriffe lesen Sie mit einem kostenlosen Konto vollständig.

9,90 € im Monat oder 99,90 € im Jahr, inkl. USt.

Verwandte Begriffe

Sonntags die ganze KI Woche, kostenlos auf LinkedIn Editorial, die wichtigsten Themen und was daraus folgt. Jederzeit abbestellbar. Der Plus-Newsletter für Mitglieder von KI Woche Plus startet in Kürze.
Newsletter abonnieren

Willkommen zurück

Ein Konto für die KI Woche, Ihre Downloads und die App. Ohne Passwort: Sie bekommen einen Code per E-Mail.

Buch gekauft? Ihre Unterlagen finden Sie unter Downloads. Code erhalten? Hier einlösen. Datenschutz