Gradient Descent

Gradient Descent (Gradientenabstieg) ist der mathematische Optimierungsalgorithmus, der das Herzstück fast aller Lernprozesse in neuronalen Netzen bildet. Man kann sich das Training eines Netzes wie eine Wanderung in einem nebligen Gebirge vor, bei der man das tiefste Tal finden will (den Punkt des minimalen Fehlers).

Da man wegen des Nebels (Millionen von Parametern) nicht das ganze Tal sehen kann, tut man Folgendes: Man tastet mit dem Fuß, in welche Richtung es aktuell am steilsten bergab geht (das ist der negative Gradient). Dann macht man einen kleinen Schritt in diese Richtung (bestimmt durch die Lernrate). Wiederholt man dies millionenfach, landet man (hoffentlich) im Tal, also beim optimalen Modell. Varianten wie 'Adam' oder 'Stochastic Gradient Descent' verbessern dieses Verfahren.