Backward Pass

Der Backward Pass — auch Rückwärtsdurchlauf oder Backpropagation-Schritt — ist die Phase des neuronalen Netz-Trainings, in der das Modell aus seinen Fehlern lernt. Er bildet zusammen mit dem Forward Pass den Herzschlag jedes Trainingszyklus.

Der Ablauf in Kurzform: Im Forward Pass fließen Daten durch das Netz und produzieren eine Vorhersage. Die Loss Function misst, wie weit die Vorhersage vom gewünschten Ergebnis entfernt ist. Im Backward Pass berechnet der Backpropagation-Algorithmus für jedes einzelne Gewicht im Netz, wie stark es zum Fehler beigetragen hat — den Gradienten. Die Gewichte werden dann in die entgegengesetzte Richtung des Gradienten angepasst (Gradient Descent).

Mathematisch nutzt Backpropagation die Kettenregel der Differentialrechnung, um Gradienten effizient von der Ausgabeschicht zurück zur Eingabeschicht zu propagieren. Ohne die Kettenregel müsste man den Gradienten jedes Gewichts einzeln durch numerische Differenzierung berechnen — bei Milliarden Parametern rechnerisch unmöglich.

Die Methode wurde unabhängig mehrfach entwickelt. Paul Werbos beschrieb sie 1974 in seiner Dissertation, David Rumelhart, Geoffrey Hinton und Ronald Williams machten sie 1986 mit ihrem Nature-Paper populär. Dieses Paper gilt als einer der Wendepunkte der KI-Geschichte: Es ermöglichte das Training tiefer neuronaler Netze und legte den Grundstein für alles, was danach kam.