Derivative

Die Derivative (Ableitung) ist das mathematische Werkzeug, das neuronale Netze lernfähig macht. Ohne Ableitungen kein Gradient Descent, ohne Gradient Descent kein Training, ohne Training keine KI.

Die Ableitung f'(x) einer Funktion f(x) gibt an, wie stark sich der Funktionswert ändert, wenn man x um eine infinitesimale Menge verändert — die Steigung der Funktion an dem Punkt. Im Kontext neuronaler Netze: Wie stark ändert sich der Loss, wenn man ein einzelnes Gewicht leicht anpasst?

Backpropagation nutzt die Kettenregel der Differentialrechnung, um die Ableitung des Loss nach jedem Gewicht im gesamten Netz effizient zu berechnen. Die partielle Ableitung ∂L/∂w_ij gibt die Richtung an, in der das Gewicht w_ij angepasst werden muss, um den Loss zu reduzieren.

Die automatische Differenzierung (Autodiff), implementiert in PyTorch (Autograd) und TensorFlow (GradientTape), macht manuelle Ableitungsberechnung überflüssig. Der Entwickler definiert den Forward Pass, das Framework berechnet die Ableitungen automatisch.

Probleme mit Ableitungen: Vanishing Gradients (die Ableitung wird in tiefen Netzen so klein, dass die unteren Schichten kaum lernen — gelöst durch ReLU, Batch Normalization, Residual Connections). Exploding Gradients (die Ableitung wird exponentiell groß — gelöst durch Gradient Clipping). Non-differentiable Operations (z.B. Argmax) erfordern Approximationen (Straight-Through Estimator, Gumbel-Softmax).

Die gesamte moderne KI beruht darauf, dass die relevanten Operationen differenzierbar sind — ein Constraint, der die Architekturwahl fundamental beeinflusst.