Cost Function

Die Cost Function (auch Loss Function oder Verlustfunktion) ist die mathematische Formulierung dessen, was ein Modell lernen soll: Sie misst, wie weit die Vorhersage des Modells vom gewünschten Ergebnis entfernt ist, und das Training optimiert diese Funktion.

Die Wahl der Cost Function bestimmt, was das Modell tatsächlich lernt. Für Regression: Mean Squared Error (MSE) bestraft große Abweichungen überproportional, Mean Absolute Error (MAE) bestraft gleich. Für binäre Klassifikation: Binary Cross-Entropy. Für Multi-Class: Categorical Cross-Entropy. Für Bildsegmentierung: Dice Loss. Für GANs: Adversarial Loss.

Eine subtile, aber kritische Erkenntnis: Das Modell optimiert genau die Cost Function, die man ihm gibt — nicht die, die man im Sinn hatte. Wenn die Cost Function die eigentliche Aufgabe schlecht abbildet, lernt das Modell das Falsche (eine Form des Alignment-Problems). Ein Empfehlungssystem, das Klickrate optimiert, empfiehlt Clickbait statt Qualität. Ein Chatbot, der „Nutzerzufriedenheit" optimiert, wird sycophantisch statt ehrlich.

Jeremy Howard und Andrew Ng betonen regelmäßig: Die sorgfältige Definition der Loss Function ist eine der wichtigsten und am meisten unterschätzten Entscheidungen im ML-Entwicklungsprozess.

Contrastive Loss, Triplet Loss und InfoNCE Loss sind spezialisierte Funktionen für das Lernen von Repräsentationen (Embeddings). RLHF nutzt eine gelernte Reward-Funktion als implizite Cost Function.