Cross-Validation

Cross-Validation ist die Standard-Methode, um die Generalisierungsleistung eines ML-Modells zuverlässig zu schätzen — anstatt sich auf einen einzigen Train/Test-Split zu verlassen.

Das Problem: Ein einzelner Split kann zufällig günstig oder ungünstig sein. Ein Modell, das zufällig alle einfachen Beispiele im Testset bekommen hat, wirkt besser als es ist. Cross-Validation eliminiert diesen Zufall.

Die gebräuchlichste Variante ist K-Fold Cross-Validation. Die Daten werden in K gleichgroße Teile (Folds) geteilt. Das Modell wird K-mal trainiert: Jedes Mal ist ein anderer Fold der Testset, die restlichen K-1 Folds das Trainingsset. Am Ende werden die K Ergebnisse gemittelt. K=5 oder K=10 sind typische Werte.

Varianten adressieren spezifische Probleme. Stratified K-Fold stellt sicher, dass jeder Fold die gleiche Klassenverteilung hat — unverzichtbar bei unbalancierten Daten. Leave-One-Out Cross-Validation (LOOCV) nutzt jeden Datenpunkt einmal als Testset — maximale Nutzung der Daten, aber rechenintensiv. Time Series Split respektiert die zeitliche Reihenfolge — Zukunftsdaten dürfen nie im Trainingsset sein.

Nested Cross-Validation (innere und äußere Schleife) verhindert eine subtile Form des Overfittings: Wenn man Hyperparameter auf dem Validierungsset optimiert und auf demselben Set evaluiert, ist die Schätzung optimistisch. Die äußere Schleife liefert eine unvoreingenommene Schätzung der Modellleistung.

In der Deep-Learning-Praxis wird Cross-Validation seltener eingesetzt (Training ist teuer), aber für kleinere Datensätze und tabellarische Daten bleibt sie Gold-Standard.