Ensemble Learning

Ensemble Learning ist die ML-Strategie, mehrere verschiedene Modelle zu kombinieren, um eine Vorhersage zu erzeugen, die genauer ist als die jedes Einzelmodells — das ML-Äquivalent von „zwei Köpfe sind besser als einer".

Die drei Hauptstrategien: Bagging: Mehrere Modelle werden auf zufälligen Teilmengen der Daten trainiert und ihre Vorhersagen gemittelt. Random Forest ist das Paradebeispiel — Hunderte Decision Trees stimmen ab. Boosting: Modelle werden sequentiell trainiert, jedes korrigiert die Fehler des vorherigen. XGBoost, LightGBM und CatBoost sind die dominierenden Implementierungen. Stacking: Verschiedene Modelltypen (z.B. Random Forest + SVM + Neuronales Netz) werden trainiert und ein Meta-Learner kombiniert deren Vorhersagen.

Warum funktioniert es? Condorcets Jury-Theorem: Wenn jedes Modell im Durchschnitt öfter richtig als falsch liegt und die Fehler unkorreliert sind, steigt die Wahrscheinlichkeit einer korrekten Mehrheitsentscheidung mit der Zahl der Modelle gegen 100%.

In der Praxis: Kaggle-Wettbewerbe werden fast immer von Ensembles gewonnen. Bei tabellarischen Daten ist ein Gradient-Boosting-Ensemble (XGBoost + LightGBM + CatBoost) schwer zu schlagen. Bei Bildern und Text dominieren einzelne große neuronale Netze, aber Ensembles von Modellvarianten (verschiedene Seeds, verschiedene Augmentierungen) verbessern auch hier die Leistung.

Mixture of Agents — die Kombination mehrerer LLMs (z.B. GPT-4 + Claude + Gemini), deren Antworten aggregiert werden — ist die LLM-Variante des Ensemble-Prinzips.