AdaBoost

AdaBoost (Adaptive Boosting) gilt als einer der Durchbrüche im maschinellen Lernen. 1996 von Yoav Freund und Robert Schapire entwickelt, löste es ein theoretisches Problem, das die Community seit Jahren beschäftigte: Kann man aus vielen schwachen Lernern einen starken bauen?

Die Antwort ist ja, und die Methode ist elegant. AdaBoost trainiert nacheinander eine Serie einfacher Klassifikatoren (oft Entscheidungsstümpfe — Decision Trees mit nur einer Ebene). Nach jedem Durchgang werden falsch klassifizierte Beispiele stärker gewichtet, sodass der nächste Klassifikator gezwungen ist, sich auf die schwierigen Fälle zu konzentrieren. Am Ende stimmen alle Klassifikatoren gewichtet ab.

Das Ergebnis ist verblüffend: Selbst simple Entscheidungsstümpfe, die einzeln kaum besser als Raten sind, werden zusammen zu einem leistungsstarken Ensemble. Freund und Schapire erhielten dafür 2003 den Gödel-Preis, eine der höchsten Auszeichnungen in der theoretischen Informatik.

AdaBoost war wegweisend für die Familie der Boosting-Methoden, zu der heute Gradient Boosting, XGBoost und LightGBM gehören. Diese Nachfolger dominieren nach wie vor Wettbewerbe mit tabellarischen Daten auf Plattformen wie Kaggle — ein Bereich, in dem Deep Learning überraschenderweise oft unterlegen ist.