Empirical

Empirical (empirisch) bedeutet in der Wissenschaft: auf Beobachtung und Experiment basierend, nicht auf Theorie. Im Machine Learning dominiert der empirische Ansatz — Modelle werden ausprobiert, Ergebnisse gemessen und verglichen, oft ohne vollständiges theoretisches Verständnis.

Die Spannung zwischen Theorie und Empirie durchzieht die Informatik seit jeher, ist aber im Deep Learning besonders ausgeprägt. Warum funktionieren tiefe neuronale Netze so gut? Warum finden Optimierungsverfahren (die theoretisch in lokalen Minima stecken bleiben sollten) in der Praxis gute Lösungen? Warum generalisieren überparametrisierte Modelle (die theoretisch overfitten sollten) auf ungesehene Daten?

Die ehrliche Antwort auf viele dieser Fragen: Wir wissen es empirisch, aber nicht theoretisch. Die Scaling Laws (Kaplan et al., 2020) — die Vorhersage, dass größere Modelle mit mehr Daten und Compute besser werden — sind empirische Befunde ohne vollständige theoretische Erklärung.

Die empirische Kultur hat Vor- und Nachteile. Vorteil: Fortschritt wird nicht durch fehlende Theorie blockiert. Die Forscher optimieren, was funktioniert, und verstehen es später. Nachteil: Ohne theoretisches Verständnis sind Vorhersagen über das Verhalten noch größerer Modelle unsicher — ein Sicherheitsrisiko.

Ali Rahimi (Google) löste 2017 eine Debatte aus, als er Deep Learning als „Alchemie" bezeichnete — experimentelles Herumprobieren ohne theoretisches Fundament. Yann LeCun widersprach: Auch die Ingenieurskunst des Brückenbaus ging der vollständigen Materialtheorie voraus.