The Bitter Lesson: Warum rohe Rechenpower immer gewinnt — und was das für die Wirtschaft bedeutet

OpenAI-Mitgründer Greg Brockman hat mit einem ausführlichen Post auf X die KI-Gemeinde aufgerüttelt. Sein Kern-Argument: Die Weltwirtschaft transformiert sich gerade in eine compute-getriebene Ökonomie — und wer das nicht versteht, wird von der nächsten Welle überrollt. Dabei greift Brockman auf ein Konzept zurück, das in der KI-Forschung als eines der wichtigsten Prinzipien überhaupt gilt: The Bitter Lesson.

Was ist die „Bitter Lesson"?

Im März 2019 veröffentlichte Rich Sutton, einer der Väter des Reinforcement Learning, einen kurzen Essay, der seither zu den meistzitierten Texten der KI-Geschichte zählt. Seine These ist unbequem, aber empirisch erdrückend belegt: Über 70 Jahre KI-Forschung hinweg haben allgemeine Methoden, die Rechenleistung nutzen, immer die handgefertigten Ansätze menschlicher Experten geschlagen — und zwar mit großem Abstand.

Vereinfacht gesagt: Egal wie clever ein Team von Wissenschaftlern ein Problem löst — gib einer schlichten Methode genug Rechenpower, und sie wird die Experten-Lösung früher oder später übertrumpfen. Das klingt nach Hau-Drauf-Philosophie, hat sich aber in einem Fachgebiet nach dem anderen bestätigt.

Die Geschichte wiederholt sich — immer schneller

Die Belege sind über Jahrzehnte verteilt und erstrecken sich quer durch die KI-Disziplinen:

• Schach: Jahrelang programmierten Experten raffinierte Bewertungsfunktionen mit Bauernstruktur-Analyse, Königssicherheits-Metriken und Endspiel-Datenbanken. Dann kam AlphaZero (2017), lernte die Regeln von Null und besiegte in wenigen Stunden Training jedes handgefertigte Schachprogramm der Welt.
• Go: Das Spiel galt als zu komplex für Computer. Die besten Programme waren kaum Amateurstärke — bis AlphaGo Zero allein durch Selbstspiel zum stärksten Go-Spieler der Geschichte wurde. Sein berühmter Zug 37 gegen Lee Sedol war so kreativ, dass menschliche Experten ihn zunächst nicht verstanden.
• Spracherkennung: Teams aus Linguisten bauten jahrelang an phonetischen Modellen, Aussprachewörterbüchern und Grammatik-Hierarchien. OpenAIs Whisper (2022) ersetzte alles mit einem einzigen neuronalen Netz, trainiert auf 680.000 Stunden Audio.
• Textverarbeitung: Jahrzehnte linguistischer Handarbeit — Part-of-Speech-Tagger, Dependency-Parser, Named-Entity-Recognition — wurden komplett verdrängt durch ein Prinzip: Sag das nächste Wort vorher, aber mit mehr Rechenleistung.

Was Brockman sieht: Die Compute-Ökonomie

Brockman argumentiert, dass diese Lektion jetzt aus dem Labor in die reale Wirtschaft springt. Software Engineering habe in den letzten sechs Monaten bereits eine KI-getriebene Renaissance durchlaufen — Entwicklungsgeschwindigkeit dramatisch gestiegen, Produktivität vervielfacht. Das sei nur der Anfang.

Er identifiziert zwei entscheidende Hebel, die mit mehr Rechenleistung skalieren:

• Learning: Größere Modelle mit mehr Trainingsdaten liefern vorhersagbar bessere Ergebnisse — das zeigen die sogenannten Skalierungsgesetze (Kaplan et al., Chinchilla). Die Leistung eines Sprachmodells steigt als berechenbares Potenzgesetz mit der investierten Rechenleistung.
• Search: Statt sofort die erste Antwort auszugeben, können moderne Reasoning-Modelle mehrere Lösungswege durchspielen und den besten auswählen — sogenanntes Test-Time Compute (→ KI Woche Analyse). Je mehr Rechenzeit sie zum „Denken" bekommen, desto besser das Ergebnis.

Warum das revolutionär ist

Die Bitter Lesson hat eine unbequeme Konsequenz: Menschliche Cleverness skaliert nur linear — mehr Ingenieure heißt bestenfalls proportional mehr Fortschritt. Rechenleistung dagegen wächst exponentiell (→ KI Woche Analyse). Jede Methode, die Compute in Leistung umwandelt, wird deshalb zwangsläufig jede Methode überholen, die auf menschliche Ingenieursarbeit angewiesen ist.

Anders ausgedrückt: Wer heute ein ausgeklügeltes regelbasiertes System baut, baut ein Uhrwerk in einer Welt, die gerade Raketentriebwerke erfindet. Das Uhrwerk mag kurzfristig zuverlässiger sein — aber langfristig verliert es jedes Rennen.

Die Gegenargumente — und ihre Grenzen

Ganz so einfach ist es allerdings nicht. Es gibt durchaus Bereiche, in denen das Prinzip an Grenzen stößt:

• Datenknappheit: In der medizinischen Bildgebung, Robotik oder seltenen Sprachen gibt es nicht genug Daten, um reine Rechenpower ausspielen zu können. Hier bleiben menschlich entworfene Architekturen wichtig.
• Sicherheit: Ein reines Lern-System könnte unerwartete Abkürzungen finden, die technisch funktionieren, aber gefährlich sind. Regelbasierte Sicherheitsfilter sind zwar spröde, aber überprüfbar.
• Budget-Realität: Die Bitter Lesson beschreibt Trends über Jahrzehnte. Wer heute acht GPUs und eine Deadline hat, fährt mit domänenspezifischem Wissen oft schneller.

Entscheidend ist: Diese Einwände bremsen den Trend, sie stoppen ihn nicht. Jeder Fortschritt bei der Verfügbarkeit von Daten, Rechenleistung und Modellfähigkeiten lässt die Gegenargumente ein Stück weiter schrumpfen.