Unsere Einordnung

Im zweiten Teil des Experten-Gesprächs analysieren Moonshot-AI-Gründer Zhilin Yang und KI-Professor Ju Jun (Tsinghua Universität) die Konsequenzen der aktuellen Entwicklung bei Reasoning-Modellen. Nach Systemen wie OpenAI o1 wird deutlich: Das Zeitalter, in dem Fortschritt primär durch das Füttern gigantischer Datenmengen im Pre-Training erzielt wurde, stößt an seine Grenzen.

Vom Daten-Hunger zum Denkprozess zur Laufzeit

Zhilin Yang erläutert, dass die Skalierung bisher vor allem im Pre-Training vor der Veröffentlichung des Modells stattfand. Da hochwertige Internetdaten jedoch weitgehend ausgeschöpft sind, verschiebt sich die Rechenleistung massiv auf die sogenannte Inference-Zeit (Test-Time Scaling) sowie auf Reinforcement Learning (RL) durch Self-Play. Wenn ein Modell für eine komplexe Antwort 20 bis 60 Sekunden nachdenkt oder Zwischenschritte durchläuft, steigt der Bedarf an Inferenz-Rechenleistung exponentiell. Gleichzeitig zeigt die Praxis, dass das RL-Training mit zehntausenden GPUs über Monate hinweg ähnlich rechenintensiv werden kann wie das bisherige Pre-Training.

Generalisierung und das Problem der Belohnungsmodelle

Prof. Ju Jun hebt eine der größten Herausforderungen dieser neuen Phase hervor: die Generalisierbarkeit. In mathematischen Beweisen oder bei der Software-Programmierung ist das Feedback für das KI-System eindeutig – ein Code funktioniert oder er schlägt fehl. In offenen, komplexen Domänen wie autonomem Fahren, Robotik oder kreativer Inhaltserstellung existieren hingegen keine eindeutigen Richtig-oder-Falsch-Kriterien. Die Entwicklung präziser Belohnungsmodelle (Reward Models) und Prozess-Supervision – die Bewertung jedes einzelnen Denk-Schritts statt nur des Endergebnisses – wird daher zum zentralen Engpass.

Neue Chancen für KI-Startups und Wandel der Produktform

Für Startups sieht Yang in diesem Wandel eine große Chance. Da die technischen Pfade und die genaue Skalierung von RL noch voller Unwägbarkeiten stecken, gewinnt algorithmische Innovation gegenüber reinem Kapital und Datenmasse wieder an Gewicht. Auch kleinere Teams können durch spezialisierte Post-Training-Methoden Spitzenleistungen erzielen.

Gleichzeitig verändern sich die Produktformen grundlegend. Der klassische Echtzeit-Chatbot, der binnen Sekundenbruchteilen antwortet, gerät an seine Grenzen. Künftige KI-Assistenten werden produktiver arbeiten, indem sie Aufgaben über Minuten, Stunden oder Tage hinweg eigenständig analysieren, Werkzeuge aufrufen und schrittweise lösen. Nutzer tauschen höhere Latenz gegen eine drastisch gesteigerte Ergebnisqualität ein – vor allem in produktiven Arbeitskontexten.

🎯 Was das für die Praxis bedeutet

1. Hardware-Fokus verschiebt sich: Die Nachfrage nach Inferenz-Chips steigt drastisch, da Modelle zur Laufzeit intensiv nachdenken. Infrastruktur-Planungen müssen Inferenz-Kapazitäten deutlich stärker gewichten.

2. Umdenken bei Benutzeroberflächen: Nutzer müssen sich von sofortigen Antworten verabschieden. Produkte erfordern asynchrone Workflows, bei denen KI-Agenten im Hintergrund über längere Zeiträume komplexe Aufgaben abarbeiten.

3. Qualitätsvorsprung durch Prozess-Supervision: Der größte Wert liegt künftig nicht in rohen Datensätzen, sondern in hochwertigen Feedback-Schleifen und Prozess-Bewertungen, die den Denkpfad von Modellen in Fachdomänen leiten.