In der Geschichte der theoretischen Physik gab es immer wieder Momente, in denen sich das Selbstverständnis einer ganzen Disziplin schlagartig wandelte. Ein nun auf dem Vorab-Server arXiv veröffentlichter Benchmark namens TheoPhysEval markiert genau eine solche Zäsur: Ein internationales Konsortium von 35 Spitzenforschern renommierter Institute - darunter das Tata Institute of Fundamental Research (TIFR), das International Centre for Theoretical Sciences (ICTS), die University of Texas at Austin und die University of Pennsylvania - hat aktuelle KI-Agenten auf 50 unveröffentlichte Forschungsprobleme angesetzt. Das Ergebnis erschüttert selbst hartgesottene Theoretiker: Das Spitzenmodell GPT-6-Astra löste 49 der 50 Aufgaben autonom - bei Gesamtkosten von knapp 116 US-Dollar oder weniger als 3 Dollar pro Aufgabe.
Noch bemerkenswerter als die Trefferquote von 98 Prozent ist jedoch das Drama, das sich hinter den Kulissen der wissenschaftlichen Begutachtung abspielte: Als die Forscher die ersten Ergebnisse auswerteten, schien Astra zunächst mehrere Fehler gemacht zu haben. Doch die KI beharrte darauf, im Recht zu sein. Eine Nachprüfung ergab, dass nicht die Maschine gerechnet hatte, sondern die menschlichen Weltexperten subtile Rechenfehler in ihren eigenen Musterlösungen übersehen hatten.
Wie der theoretische Physiker und Wissenschaftsautor Nirmalya Kajuri auf X öffentlich machte, kletterte Astras Wertung erst nach der Korrektur der menschlichen Irrtümer auf die fast makellose Bestmarke. Was nach einer Anekdote klingt, berührt das Fundament eines Faches, in dem man über Generationen hinweg nach dem inoffiziellen Mantra von David Mermin handelte: „Halt den Mund und rechne!“ (Shut up and calculate). Dieses Rechnen übernimmt nun die Maschine - schneller, fehlerfreier und billiger als jeder menschliche Postdoktorand.
50 Aufgaben, an denen selbst Spitzenforscher Tage rechnen
Um Datenlecks und das bloße Wiedergeben von Trainingsdaten auszuschließen, wählten die Initiatoren um die Koordinatoren A. Ramesh Chandra und Suvrat Raju einen methodisch rigorosen Weg. Sämtliche 50 Aufgaben stammten aus aktuellen, bislang unveröffentlichten Forschungsnotizen oder stellten direkte Verallgemeinerungen jüngster Publikationen dar. In der Fachwelt spricht man von „Turn-the-Crank“-Problemen: wissenschaftliche Aufgaben, bei denen theoretische Rahmenwerke bekannt sind, die eigentliche algebraische oder numerische Ableitung jedoch extreme mathematische Präzision erfordert.
Die Bandbreite reichte von Quantenfeldtheorie, Streuamplituden und holografischen Raumzeiten über Nichtgleichgewichts-Statistik bis hin zur Biophysik mikrobieller Netzwerke und Teilchenphysik. Für eine einzelne dieser Aufgaben benötigt ein ausgewiesener Weltexperte des jeweiligen Spezialgebiets ohne KI-Hilfe typischerweise einen vollen Arbeitstag. Physiker aus benachbarten Teilgebieten bräuchten oft Wochen, um sich überhaupt in den Formalismus einzuarbeiten.
Alle Aufgaben wurden so konstruiert, dass sie eine mathematisch oder numerisch exakt überprüfbare Antwort liefern, die nicht erraten werden kann. Um Fehlinterpretationen durch Notationsunterschiede zu vermeiden, wandelten die Forscher symbolische Ausdrücke über fest definierte Parameter in eindeutige Zahlenwerte um.
Der Härtetest: Online-Recherche gegen Offline-Sandkasten
Die Forscher testeten fünf führende Agentensysteme in zwei getrennten Umgebungen über das standardisierte Harbor-Framework auf virtuellen Google-Cloud-Maschinen. Im realistischen Track durften die Modelle wie ein menschlicher Forscher das Internet durchsuchen, Fachliteratur abrufen und lokale Skripte in Python oder Computeralgebrasystemen ausführen. Im isolierten Offline-Track war der Netzzugang komplett gekappt - die Modelle waren vollständig auf ihr internes Gewichtswissen und lokale Programmierwerkzeuge zurückgeworfen.
| KI-Agent & Modell | Realistic Track (Web + Tools) | Isolated Track (Offline-Sandbox) | Kosten (Realistic) | Token gesamt |
|---|---|---|---|---|
| GPT-6-Astra (Codex) | 98 % (49 / 50) | 92 % (46 / 50) | 116,28 USD | 37,4 Mio. |
| Claude Opus 5.5 (Claude Code) | 92 % (46 / 50) | 92 % (46 / 50) | 240,43 USD | 211,2 Mio. |
| Gemini 3.8 Flash (Antigravity) | 68 % (34 / 50) | 62 % (31 / 50) | 95,01 USD | 606,7 Mio. |
| DeepSeek-V4.1-Flash (Codex) | 54 % (27 / 50) | 50 % (25 / 50) | 37,42 USD | 1.025,6 Mio. |
| GLM 5.3 (Claude Code) | 42 % (21 / 50) | 52 % (26 / 50) | 180,00 USD* | 972,0 Mio. |
*Pauschalplan; reguläre API-Kosten für GLM hätten bei 311,71 USD gelegen.
Neben dem Spitzenreiter Astra zeigte auch Claude Opus 5.5 eine herausragende Leistung mit 46 gelösten Aufgaben (92 Prozent). Googles Entwicklungsgespann aus Gemini und Antigravity meisterte mehr als zwei Drittel der Probleme, während die Open-Weight-Modelle von DeepSeek und Zhipu AI (GLM) solide Basisfähigkeiten demonstrierten, aber an fortgeschrittenen Eichfeldtheorien und Quantenphasen scheiterten.
Verblüffender Befund zum Gedächtnis
Kaum Leistungsabfall ohne Web: Astra erreichte offline 92 Prozent, Opus hielt seine 92 Prozent sogar ohne ein einziges Prozentpunkt Minus. Für Menschen wäre das Lösen ohne Nachschlagen von Formeln unmöglich.
Die Fachliteratur ist im Modell verdrahtet: Die Autoren folgern, dass die großen Sprachmodelle weite Teile des arXiv-Bestands und der theoretischen Physikliteratur dauerhaft in ihren Parametern verinnerlicht haben.
Das eine Problem, an dem alle scheiterten
In der gesamten Testreihe des realistischen Tracks gab es für GPT-6-Astra nur eine einzige ungelöste Aufgabe: das Problem A.1.2 aus der klassischen Mechanik. Dabei handelte es sich um ein sogenanntes inverses Problem. Während Vorwärtsaufgaben verlangen, aus bekannten Gleichungen eine Kurve oder Zahl zu berechnen, verlangte dieses Rätsel das Gegenteil: Die KI erhielt eine Trajektorie und musste die autonome Differentialgleichung rekonstruieren, die diese Bahnkurve erzeugt.
Die Autoren hatten in die Musterlösung eine mathematische Finte eingebaut: Die Gleichung erforderte gebrochene Ableitungen (Riemann-Liouville) und zeitliche Verzögerungsterme. Obwohl Astra in internen Testläufen den richtigen Verdacht schöpfte, gelang es keinem einzigen Modell, die Parameter im automatisierten Durchlauf vollständig zu bestimmen. Dieser Misserfolg markiert eine fundamentale Grenze: Während deduktives Rechnen entlang bekannter Pfade perfekt funktioniert, tun sich Agenten bei unvollständigen, verrauschten Vorgaben und kreativer Induktion weiterhin schwer.
Ende der Fleißarbeit: Was der Durchbruch für Universitäten bedeutet
Nachdem KI-Systeme in den vergangenen Monaten bereits in der reinen Mathematik für Furore sorgten und zuletzt jahrzehntealte Rätsel der Plasmaphysik knackten, trifft TheoPhysEval die universitäre Ausbildung im Kern. Seit Jahrzehnten besteht das erste Jahr eines Physik-Doktoratsstudiums darin, bestehende Rechnungen aus Veröffentlichungen nachzuvollziehen und auf modifizierte Parameter anzuwenden. Genau diese Fleißarbeit erledigt ein frontier-Modell heute in wenigen Minuten für den Gegenwert eines Kaffees.
Die Autoren der Studie betonen daher, dass solche Aufgaben künftig ihren Wert als Qualifikationsnachweis verlieren. Wenn die Rechenleistung zur Commodity wird, verschiebt sich die Kernkompetenz des Forschers: Weg vom sturen Rechnen, hin zum „Stop and Think“. Gefragt sind physikalische Intuition, das Erkennen relevanter Naturphänomene und jener wissenschaftliche „Geschmack“, den man an Universitäten oft jahrelang schulen muss - und den kein Algorithmus bisher besitzt.
🎯 Was das für die Praxis bedeutet
1. Rechenknechtschaft an Agenten delegieren: Komplexe symbolische Herleitungen und numerische Differentialgleichungen sollten in Forschungsabteilungen künftig routinemäßig von Agenten gegengerechnet werden.
2. Curricula in MINT-Fächern reformieren: Reine Rechenübungsblätter taugen nicht mehr als Leistungsnachweis. Prüfungen müssen künftig Hypothesenbildung, Modellkritik und Problemdefinition ins Zentrum rücken.
3. Menschliche Intuition als Flaschenhals: Da KI-Modelle bei inversen Problemen scheitern und unbrauchbare Fragestellungen erzeugen, bleibt der Mensch als Richtungsgeber unverzichtbar.
