Die Zeiten, in denen KI-Modelle mit einfachen Anfragen wie "Zeichne ein SVG von einem Pelikan auf einem Fahrrad" getestet wurden, neigen sich dem Ende zu. Der renommierte KI-Forscher Andrej Karpathy hat demonstriert, wie die nächste Generation von Leistungsprüfungen für große Sprachmodelle aussieht: Komplexe, mehrstündige Orchestrierungsaufgaben mit massivem Token-Budget.
Der 10-Dollar-Versuch: 5.500 Zeilen Code aus einem Buchabsatz
In seinem Experiment stellte Karpathy dem Modell Claude Opus 5 eine ungewöhnliche Aufgabe: Aus dem ersten Absatz des Roman-Klassikers Der Herr der Ringe sollte das Modell eine interaktive, prozedurale 3D-Welt in der JavaScript-Bibliothek Three.js erschaffen. Dafür gestand er der KI ein Token-Budget von 1 Million Tokens zu, was Kosten von etwa 10 US-Dollar entspricht.
Das Ergebnis überraschte die Fachwelt: Über einen Zeitraum von rund zwei Stunden arbeitete das Modell autonom, generierte mehr als 5.500 Zeilen Code, platzierte 3D-Polygon-Assets in einem dreidimensionalen Koordinatensystem und choreografierte Animationen zur Geschichte. Wie bereits bei den ersten Analysen zur Leistung von Claude Opus 5 und dessen Potenzial für die multimodale Spieleentwicklung zu beobachten war, zeigt sich hier die Fähigkeit zur langfristigen Aufgabenverfolgung.
Unendliche Ausdauer verkleinert die Hürde für Spezialanwendungen
Karpathy betont den grundlegenden Paradigmenwechsel, den solche Langläufer-Prompts auslösen. Kein menschlicher Entwickler würde im normalen Arbeitsalltag zwei Stunden investieren, um für einen einzelnen Textabsatz Tausende Zeilen manuellen 3D-Code zu schreiben. KI-Agenten besitzen jedoch unendliche Geduld, wodurch Aufgaben von "das würde nie jemand tun" zu "warum nicht, es kostet fast nichts" verschoben werden.
Als Zukunftsvision skizziert Karpathy hyper-personalisierte, flüchtige Spielewelten auf Knopfdruck - etwa ein temporäres Open-World-Spiel, in das Nutzer spontan als Zuschauer-NPC oder Hauptfigur einsteigen können, um eine Geschichte hautnah zu erleben.
Die Schwachstelle: Mangelnde Echtzeit-Wahrnehmung
Gleichzeitig legt das Experiment eine zentrale Schwäche aktueller KI-Systeme offen. Modelle können ihre eigenen 3D-Erzeugnisse nicht nativ und flüssig während des Schreibens wahrnehmen. Um das Rendering zu überprüfen, musste Opus 5 in zeitaufwendigen Schritten Screenshots der Anwendung anfertigen und auswerten. Dieser langsame visueller Rückkopplungsprozess führte zu leichten Rucklern und stilistischen Unstimmigkeiten in der finalen Szene.
Spannungsfeld 3D-Generierung
Hohe Ausdauer: Modelle orchestrieren Tausende Zeilen 3D-Code über Stunden hinweg ohne Ermüdung.
Blinder Fleck: Die fehlende direkte Videosensorik zwingt KIs zu langsamen Screenshot-Schleifen zur Qualitätskontrolle.
Ein neuer Community-Benchmark für Vibe-Coding
Karpathys Versuch hat in der Entwickler-Community eine Welle an Experimenten ausgelöst. Mehrere Entwickler nutzen das identische Token-Budget und dieselben Modelle, um unterschiedliche Agenten-Frameworks ("Harnesses") gegeneinander antreten zu lassen oder komplexe 3D-Stadtlandschaften wie New York City sowie interaktive Surf-Simulationen direkt aus einem einzigen Prompt generieren zu lassen.
🎯 Was das für die Praxis bedeutet
1. Neue Benchmark-Formate nutzen: Klassische Einzelfragen sagen wenig über die Praxistauglichkeit von KI aus. Testen Sie Modelle mit komplexen Mehr-Schritt-Aufgaben und höherem Token-Budget.
2. Nischendaten visualisieren: Prozeduraler 3D-Code eignet sich hervorragend, um komplexe Datenstrukturen oder Prozessabläufe kostengünstig dreidimensional im Browser darzustellen.
3. Rückkopplungsschleifen einbauen: Achten Sie bei autonomen Agenten darauf, automatisierte Prüfmechanismen einzubauen, da KI-Modelle visuelle Zwischenergebnisse nur langsam auswerten können.
