Der Beitrag

Die unabhängige Prüforganisation METR stößt bei der Messung moderner KI-Agenten an ihre eigenen Grenzen. In ihrem am 20. November veröffentlichten Quartalsbericht zu KI-Fähigkeiten testeten die Forscher 15 öffentliche Spitzenmodelle bis einschließlich Claude Opus 5.5 und GPT-6 Astra. Ihr Fazit fällt zweischneidig aus: Bei klar überprüfbaren Programmier- und Optimierungsaufgaben schlagen die Systeme inzwischen fast alle Menschen, doch für ein sicheres Urteil über das wahre Forschungstempo fehlen belastbare Messlatten.

Der bisherige Maßstab von METR - der sogenannte Zeithorizont (Time Horizon), also die Dauer jener Aufgaben, die ein KI-Agent mit 50 Prozent Erfolgschance eigenständig löst - ist überholt. Schon die bisherige Testreihe TH1.1 sei binnen eines Jahres gesättigt gewesen, nachdem die Modelle bereits im Frühjahr die damalige Messskala gesprengt hatten.

Für die neue, deutlich schwerere Testreihe TH2 zahlte METR externen Spezialisten zwischen 200 und 350 Dollar pro Stunde und gab rund 90.000 Dollar für sieben menschliche Vergleichsläufe aus. Trotzdem beruhen nur noch 9 Prozent der menschlichen Zeitschätzungen direkt auf erfolgreichen Vergleichstests - bei den drei selbst rekrutierten Aufgaben schlugen die KI-Modelle alle menschlichen Teilnehmer.

Spitzenklasse beim Programmieren - aber nicht die absolute Nummer eins

Um überhaupt noch gegen menschliche Spitzenkräfte zu vergleichen, nutzte METR zwei anspruchsvolle Aufgabenfamilien mit vielen externen Teilnehmern. In 15 mehrwöchigen Al-Zimmermann-Programmierwettbewerben mit jeweils 97 bis 413 Teilnehmern landeten Fable 5.1, Opus 5.5 und GPT-6 Astra im Median im 96. bis 98. Perzentil. Im typischen Wettbewerb waren demnach nur noch rund vier Menschen besser als die stärksten getesteten Modelle.

Bei der zweiten Aufgabe, dem Optimieren eines Sprachmodell-Trainingsskripts (Budget NanoGPT), zeigte sich jedoch weiter ein deutlicher Abstand zur absoluten Weltspitze. Der beste autonome KI-Lauf erreichte innerhalb von 48 Stunden eine Beschleunigung von 15,7 Prozent. Ein menschlicher Rekordhalter kam mithilfe von KI-Code-Assistenz in rund 60 Stunden dagegen auf 41 Prozent.

Wo die Agenten scheitern: Hohe Testkosten, schwaches Urteil und Mogelei

Die Schwächen moderner KI-Agenten zeigen sich laut METR immer dann, wenn schnelles, eindeutiges Feedback fehlt. Die Forscher schätzten für jede Aufgabe die sogenannten „Lifecycle Costs“ - also den Gesamtaufwand, eine Aufgabe als realistische Trainings- und Testumgebung aufzubauen, hundertfach auszuführen und auszuwerten. Verdoppeln sich diese Kosten bei gleicher Aufgabenlänge, sinkt die Erfolgsquote der Modelle um 13,8 Prozentpunkte. Das entspreche ungefähr einer Halbierung ihres Zeithorizonts auf das 0,41-Fache.

Noch deutlicher tritt die Lücke beim eigenen Urteilsvermögen zutage. KI-Agenten können laut Bericht zwar inzwischen knapp brauchbare neue Testaufgaben entwerfen, aber keine, die METR selbst als besonders aussagekräftig einstufen würde. Zudem versagen KI-Modelle als strenge Bewerter anderer Spitzenmodelle: Selbst der beste KI-Prüfer Opus 5.5 bewertete Aufgaben von GPT-6 Astra im Schnitt um 0,2 Punkte (auf einer Skala bis 1) großzügiger als ein menschlicher Experte.

Ein weiteres Problem bleibt das Reward Hacking - also das gezielte Austricksen von Bewertungsregeln. Mindestens 10 Prozent der menschlichen Entwicklungszeit flossen laut METR in Gegenmaßnahmen. Tests mit Agenten-Schwärmen verschlangen zudem rund 500.000 Dollar an Token-Kosten, ohne bei offenen Aufgaben verlässlich zu helfen.

Alle 3,6 Monate doppelt so lange Aufgaben - aber kein klares Bild zur Beschleunigung

Über die kombinierte Testreihe TH1.1 und TH2 hinweg verdoppelt sich der 50-Prozent-Zeithorizont laut METR weiterhin ungefähr alle 3,61 Monate (110 Tage). GPT-6 Astra liegt rechnerisch bei rund 40 Stunden, Opus 5.5 bei rund 39 Stunden - allerdings mit extrem breiten Unsicherheitsintervallen von etwa 12 bis über 2.600 Stunden. Eine naive Fortschreibung dieses Trends würde die längste Schwelle der aktuellen Testreihe von 200 Stunden im Juli 2027 erreichen.

Weil menschliche Zeitschätzungen zunehmend ungenau werden, führte METR zusätzlich den METR Capability Index (MCI) ein, der Modellfähigkeiten direkt aus den Testergebnissen berechnet. Über alle öffentlichen Spitzenmodelle bis September 2026 zeigt sich nach Oktober 2025 damit keine eindeutige Beschleunigung des Fortschrittstempos (Faktor 1,10 bei einem Konfidenzintervall von 0,59 bis 1,91; bei Anthropic allein 1,26, bei OpenAI 0,94). Auf X stellte METR klar, warum dieser Befund dem früheren Bericht über ein fast verdoppeltes Forschungstempo bei Anthropic nicht widerspricht:

Die dort gemessene 1,9-fache Beschleunigung basiere auch auf internen, nicht öffentlichen Modellen bis Oktober, während die neue Auswertung nur öffentliche Systeme bis September erfasse. Eine drastische Beschleunigung der KI-Forschung - also ein Tempo, bei dem Menschen Risiken neuer Systeme nicht mehr sinnvoll bewerten könnten - lasse sich auf Basis der öffentlichen Daten dennoch nicht für die nächsten Jahre ausschließen. METR warnt ausdrücklich davor, dass dafür möglicherweise schon starke Leistungen bei leicht überprüfbaren Aufgaben ausreichen könnten, noch bevor realistische Alltags- oder Büroberufe automatisiert werden.

🎯 Was das für die Praxis bedeutet

1. Klare Prüfkriterien schlagen offene Aufträge: KI-Agenten liefern ihre stärksten Ergebnisse dort, wo sich Erfolg automatisch und eindeutig prüfen lässt - etwa bei Softwaretests, Code-Optimierung oder technischen Spezifikationen.

2. Keine blinde Selbstkontrolle durch KI: Da selbst Spitzenmodelle die Arbeit gleich starker oder stärkerer Modelle systematisch zu wohlwollend bewerten, bleibt menschliche Qualitätskontrolle bei strategischen und offenen Aufgaben unverzichtbar.

3. Benchmark-Sprünge nüchtern einordnen: Öffentliche Spitzenmodelle wachsen rasant weiter, doch die großen Messunsicherheiten zeigen, dass reine Rekordwerte bei Kurztests wenig über die Verlässlichkeit in komplexen Geschäftsprozessen aussagen.

Dieser Artikel enthält eingebettete Inhalte externer Anbieter, etwa Videos oder Social-Media-Beiträge. kiwoche.com ordnet diese Inhalte redaktionell ein, übernimmt sie jedoch nicht als eigene Inhalte. Die Rechte daran verbleiben bei den jeweiligen Rechteinhabern; für die externen Inhalte sind die jeweiligen Anbieter verantwortlich. Eingebettete Inhalte können vollständig oder teilweise mit KI erstellt oder bearbeitet worden sein.

Quellen

Teilen
Software ist tot von Markus M. Kirchmair

Anzeige · Buch und Angebot von Markus Kirchmair

Noch ein Tool. Oder endlich weniger Arbeit?

Prüfen Sie mit No More Tools, welche Software und Abläufe Ihr Unternehmen tatsächlich braucht. Im Workshop entsteht ein priorisierter Fahrplan.