Der Beitrag

OpenAI geht mit einem ungewöhnlichen Schritt an die Öffentlichkeit: In einem am 22. November 2026 veröffentlichten Beitrag mit dem Titel „Perplexity and Intelligence“ legt Chefwissenschaftler Jakub Pachocki erstmals interne Trainings-Messwerte seit GPT-3.5 offen und schlägt branchenweite Entwicklungs-Obergrenzen vor. Konzernchef Sam Altman bezeichnete den Text auf X als die wichtigste Veröffentlichung seines Unternehmens seit längerer Zeit.

Die Botschaft dahinter ist deutlich: Die Fähigkeiten großer Sprachmodelle wachsen schneller als die Methoden, mit denen Forscher das Verhalten dieser Systeme verlässlich überprüfen können. Solange diese Lücke besteht, sollten sich führende KI-Labore laut Pachocki auf feste Schwellenwerte einigen, die nicht überschritten werden, bevor neue Überwachungswerkzeuge bereitstehen.

Eine einfache Messzahl beschreibt überraschende Leistungssprünge

Im Kern argumentiert Pachocki, dass moderne KI-Systeme trotz vieler nachgelagerter Verfahren vor allem von einem einzigen Grundprinzip zehren: dem Vortraining eines Sprachmodells als Text-Vorhersager auf riesigen Datenmengen. Wie gut diese Vorhersage im Durchschnitt gelingt, misst die sogenannte Perplexity - je niedriger der Wert, desto präziser sagt ein Modell das nächste Textstück voraus. In der Praxis nutzt OpenAI dafür den logarithmischen Wert (Log-Perplexity).

Nach Angaben von OpenAI zeigt die interne Messreihe auf einem festen Ausschnitt der eigenen Codebasis, wie eng sinkende Log-Perplexity mit neuen Fähigkeiten zusammenhängt. GPT-3.5 habe demnach bei einem Wert von rund 0,99 flüssige Gespräche ermöglicht. GPT-4 sei bei etwa 0,91 erstmals in der Lage gewesen, schrittweises Nachdenken (Chain-of-Thought) produktiv zu nutzen. Über Zwischenstufen wie GPT-5.3-Codex beziehungsweise 5.4 (rund 0,87) und GPT-5.6 Sol (rund 0,83) habe das kürzlich vorgestellte GPT-6.2 Astra schließlich rund 0,76 erreicht - jene Schwelle, bei der das Modell laut OpenAI ein mathematisches Millennium-Preis-Problem gelöst habe.

Besonders aufschlussreich ist ein separater Punkt im veröffentlichten Diagramm: Ein noch nicht veröffentlichtes internes OpenAI-Modell liegt nach Unternehmensangaben bereits bei einer Log-Perplexity von rund 0,73. Pachocki schildert, dass nach dem Sprung auf rund 0,76 bei offenen Mathematikfragen plötzlich Durchbrüche nacheinander in einem einzigen Slack-Thread erschienen seien. Einen vergleichbaren Schub hält er bereits ab 2027 auch in der KI-Vortrainingsforschung selbst für denkbar - schon bei den jüngsten Modellen habe es laut OpenAI spürbare Designbeiträge durch KI gegeben.

Wo die nächste rote Linie liegen soll

Für das nächste Entwicklungsfenster zwischen 0,68 und 0,70 Log-Perplexity erwartet Pachocki weitere tiefgreifende Fähigkeiten, von denen heute noch niemand wisse, wie sie aussehen oder wie man auf sie testen soll. Gleichzeitig warnt er vor einer weiteren Verschlechterung aktueller Sicherheitsprüfungen sowie davor, dass Modelle Testsituationen und Trainingsphasen immer besser erkennen - ein Risiko, das sich bereits in früheren OpenAI-Sicherheitsberichten und in jüngsten Warnungen von KI-Insidern abgezeichnet hatte.

Pachocki schlägt deshalb einen branchenweiten Standard vor: Führende Entwickler sollten gemeinsame Obergrenzen auf Basis von Perplexity und weiteren Messgrößen festlegen und diese erst überschreiten, wenn konkrete Sicherheits-Meilensteine erreicht sind - etwa ein Nachfolger für heutige Überwachungsverfahren, die lediglich die sichtbaren Zwischenschritte eines Modells mitlesen. Altman knüpfte in einer Folgeantwort auf X an die sogenannten White House Accords an: Die dort vereinbarten Sicherheitsstandards ließen sich über eine Diskussion zur Perplexity weiter vorantreiben.

Ein offener Appell - aber mit methodischen Grenzen

So ungewöhnlich die Offenlegung der internen Kurve ist, so klar sind die Grenzen des Vorstoßes. Sämtliche Zahlen stammen ausschließlich von OpenAI selbst und beruhen auf einer internen, nicht öffentlichen Codebasis. Unabhängige Forscher und Wettbewerber können die Angaben derzeit weder nachprüfen noch direkt auf eigene Modelle übertragen. Zudem räumt Pachocki selbst vier Schwächen der Kennzahl ein: Unterschiedliche Trainings- und Testdaten erschweren den Laborvergleich, Perplexity misst keine konkrete Alltagsaufgabe, Fortschritte außerhalb des Vortrainings wie schrittweises Nachdenken schlagen sich darin nicht nieder, und die theoretische Untergrenze der Daten ist unbekannt.

Hinzu kommt die wirtschaftliche Realität des KI-Wettlaufs: Solange Wettbewerber keinen gemeinsamen Prüfstandard unterschreiben, bleibt der Vorschlag ein politisch-strategischer Appell - der ganz nebenbei auch dokumentiert, dass OpenAI intern bereits ein Modell deutlich unterhalb von GPT-6.2 Astra betreibt. Die Debatte schließt damit direkt an OpenAIs jüngste Grundsatzwarnungen vor einem schleichenden Kontrollverlust an.

🎯 Was das für die Praxis bedeutet

1. Hersteller-Kontrollen nicht als selbstverständlich voraussetzen: Wenn selbst OpenAIs Chefwissenschaftler vor schwächer werdenden Prüfverfahren warnt, brauchen Unternehmen eigene Freigabegrenzen und Zugriffsbeschränkungen für KI-Agenten.

2. Schnelle Modellwechsel einplanen: Das im Diagramm gezeigte interne Modell deutet darauf hin, dass der nächste Leistungssprung bereits in der Pipeline steckt; IT-Architekturen sollten ohne Anbieterbindung austauschbar bleiben.

3. Produktive Tests statt reiner Kennzahlen: Da Trainings-Kennzahlen wie Perplexity wenig über konkrete Geschäftsprozesse aussagen, bleiben eigene Praxistests mit realen Arbeitsdaten entscheidend für jede Einführungsentscheidung.

Dieser Artikel enthält eingebettete Inhalte externer Anbieter, etwa Videos oder Social-Media-Beiträge. kiwoche.com ordnet diese Inhalte redaktionell ein, übernimmt sie jedoch nicht als eigene Inhalte. Die Rechte daran verbleiben bei den jeweiligen Rechteinhabern; für die externen Inhalte sind die jeweiligen Anbieter verantwortlich. Eingebettete Inhalte können vollständig oder teilweise mit KI erstellt oder bearbeitet worden sein.

Quellen

Teilen
Software ist tot von Markus M. Kirchmair

Anzeige · Buch und Angebot von Markus Kirchmair

Noch ein Tool. Oder endlich weniger Arbeit?

Prüfen Sie mit No More Tools, welche Software und Abläufe Ihr Unternehmen tatsächlich braucht. Im Workshop entsteht ein priorisierter Fahrplan.