In den Debatten über generative künstliche Intelligenz galt „Slop“ bislang als rein digitales Schreckgespenst: minderwertiger, von Algorithmen halluzinierter Datenmüll, der das Internet und wissenschaftliche Publikationen überschwemmt. Eine empirische Untersuchung der ETH Zürich und des bulgarischen KI-Instituts INSAIT dreht dieses Narrativ nun radikal um. Das Forscherteam um Jasper Dekoninck hat die mathematische Vorabdruck-Plattform arXiv mit modernen KI-Agenten durchleuchtet und dabei offengelegt, wie viel menschliche Schlamperei („Human Slop“) seit Jahren unbemerkt in der Fachliteratur zirkuliert.
Die Wissenschaftler setzten das Reasoning-Modell GPT-6.1 Sol darauf an, die Kernaussagen von insgesamt 793 mathematischen Veröffentlichungen systematisch auf logische Widersprüche zu prüfen. Das Ergebnis ist ernüchternd: In rund sechs Prozent aller untersuchten Arbeiten vor August 2026 ließen sich fundamentale mathematische Fehler in den Haupttheoremen nachweisen, die den Kernbeitrag der Veröffentlichung entwerten. Weitere 30 Prozent enthielten kleinere mathematische Fehler. Noch bemerkenswerter ist jedoch die Trendwende der vergangenen zwei Monate: Seit Mathematiker KI-Modelle im großen Stil zur Überprüfung heranziehen, ist die Quote gravierender Fehler um fast 75 Prozent eingebrochen.
Erstautor Jasper Dekoninck fasste die Kernaussagen der Untersuchung auf der Plattform X zusammen:
Auf arXiv veröffentlichte Manuskripte durchlaufen vor dem Upload kein formelles Peer-Review. Dennoch dienen sie der weltweiten Forschungsgemeinschaft als primäre Zitierbasis, auf der unzählige Folgestudien aufbauen. Fehler in diesem Fundament pflanzen sich unbemerkt fort, wenn nachfolgende Mathematiker fehlerhafte Sätze als bewiesen voraussetzen.
Gegenbeispiele statt vager Stilkritik
Um gängige Schwachstellen automatisierter Prüfungen - wie das Überbewerten kleiner Tippfehler oder rein stilistische Einwände - zu vermeiden, wählten die Schweizer Forscher einen methodisch strengen Ansatz. Anstatt die oft hunderte Seiten langen Beweisketten ganzheitlich zu bewerten, konzentrierte sich der KI-Agent ausschließlich darauf, konkrete mathematische Gegenbeispiele für bis zu fünf Kernaussagen pro Papier zu konstruieren.
Kann für ein behauptetes Theorem ein zulässiger mathematischer Fall berechnet werden, der alle Vorbedingungen erfüllt, aber die behauptete Schlussfolgerung widerlegt, ist die Kernaussage formal gefallen. Der Prüfpfad gliederte sich in vier automatisierte Stufen:
Die vier Stufen der KI-Prüfpipeline
1. Theorem-Extraktion: Das Modell isoliert aus dem TeX-Quelltext bis zu fünf zentrale, wiederverwendbare Hauptsätze samt aller definierten Annahmen und Gültigkeitsbereiche.
2. Gegenbeispiel-Suche: GPT-6.1 Sol sucht gezielt nach Randwerten, Entartungen und mathematischen Objekten, die den Satz widerlegen, und stuft den Schweregrad ein.
3. Verifikation: In einem zweiten Durchlauf prüft das Modell den Fund unabhängig nach; nur in zwei Prozent der Fälle änderte sich hierbei die Einstufung.
4. Revisions-Abgleich: Liegen auf arXiv bereits überarbeitete Nachfolgeversionen vor, wird geprüft, ob die Autoren den Mangel selbst behoben haben. Bei schwerwiegenden Fehlern war dies in der Hälfte der Fälle der Fall.
Die Gesamtkosten für den API-Aufwand der gesamten Pipeline beziffern die Autoren auf moderate 2.500 US-Dollar. Für eine wissenschaftliche Disziplin, in der manuelle Gutachten monatelang dauern und oft dennoch eklatante Lücken übersehen, markiert dies einen ökonomischen Wendepunkt.
Kollaps der Fehlerquote durch Co-Auditierung
In der Kohorte von 656 Arbeiten zwischen Januar 2025 und Juli 2026 fand das System in 39 Arbeiten (5,9 Prozent) nach allen Revisionsstufen fatale Mängel, die eine grundlegende Überarbeitung oder das Zurückziehen zentraler Resultate erfordern. Auf der Ebene aller 2.543 extrahierten Theoreme waren 2,3 Prozent unhaltbar.
Völlig anders stellt sich die Situation in den Monaten August und September 2026 dar. Laut Daten der Forschungsgruppe Epoch AI deklarieren mittlerweile mehr als 25 Prozent aller mathematischen arXiv-Papiere den Einsatz generativer Werkzeuge. Genau in diesem Zeitfenster sank die Quote fataler Mängel auf 1,5 Prozent (zwei von 137 Papieren).
| Schweregrad | Definition der Prüfer | Bis Juli 2026 (n = 656) | Aug. – Sept. 2026 (n = 137) |
|---|---|---|---|
| Kein Gegenbeispiel (None) | Keine mathematischen Widersprüche identifiziert | 35,7 % (234 Arbeiten) | 60,6 % (83 Arbeiten) |
| Randfall (Edge) | Tippfehler oder fehlende Standardannahme; Absicht klar | 27,9 % (183 Arbeiten) | 22,6 % (30 Arbeiten) |
| Leichter Mangel (Minor) | Aussage in Einzelfällen falsch, aber ohne Substanzverlust reparierbar | 30,5 % (200 Arbeiten) | 16,1 % (22 Arbeiten) |
| Gravierender Fehler (Major) | Kernaussage mathematisch widerlegt oder fundamental fehlerhaft | 5,9 % (39 Arbeiten) | 1,5 % (2 Arbeiten) |
Unterscheidet man rein nach Papieren mit und ohne deklarierte KI-Nutzung, zeigt sich eine vergleichbare Kluft: Arbeiten mit KI-Beteiligung wiesen eine Fehlerquote von 1,8 Prozent auf, während rein manuell erstellte Manuskripte bei 5,4 Prozent lagen. Ähnlich wie bei der Lösung theoretischer Physikaufgaben auf Expertenniveau oder den rigorosen formalen Beweisen in Lean fungieren Sprachmodelle zunehmend als verlässlicher Filter vor der Veröffentlichung.
Falsch-Positive und das emotionale Tabu
Die Forscher weisen in ihrem Bericht offen auf methodische Einschränkungen hin. Um die Treffsicherheit abzusichern, unterzogen sie alle 75 Theoreme mit Verdacht auf schwere Mängel einem Gegenabgleich mit Anthropics Spitzenmodell Claude Opus 5.5. In knapp 80 Prozent der Fälle bestätigte Opus das Urteil. Manuelle Stichproben ergaben eine Falsch-Positiv-Rate von knapp zehn Prozent.
Zudem könne nicht ausgeschlossen werden, dass GPT-6.1 Sol bei Arbeiten, die mit Hilfe ähnlicher Modelle geschrieben wurden, schlicht dieselben toten Winkel teilt. Dennoch stimme das Ergebnis mit den praktischen Beobachtungen führender Mathematiker überein, die KI bereits zur Manuskriptprüfung nutzen.
Trotz der öffentlich zugänglichen Rohdaten entschied sich das Team der ETH Zürich bewusst dagegen, betroffene Autoren direkt per E-Mail auf ihre Fehler hinzuweisen. Dekoninck begründet diesen Schritt mit wissenschaftspsychologischer Rücksichtnahme: Es sei für Wissenschaftler ohnehin eine schmerzhafte Erfahrung, wenn ein autonomes System in Minuten Schwachstellen in einer Arbeit aufdecke, an der Menschen Monate oder Jahre gearbeitet hätten. Ein ungebetener Fehlerhinweis von außen führe erfahrungsgemäß eher zu reflexhafter Abwehr als zu wissenschaftlicher Korrektur.
🎯 Was das für die Praxis bedeutet
1. Menschliche Fehlbarkeit übertrifft KI-Risiken: Der Mythos der unfehlbaren Vorab-Literatur ist empirisch widerlegt. Wer wissenschaftliche Vorabdrucke ungeprüft in Forschungs- oder Entwicklungs-Pipelines übernimmt, riskiert fehlerhafte Grundannahmen.
2. Reasoning-Agenten als Standard-Filter etablieren: Forschungsgruppen und Entwicklungsabteilungen sollten Gegenbeispiel-Agenten als obligatorischen Prüfschritt vor dem Einreichen von Arbeiten oder Patenten vorschalten.
3. Geringe Kosten bei hohem Hebel: Mit API-Kosten von wenigen Dollar pro Manuskript lassen sich fatale logische Widersprüche aufdecken, bevor teure Folgeprojekte auf fehlerhaften Theoremen aufsetzen.
4. Peer-Review vor historischem Umbruch: Das traditionelle, langwierige Gutachtersystem wird durch automatisierte Verifikations-Pipelines nicht ersetzt, aber fundamental entlastet und qualitativ geschärft.
