Der Beitrag

Kaum eine Woche vergeht, in der mir auf LinkedIn oder in den Nachrichten nicht eine Schlussfolgerung aus einer vermeintlich wichtigen KI-Studie begegnet. KI mache Entwickler langsamer. KI mache mehr Arbeit statt weniger. 95 Prozent der KI-Projekte scheiterten. ChatGPT mache dumm. Schaut man genauer hin, kann man oft nur den Kopf schütteln. Denn die Relevanz dieser Studien endet meist genau dort, wo man auf zwei Angaben blickt: den Untersuchungszeitraum und die getesteten KI-Modelle samt Version.

Was mich dabei immer wieder fassungslos macht: Es sind keineswegs nur Laien, die solche Ergebnisse weitertragen. Durchaus intelligente Menschen in meiner Branche und in den Medien greifen sie auf und präsentieren sie als relevante wissenschaftliche Erkenntnis, als hätten sie irgendeine Aussagekraft dafür, wie wir heute mit KI arbeiten, geschweige denn dafür, wohin sich das entwickelt.

Ich nenne das Human Slop in der Wissenschaft. Damit meine ich nicht schlampig gemachte Arbeiten. Ich meine Studien, die methodisch ordentlich sein können und trotzdem an der Wirklichkeit vorbeigehen, weil sie einen Zustand beschreiben, den es so nicht mehr gibt. Seit dem Start von ChatGPT sind rund vier Jahre vergangen. Eine Studie, die einen technischen Stand von vor ein bis zwei Jahren vermisst, blickt damit ein Viertel bis die Hälfte dieser gesamten Geschichte zurück. Für heutige Entscheidungen ist sie in weiten Teilen wertlos, als Prognose unbrauchbar.

Der Motorflieger von 1903

Man stelle sich vor, jemand untersucht im Jahr 2026 mit großem Aufwand, wie man den Motorflieger der Brüder Wright von 1903 am sparsamsten fliegt. Das kann man machen, vielleicht sogar sauber gemessen. Aber niemand käme auf die Idee, daraus Schlüsse für einen heutigen Langstreckenjet zu ziehen. Und titelte eine Zeitung „Studie zeigt: Fliegen ist ineffizient“, würden wir lachen.

Bei KI passiert genau das, nur fällt es kaum jemandem auf. Der Sprung zwischen den Modellen von 2024 und denen von heute fühlt sich für mich ähnlich groß an. Er ist nur in zwei Jahren entstanden statt in hundert.

Sieben Studien: was untersucht wurde und was daraus wurde

Die folgenden Beispiele zeigen das Muster. Bei jedem lohnt der Blick auf drei Fragen: Was wurde wie untersucht, wann und mit welchen Modellen, und was haben Medien und vermeintliche Experten daraus gemacht?

1. Entwickler-Produktivität (METR)

  • Untersucht: 16 erfahrene Open-Source-Entwickler lösten echte Aufgaben, mal mit, mal ohne KI. Mit KI brauchten sie im Schnitt 19 Prozent länger, obwohl sie sich schneller fühlten.
  • Wann und womit: Februar bis Juni 2025, vor allem Cursor Pro mit Claude 3.5 und 3.7 Sonnet; veröffentlicht im Juli 2025. Die Autoren schrieben ausdrücklich, die Ergebnisse bedeuteten nicht, dass künftige Modelle Entwickler nicht beschleunigen würden (arXiv).
  • Daraus wurde: „Denken Sie, KI-Coding-Tools beschleunigen die Arbeit? Falsch gedacht, sie bremsen Entwickler aus“, so sinngemäß ITPro (ITPro). Dabei hat METR selbst die Studie im Februar 2026 als veraltet gekennzeichnet. Ein Folgeexperiment lieferte laut METR kein verlässliches Signal mehr, unter anderem weil immer mehr Entwickler nicht mehr ohne KI arbeiten wollten; als weiteren Grund nennt das Institut eine niedrigere Vergütung (METR).

2. KI verdichtet Arbeit (UC Berkeley)

  • Untersucht: Zwei Forscherinnen beobachteten ein US-Technologieunternehmen mit rund 200 Beschäftigten, das kommerzielle KI-Abos anbot, ohne die Nutzung vorzuschreiben. Die Beschäftigten hätten schneller gearbeitet, mehr Aufgaben übernommen und ihre Arbeit auf mehr Stunden ausgedehnt.
  • Wann und womit: April bis Dezember 2025, Modelle werden nicht genannt; Zwischenergebnisse erschienen im Februar 2026 in der Harvard Business Review (HBR).
  • Daraus wurde: „Harvard-Studie: KI macht uns nicht produktiver – sie treibt uns in den Burnout“ (Business Punk). Die Studie stammt aber nicht aus Harvard, und laut heise stieg die Produktivität sogar deutlich (heise). Beobachtet wurde eine Organisation im ersten Jahr freiwilliger KI-Nutzung. Dass man in so einer Phase viel ausprobiert und manches von Hand schneller erledigt hätte, halte ich für eine Lernkurve, keinen Dauerzustand.

3. 95 Prozent ohne Ertrag (MIT NANDA)

  • Untersucht: mehr als 300 öffentlich bekannte KI-Initiativen, Interviews mit 52 Organisationen, eine Befragung von 153 Führungskräften. Gemessen wurde kein Modell, sondern der Ertrag früher Einführungsprojekte.
  • Wann und womit: Januar bis Juni 2025, veröffentlicht im Juli 2025. Die Ursache sah der Bericht laut Fortune nicht in der Modellqualität, sondern in einer Lernlücke von Werkzeugen und Organisationen (Fortune).
  • Daraus wurde: „95 Prozent der KI-Projekte scheitern“, eine Zahl, die laut Fortune sogar Anleger an der Börse verunsicherte. Aus einer Momentaufnahme früher Pilotprojekte wurde ein Urteil über die Technologie.

4. Arbeitsmarkt Dänemark (Humlum, Vestergaard)

  • Untersucht: Befragungen von 25.000 Beschäftigten in elf Berufen, verknüpft mit Arbeitsmarktdaten. Ergebnis: kein messbarer Einfluss von KI-Chatbots auf Einkommen oder Arbeitszeit, im Schnitt drei Prozent Zeitersparnis (BFI Working Paper).
  • Wann und womit: Befragungen Ende 2023 und 2024, KI-Chatbots allgemein; veröffentlicht im April und Mai 2025.
  • Daraus wurde: „Generative KI ersetzt keine Jobs und drückt keine Löhne, sagen Ökonomen“, so sinngemäß The Register (The Register). Gemessen wurde die Chatbot-Zeit vor den Agenten. Daraus abzuleiten, dass KI den Arbeitsmarkt auch künftig kaum berührt, heißt eine Linie durch einen einzigen Punkt zu ziehen.

5. Your Brain on ChatGPT (MIT Media Lab)

  • Untersucht: die Hirnaktivität von 54 Personen beim Schreiben von Aufsätzen, gemessen per EEG, eine Gruppe davon mit KI-Unterstützung.
  • Wann und womit: über vier Monate, ohne Datumsangabe, mit GPT-4o; im Juni 2025 als Preprint ohne Begutachtung veröffentlicht (arXiv).
  • Daraus wurde: Schlagzeilen über einen alarmierenden Rückgang der Hirnaktivität bei ChatGPT-Nutzern, etwa bei YourStory (YourStory). Das Forschungsteam veröffentlichte daraufhin eigens eine Liste von Begriffen, die Journalisten vermeiden sollten, und betonte, die Schlüsse seien vorläufig (MIT Media Lab).

6. KI als Gesundheitsberater (Oxford)

  • Untersucht: Rund 1.300 Menschen in Großbritannien sollten mit KI-Hilfe medizinische Fallbeispiele einschätzen und schnitten nicht besser ab als eine Kontrollgruppe.
  • Wann und womit: laut Science News Ende 2024, mit GPT-4o, Llama 3 und Command R+ (Science News); Preprint im April 2025, Veröffentlichung in Nature Medicine im Februar 2026.
  • Daraus wurde: „Chatbots sind schreckliche Ärzte“, so sinngemäß 404 Media im Februar 2026 (404 Media). Die Kernaussage der Forscher, das Problem liege vor allem in der Interaktion zwischen Mensch und Modell, ist klug. Eine Schlagzeile über Chatbots im Jahr 2026, die auf Modellen von 2024 beruht, beschreibt aber nicht die Chatbots, die heute jemand auf dem Smartphone hat.

7. Helfen AGENTS.md-Dateien?

  • Untersucht: ob Anleitungsdateien, die man KI-Agenten für ein Softwareprojekt mitgibt, deren Erfolgsquote verbessern. Ergebnis: keine nennenswerte Verbesserung, aber rund ein Fünftel höhere Kosten (arXiv).
  • Wann und womit: Erhebungszeitraum nicht angegeben; getestet mit Claude Sonnet 4.5 (erschienen September 2025), GPT-5.2 (Dezember 2025), GPT-5.1 mini und einem kleinen Qwen-Modell. Erstveröffentlichung im Februar 2026, überarbeitete Fassung Ende September 2026, mit denselben Modellen.
  • Daraus wurde: etwa die Überschrift, das Paper zeige, AGENTS.md-Dateien schadeten dem Erfolg von Coding-Agenten (AI Weekly). Für die Frage, wie ein Unternehmen heute Agenten mit Modellen wie Claude Fable 5.2 anleiten soll, sagt diese Studie aus meiner Sicht praktisch nichts.

Kein Einzelfall, sondern messbar

Inzwischen ist das Phänomen selbst Gegenstand der Forschung. Eine Auswertung vom Mai 2026 hat mehr als 18.000 wissenschaftliche Arbeiten über Sprachmodelle aus den Jahren 2022 bis 2026 untersucht. Demnach lagen die getesteten Modelle im Median deutlich hinter dem jeweils aktuellen Spitzenmodell, und der Abstand wachse jedes Jahr. Gut die Hälfte der geprüften Zusammenfassungen formuliere ihre Schlüsse über „KI“ als Kategorie statt über das getestete Modell (arXiv). Eine zweite Auswertung vom Juli 2026 fand bei 40 Studien, dass das neueste darin genannte Modell bei Erscheinen im Median 281 Tage alt war (arXiv).

Warum wir in den Rückspiegel schauen

Der erste Grund ist das Tempo des Wissenschaftsbetriebs. Das MIT-Team hinter der ChatGPT-Studie schreibt selbst, eine Begutachtung dauere üblicherweise zwischen vier Monaten und zwei Jahren. Dieses Handwerk hat lange funktioniert, weil sich der Untersuchungsgegenstand langsamer verändert hat als der Forschungsprozess. Ein Sprachmodell ist in zwei Jahren Geschichte.

Der zweite Grund ist hausgemacht. Ein festes, älteres Modell lässt sich besser kontrollieren und reproduzieren. Und „KI kann X nicht“ bekommt mehr Aufmerksamkeit als „GPT-4o konnte Ende 2024 unter diesen Bedingungen X nicht“. Die Einschränkungen, die viele Autoren sorgfältig formulieren, schaffen es selten in die Überschrift.

Dazu kommt eine Ironie: Vermutlich ist ein Teil dieser Studien selbst ein Nebenprodukt des KI-Hypes. Weil alle über KI sprechen, gibt es Fördergeld, Aufmerksamkeit und Publikationsdruck auch für Arbeiten, die für die Praxis absehbar keine Bedeutung haben. Das ist kein Vorwurf an einzelne Forscher, die oft in bester Absicht arbeiten. Es ist ein Anreizsystem, das Menge belohnt und nicht Relevanz.

Der unbequemste Grund betrifft uns alle. Man sagt oft, Menschen könnten sich exponentielle Entwicklungen schwer vorstellen. Was ich in der KI-Debatte beobachte, geht weiter: Viele können sich überhaupt keine Entwicklung vorstellen. Man betrachtet einen Status quo, stellt fest, dass KI etwas bisher nicht produktiver gemacht hat, und schließt daraus, dass sie es auch künftig nicht tun wird. Als würde man einem Kind mit drei Jahren beim Schachspielen zusehen und daraus ableiten, dass es nie Schach spielen wird.

Während links und rechts die Bastionen fallen

Wer mit offenen Augen durch die Welt geht, sieht gerade eine Bastion nach der anderen fallen. Im Remote Labor Index, der prüft, ob KI echte, bezahlte Freiberufler-Aufträge in Kundenqualität erledigt, kam das beste Modell vor einem Jahr auf wenige Prozent. Heute schafft Claude Fable 5.2 rund vier von zehn Aufträgen. OpenAI hat über 700 mathematische Manuskripte veröffentlicht, 162 davon mit maschinell geprüftem Beweis. Google ließ gemeinsam mit Universitäten Teams aus KI-Agenten eine seit 2013 offene Vermutung der Informationstheorie beweisen. Und KI-Agenten spürten in einem einzigen Durchlauf Hunderte Lücken im Linux-Kern auf.

Vor diesem Hintergrund wirkt manche Studie, als stamme sie aus einem Paralleluniversum. Aus einer Welt, in der Sonnet 4.5 das Maß der Dinge ist und Entwickler gern einmal ohne KI arbeiten. Diese Welt gibt es nicht mehr.

Die Kluft in der Wissenschaft

Um nicht missverstanden zu werden: Es geht nicht um die Wissenschaft als Ganzes. Es gibt hervorragende Forschung zu KI, in den KI-Labors, an Universitäten und unabhängigen Instituten. Der Remote Labor Index des Center for AI Safety und von Scale AI wird laufend fortgeschrieben. METR hat die eigene, vielzitierte Studie öffentlich als veraltet gekennzeichnet und das Studiendesign umgebaut. Und Forscher haben mit einem aktuellen Modell Hunderte mathematische Fachaufsätze auf Fehler geprüft.

Gerade deshalb tut sich eine Kluft auf. Auf der einen Seite stehen Forscher, die mit aktuellen Systemen arbeiten, ihre Ergebnisse datieren und laufend nachmessen. Auf der anderen Seite stehen viele, die, vermutlich in guter Absicht, mit den Methoden von gestern Studien über die Technik von vorgestern produzieren. Manche Befunde tragen durchaus über Modellgenerationen hinweg, etwa dass Menschen ihre eigene Produktivität mit KI falsch einschätzen. Das Problem beginnt dort, wo eine datierte Beobachtung über ein bestimmtes Modell als Aussage über „die KI“ gelesen wird. Eine Studie über GPT-4o ist eine historische Quelle, kein Blick nach vorn.

Weite Teile der Wissenschaft werden ihren Blick auf KI grundlegend ändern müssen, wenn sie außerhalb der eigenen Blase relevant bleiben wollen. Sie müssen vom Foto zum Messgerät werden. Und wer seine KI-Strategie auf Messungen von Modellen aus dem Vorjahr baut, fährt mit dem Blick im Rückspiegel. Auf einer geraden Straße geht das eine Weile gut. Die Straße, auf der wir gerade unterwegs sind, ist alles andere als gerade.

Was das für die Praxis bedeutet

1. Zeitstempel prüfen: Bei jeder KI-Studie zuerst nachsehen, mit welchem Modell und wann gemessen wurde. Liegt das mehr als ein Jahr zurück, ist die Studie ein Rückblick, keine Entscheidungsgrundlage.

2. Trends statt Momentaufnahmen nutzen: Für Strategieentscheidungen Messreihen heranziehen, die neue Modelle laufend nachtesten, statt einzelner Studien zu einem älteren Modell.

3. Selbst nachmessen: Was eine Studie über ein Modell von 2024 behauptet, lässt sich oft in wenigen Stunden mit einem aktuellen Modell am eigenen Anwendungsfall überprüfen.

Quellen

Teilen
Software ist tot von Markus M. Kirchmair

Anzeige · Buch und Angebot von Markus Kirchmair

Noch ein Tool. Oder endlich weniger Arbeit?

Prüfen Sie mit No More Tools, welche Software und Abläufe Ihr Unternehmen tatsächlich braucht. Im Workshop entsteht ein priorisierter Fahrplan.