Autocomplete

Autocomplete — in der KI-Welt auch „Next Token Prediction" genannt — ist im Grunde das Prinzip, nach dem alle großen Sprachmodelle funktionieren. GPT-4, Claude, Gemini: Im Kern sind sie Autocomplete-Maschinen auf Steroiden.

Wenn ein Smartphone die Wortvervollständigung anbietet („Ich komme gleich nach _____"), geschieht dasselbe in simpel: Ein Modell sagt das wahrscheinlichste nächste Wort vorher. Der Unterschied zu GPT ist nicht das Prinzip, sondern die Skala. Ein Handy-Keyboard nutzt ein kleines Modell mit n-Gramm-Statistik. GPT-4 nutzt Hunderte Milliarden Parameter und die Transformer-Architektur, um Zusammenhänge über Tausende Wörter hinweg zu erfassen.

Ilya Sutskever, Mitgründer von OpenAI, verdichtete die These auf einen provokanten Punkt: „Prediction is compression. If you can predict the next token well enough, you must have learned something about the world." Die Debatte, ob perfektes Autocomplete tatsächlich Verständnis erfordert oder nur dessen Illusion erzeugt, ist eine der zentralen philosophischen Fragen der aktuellen KI-Forschung.

Autocomplete ist auch der Kern von GitHub Copilot, das Code-Zeilen vervollständigt, und von Google Search, das Suchanfragen vorschlägt. Die Trivialität des Grundprinzips steht in faszinierendem Kontrast zur Leistungsfähigkeit der Ergebnisse.