Nur zwei Wochen nach der Veröffentlichung des massiven Inkling-Flaggschiffmodells legt das Forschungslabor Thinking Machines Lab nach: Mit Inkling-Small präsentiert das US-Start-up ein kompaktes Open-Weight-Modell, das bei nur einem Viertel der aktiven Parameter in Benchmarks für logisches Denken und autonome Agenten-Steuerung gleichzieht oder die bisherige Modellgeneration sogar übertrifft.
Das neue Modell basiert auf einer Mixture-of-Experts-Architektur (MoE) mit insgesamt 276 Milliarden Parametern. Im laufenden Betrieb werden jedoch pro Token nur 12 Milliarden Parameter aktiviert. Trotz dieser verringerten Parameterzahl soll das Modell ein vollständiges Kontextfenster von bis zu 1 Million Tokens sowie eine native Multimodalität für Text, Bild und Audio bieten.
Destillation und Reinforcement Learning als Effizienztreiber
Nach Angaben von Thinking Machines Lab sei der Effizienzsprung nicht allein auf das Pre-Training auf NVIDIA-GB300-Systemen zurückzuführen, sondern vor allem auf ein zweistufiges Post-Training. Dabei habe das Entwicklerteam zunächst das große Inkling-Modell als Lehrer für ein On-Policy-Distillationsverfahren genutzt. Im Anschluss sei ein zweiwöchiges Intensivtraining mit Reinforcement Learning (RL) für komplexe Entwickler- und Agentenaufgaben gefolgt.
In den von Thinking Machines Lab veröffentlichten Benchmarks schlägt Inkling-Small das fast viermal so große Schwestermodell im Agenten-Test Terminal-Bench 2.1 mit 64,7 % gegenüber 63,8 % pass@1. Auch beim anspruchsvollen Text-Benchmark Humanity's Last Exam (HLE) erzielt die kompakte Variante mit 31,6 % ein leicht höheres Ergebnis als das Ursprungsmodell mit 29,7 %.
| Modell | Gesamt- / Aktive Parameter |
Terminal-Bench 2.1 |
HLE (Text-only) |
API-Ausgabepreis (1 Mio. Tokens) |
|---|---|---|---|---|
| Inkling-Small | 276B / 12B active | 64,7 % | 31,6 % | $ 1,20 |
| Inkling (Flaggschiff) | 975B / 41B active | 63,8 % | 29,7 % | $ 4,05 |
| DeepSeek V4 Flash | MoE (Open-Weights) | 61,8 % | 32,1 % | $ 0,70 |
| Gemini 3.5 Flash-Lite | Proprietär (Google) | 54,0 % | 17,5 % | $ 0,40 |
Steuerbarer Denkaufwand und Abstriche beim Enzyklopädie-Wissen
Wie bereits beim Vorgänger lässt sich der Denkaufwand (Reasoning Effort) von Inkling-Small dynamisch in Stufen von minimal bis xhigh steuern. Dadurch können Entwickler bei einfachen Aufgaben Verarbeitungszeit und Rechenkosten minimieren, während das Modell bei komplexen Mathematik- oder Programmierproblemen längere Gedankengänge ausführt.
Allerdings offenbart die Verkleinerung des Modells auch deutliche Grenzen: Bei reinem Faktenwissen erreicht Inkling-Small im SimpleQA Verified Benchmark lediglich 20,6 %, während das große Inkling-Modell 43,9 % erzielt. Das Labor bestätigt, dass das verringerte Speichervolumen die Kapazität für reines Faktenwissen spürbar begrenzt. Wer exakte enzyklopädische Abfragen benötigt, muss weiterhin auf das größere Modell zurückgreifen.
Open Weights auf Hugging Face und Inferenz-Verfügbarkeit
Die vollständigen Modellgewichte von Inkling-Small stehen ab sofort als Open Weights auf Hugging Face zur Verfügung, wo die Unsloth-Community bereits passende GGUF-Quantisierungen für den lokalen Betrieb bereitstellt. Auf der hauseigenen Tinker-Plattform wird der API-Zugriff für $ 1,20 pro Million Ausgabetokens angeboten - ein Preisabschlag von über 70 % im Vergleich zum großen Inkling-Modell.
🎯 Was das für die Praxis bedeutet
1. Agenten-Kosten drastisch senken: Für autonome Terminal- und Entwickler-Agenten bietet Inkling-Small eine höhere Trefferquote als das Flaggschiff zu weniger als einem Drittel der Token-Kosten.
2. Lokale Workstation-Option: Durch die Reduktion auf 12 Milliarden aktive Parameter wird der Betrieb quantisierter MoE-Modelle auf High-End-Entwickler-Workstations und Servern deutlich realistischer.
3. Faktenprüfungen vorschalten: Bei Wissensabfragen und faktenbasierten Workflows neigt die Small-Variante zu höheren Halluzinationsraten, weshalb RAG-Systeme oder nachgelagerte Prüfschritte zwingend erforderlich sind.
