Ein Modell mit 27 Milliarden Parametern beansprucht in voller 16-Bit-Präzision über 55 Gigabyte Arbeitsspeicher - zu viel für gewöhnliche Laptops und gängige Grafikkarten. Mit Ternary Bonsai 2 27B hat das Caltech-Spin-off Prism ML nun die zweite Generation seiner extremen Modellkompression vorgestellt. Das unter der Apache-2.0-Lizenz veröffentlichte Modell schrumpft den Speicherbedarf auf 5,9 Gigabyte zusammen und soll nach Angaben des Unternehmens dennoch 98,2 Prozent der Benchmark-Leistung des unkomprimierten Originals beibehalten.
Nachdem das Unternehmen bereits im Mai mit Bonsai Image 4B ein 1-Bit-Bildmodell demonstrierte und im Juli die erste Generation von Bonsai 27B auf Basis von Qwen 3.6 veröffentlichte, wechselt Version 2 auf das modernere Open-Weights-Fundament Qwen 3.8-27B. Neben Text beherrscht das Modell Bildeingaben, verarbeitet ein Kontextfenster von 262.144 Token und setzt auf maßgeschneiderte Inferenz-Kernels für Nvidia-GPUs (CUDA) und Apple Silicon (MLX).
Ternäre Gewichte und Hardware-Software-Co-Design
Der drastische Schrumpfungsprozess um mehr als das Neunfache beruht auf ternärer Quantisierung. Statt Fließkommazahlen mit 16 Bit nutzt das Modell Gewichte mit lediglich drei diskreten Zuständen: minus eins, null und plus eins. Zusammen mit einer Skalierung auf Gruppenebene in 16-Bit-Präzision ergibt sich eine Informationsdichte von effektiv 1,76 Bit pro Gewicht.
Um die Zahlen greifbar zu machen, lohnt sich der direkte Vergleich zwischen Basismodell und den beiden Bonsai-Generationen:
| Eigenschaft | Qwen 3.8 27B (Original) | Bonsai 27B (Gen. 1) | Ternary Bonsai 2 27B |
|---|---|---|---|
| Speicherbedarf | 55,6 GB (FP16) | 5,9 GB (Ternär) / 3,9 GB (1-Bit) | 5,9 GB |
| Effektive Bits pro Gewicht | 16 Bit | ca. 1,76 Bit / 1,0 Bit | 1,76 Bit |
| Basismodell | - | Qwen 3.6 27B | Qwen 3.8 27B |
| Hersteller-Retention | 100 % (85,4 Punkte) | ca. 95 % | 98,2 % (83,9 Punkte) |
| Kontextfenster | 262.144 Token | 262.144 Token | 262.144 Token |
| Lizenz | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Prism ML positioniert das Modell primär für agentische Workflows, in denen ein Modell nicht nur einmal antwortet, sondern in Schleifen Werkzeuge aufruft und Bildschirminhalte analysiert.
Auf einer Nvidia RTX 5090 erreicht Ternary Bonsai 2 laut Prism ML bis zu 143 Token pro Sekunde, während auf Apples M5 Max rund 46,8 Token pro Sekunde gemessen worden seien. Auf einer RTX 4090 beziffert das Unternehmen den Energiebedarf auf 0,714 Milliamperestunden pro Token - womit das 27-Milliarden-Modell rund 40 Prozent sparsamer arbeiten soll als ein unkomprimiertes 8-Milliarden-Modell.
Sprung bei der Intelligenzdichte
In der Entwickler-Community stößt vor allem die Geschwindigkeit der Entwicklung auf Interesse. Binnen zwei Monaten stieg die Retention von 95 Prozent bei der ersten Generation auf 98,2 Prozent in Bonsai 2.
Die Verschiebung von reiner Modellgröße hin zur „Intelligenzdichte" - wie viel nutzbare Leistung pro Gigabyte Speicher und Watt Energie geliefert wird - könnte den wirtschaftlichen Spielraum für On-Device-Anwendungen grundlegend verändern. Wenn ein Modell dieser Leistungsklasse auf Konsumenten-Hardware passt, sinken die Hürden für lokale Vertraulichkeit und dauerhaft aktive Hintergrund-Assistenten.
Web-Designs auf 8-GB-Grafikkarten - und die Kernel-Hürde
Dass sich das Modell tatsächlich auf alltäglicher Hardware betreiben lässt, demonstrierte ein Softwareentwickler auf X anhand von 30 generierten Web-Oberflächen:
Eine auf rund 5,5 Gigabyte komprimierte Variante genügt, um vollständige Interface-Layouts mit Komponenten und Interaktionen zu entwerfen. Damit rücken Grafikkarten der 8-GB-Klasse in das Einsatzfeld von 27-Milliarden-Modellen. Gleichzeitig verweist der Entwickler auf eine wesentliche technische Einschränkung: Bonsai lässt sich nicht ohne Weiteres in gängige Standard-Software wie unmodifizierte Inferenz-Server laden. Das Modell erfordert spezifische Custom-Kernels, die Hardware und Software eng miteinander verzahnen.
Entzensierung zur Laufzeit statt beschädigter Gewichte
Eine weitere Hürde ternärer Modelle adressiert das Projekt OrcaRouter: die Anpassung und Entfernung von Sicherheitsbeschränkungen (Abliteration).
Traditionelle Abliteration greift direkt in die Modellgewichte ein. Bei ternären Gewichten mit 1,76 Bit würde eine nachträgliche Modifikation jedoch eine erneute Quantisierung erzwingen, was die mühsam während des Quantization-Aware-Trainings (QAT) austarierte Modellqualität zerstören würde. OrcaRouter verlagert den Eingriff daher vollständig in die Inferenz-Laufzeit: Über 129 Interventionsstellen in den Aktivierungsströmen wird das Verhalten gesteuert, während die 5,9 Gigabyte großen Originalgewichte bitgenau erhalten bleiben.
Die Gegenseite: Endlose Denkschleifen und Scheitern an Datei-Edits
Trotz der beeindruckenden Benchmark-Zahlen zeichnen erste unabhängige Härtetests der Entwickler-Community ein deutlich nüchterneres Bild der praktischen Einsetzbarkeit:
Ein Community-Tester dokumentiert in Videoaufnahmen erhebliche Schwächen bei autonomen Aufgaben. Zwar funktioniere normaler Text-Chat problemlos und das Modell könne initiale Werkzeugaufrufe anstoßen. Im Reasoning-Modus verfalle Bonsai 2 jedoch häufig in extreme Denkschleifen („overthinks to the depth of hell"), schließe komplexe Workflows nicht ab und scheitere konsistent daran, Code-Dateien im Projektverzeichnis gezielt zu bearbeiten. Als stabilere Alternative für speicherlimitierte Systeme empfiehlt der Tester herkömmlich quantisierte 9-Milliarden-Modelle wie Qwen 3.5.
Synthetische Benchmarks gegen Agenten-Ketten
Fehler-Akkumulation: In standardisierten Benchmarks wie τ²-bench oder HumanEval wird meist eine einzelne isolierte Antwort bewertet. Ein Retention-Wert von 98,2 Prozent wirkt dort nahezu verlustfrei.
Die Praxis-Falle: Autonome Coding-Agenten führen oft 20 bis 50 aufeinanderfolgende Werkzeugaufrufe durch. Weicht das Modell bei jedem Schritt nur minimal von der optimalen Entscheidung ab, multiplizieren sich die Restfehler exponentiell und bringen den gesamten Agenten-Loop zum Stillstand.
Für Entwickler und Unternehmen bedeutet Bonsai 2 27B daher vor allem einen spannenden technologischen Zwischenschritt. Die Software-Kompression beweist, wie viel Effizienz aus bestehenden Architekturen geholt werden kann. Für unbeaufsichtigte Produktiv-Agenten bleibt der Abstand zur unkomprimierten Vollpräzision in der Praxis jedoch spürbar.
🎯 Was das für die Praxis bedeutet
1. Lokale Assistenten auf 8-GB-Hardware testen: Für Textverarbeitung, Brainstorming und UI-Ideen auf Laptops oder Consumer-GPUs ist Bonsai 2 ein hochgradig sparsames Modell, das ohne laufende Cloud-Gebühren auskommt.
2. Vorsicht bei autonomen Coding-Agenten: Trotz hoher Benchmark-Werte neigt das Modell im Denkmodus zu Schleifen und unvollständigen Dateiänderungen. Für produktive Multi-Step-Agenten sind Cloud-Modelle oder höher quantisierte Basen weiterhin zuverlässiger.
3. Software-Ökosystem im Blick behalten: Da ternäre Modelle spezielle Laufzeit-Kernels verlangen, hängt der reale Nutzen von der Integration in gängige Werkzeuge wie LM Studio, Ollama und MLX ab.
