Ein Modell mit 27 Milliarden Parametern auf dem Smartphone? Bisher undenkbar. Allein in 16-Bit-Präzision belegt so ein Modell rund 54 GB - selbst eine gängige 4-Bit-Variante kommt auf 18 GB und sprengt jeden Handy-Speicher. Doch PrismML, ein Caltech-Spin-off mit Rückendeckung von Khosla Ventures, Google und Samsung, hat mit Bonsai 27B genau das geschafft.
Das neue Flaggschiff der Bonsai-Familie basiert auf Qwen 3.6 27B und erscheint in zwei Varianten, die unterschiedliche Einsatzszenarien bedienen.
Zwei Varianten für zwei Welten
Die ternäre Variante nutzt Gewichte mit nur drei möglichen Werten (-1, 0, +1) und kommt auf 5,9 GB - wenig genug für jeden Laptop. PrismML zufolge behält sie über einen Suite von 15 Benchmarks hinweg 95 Prozent der Originalleistung. In Mathematik und Programmierung sind die Einbußen minimal: 93,4 statt 95,3 Punkte bei Matheaufgaben, 86 statt 88,7 beim Programmieren.
Die 1-Bit-Variante geht noch weiter: Mit binären Gewichten (-1, +1) schrumpft das Modell auf 3,9 GB. Damit passt es in den Arbeitsspeicher eines iPhone 17 Pro - das erste Mal, dass ein Modell dieser Leistungsklasse auf einem Smartphone läuft. Die Qualität liegt bei 90 Prozent der Baseline, was für viele praktische Anwendungen ausreicht.
Warum das für KI-Agenten wichtig ist
PrismML argumentiert, dass sich die wertvollsten KI-Anwendungen von einzelnen Antworten hin zu zusammenhängenden Workflows verschieben: Agenten, die Werkzeuge bedienen, Recherchen über dutzende Dokumente durchführen und mehrstufige Aufgaben erledigen. Ein solcher Agent macht nicht einen, sondern hunderte Modellaufrufe - und bei Cloud-APIs summieren sich dabei die Kosten pro Token, während jeder Zwischenschritt über das Netz wandert.
Lokal ändert sich die Gleichung: Nach Anschaffung des Geräts fallen für einzelne Modellaufrufe keine API-Gebühren an, und Eingaben müssen nicht an einen Modellanbieter übertragen werden. Das beseitigt nicht alle Kosten oder Datenschutzrisiken, denn Strom, Geräteverwaltung, lokale Protokolle und angebundene Werkzeuge bleiben relevant. Bonsai 27B unterstützt einen Kontext von 262.000 Token, kann Bilder und Screenshots verarbeiten und beherrscht strukturierte Tool-Calls - die Grundbausteine für agentische Anwendungen.
Geschwindigkeit und Intelligenz-Dichte
Auf einer NVIDIA RTX 5090 erreicht die 1-Bit-Variante laut PrismML bis zu 163 Token pro Sekunde, die ternäre Variante 134. Auf Apples M5 Max sind es 87 beziehungsweise 58 Token pro Sekunde. Für ein iPhone 17 Pro nennt PrismML rund 11 Token pro Sekunde. Das sind Herstellerwerte unter bestimmten Testbedingungen; Geschwindigkeit und verfügbarer Kontext hängen in einer konkreten App zusätzlich von Speicher, Kühlung und Implementierung ab.
PrismML misst die Effizienz in „Intelligenz-Dichte" - also Leistung pro Gigabyte. Die 1-Bit-Variante erreicht 0,53 pro GB, mehr als zehnmal so viel wie das Ausgangsmodell in voller Präzision und 2,7-mal so viel wie die beste verfügbare Alternative. Oder anders formuliert: 27-Milliarden-Parameter-Intelligenz in einem Paket, das kleiner ist als ein herkömmliches 2-Milliarden-Modell in voller Auflösung.
Der Kontext: On-Device-KI gewinnt an Fahrt
Bonsai 27B reiht sich in eine Entwicklung ein, die 2026 deutlich an Tempo gewonnen hat. Google brachte mit Gemma 4 eigene On-Device-Modelle heraus, und LM Studio brachte lokale Modelle per App aufs iPhone. PrismML selbst hatte bereits im Mai mit Bonsai Image 4B gezeigt, dass auch Bildgenerierung lokal funktioniert.
Der Unterschied: Bonsai 27B ist kein kleines Hilfsmodell, sondern ein Modell der 27-Milliarden-Klasse mit Denkmodus, Bildverarbeitung, Tool-Calls und großem Kontextfenster. Die Gewichte sind unter Apache 2.0 über Hugging Face verfügbar; PrismML stellt außerdem Implementierungen für MLX auf Apple-Geräten und CUDA auf Nvidia-Grafikkarten bereit. Ein X-Beitrag dokumentiert eine WebGPU-Demo im Browser.
Medienberichte brachten PrismMLs Kompressionstechnologie mit einer möglichen Prüfung durch Apple in Verbindung. Eine offizielle Apple-Bestätigung liegt nicht vor. Dieses Gerücht bleibt interessant, darf aber nicht als beschlossene Integration in Apples Produkte verstanden werden.
🎯 Was das für die Praxis bedeutet
1. Lokale KI-Agenten werden realistischer: Agentische Workflows können auf geeigneten Geräten ohne laufende Modell-API-Gebühren arbeiten. Lokale Sicherheit, Energiebedarf und Werkzeugberechtigungen bleiben trotzdem zu prüfen.
2. Hybride Architektur als Kostenhebel: Einfache und datensensible Aufgaben lokal, nur die schwersten Schritte in der Cloud - das senkt die Kosten für KI-Anwendungen erheblich.
3. Kompressionstechnologie beobachten: Die ternäre und 1-Bit-Kompression zeigt, dass die nächste Effizienzrevolution nicht bei den Chips, sondern bei der Software liegt. Wer auf On-Device-KI setzt, sollte diese Entwicklung aktiv verfolgen.
