Ein Modell mit 27 Milliarden Parametern auf dem Smartphone? Bisher undenkbar. Allein in 16-Bit-Präzision belegt so ein Modell rund 54 GB - selbst eine gängige 4-Bit-Variante kommt auf 18 GB und sprengt jeden Handy-Speicher. Doch PrismML, ein Caltech-Spin-off mit Rückendeckung von Khosla Ventures, Google und Samsung, hat mit Bonsai 27B genau das geschafft.
Das neue Flaggschiff der Bonsai-Familie basiert auf Qwen 3.6 27B und erscheint in zwei Varianten, die unterschiedliche Einsatzszenarien bedienen.
Zwei Varianten für zwei Welten
Die ternäre Variante nutzt Gewichte mit nur drei möglichen Werten (-1, 0, +1) und kommt auf 5,9 GB - wenig genug für jeden Laptop. PrismML zufolge behält sie über einen Suite von 15 Benchmarks hinweg 95 Prozent der Originalleistung. In Mathematik und Programmierung sind die Einbußen minimal: 93,4 statt 95,3 Punkte bei Matheaufgaben, 86 statt 88,7 beim Programmieren.
Die 1-Bit-Variante geht noch weiter: Mit binären Gewichten (-1, +1) schrumpft das Modell auf 3,9 GB. Damit passt es in den Arbeitsspeicher eines iPhone 17 Pro - das erste Mal, dass ein Modell dieser Leistungsklasse auf einem Smartphone läuft. Die Qualität liegt bei 90 Prozent der Baseline, was für viele praktische Anwendungen ausreicht.
Warum das für KI-Agenten wichtig ist
PrismML argumentiert, dass sich die wertvollsten KI-Anwendungen von einzelnen Antworten hin zu zusammenhängenden Workflows verschieben: Agenten, die Werkzeuge bedienen, Recherchen über dutzende Dokumente durchführen und mehrstufige Aufgaben erledigen. Ein solcher Agent macht nicht einen, sondern hunderte Modellaufrufe - und bei Cloud-APIs summieren sich dabei die Kosten pro Token, während jeder Zwischenschritt über das Netz wandert.
Lokal ändert sich die Gleichung: Der marginale Preis eines hundertschrittigen Agenten-Loops ist null, und die Daten des Nutzers verlassen das Gerät nie. Bonsai 27B unterstützt dabei einen Kontext von 262.000 Token, kann Bilder und Screenshots verarbeiten und beherrscht strukturierte Tool-Calls - die Grundbausteine für agentische Anwendungen.
Geschwindigkeit und Intelligenz-Dichte
Auf einer NVIDIA RTX 5090 erreicht die 1-Bit-Variante laut PrismML bis zu 163 Token pro Sekunde, die ternäre Variante 134. Auf Apples M5 Max sind es 87 beziehungsweise 58 Token pro Sekunde. Auf dem iPhone selbst sollen laut Medienberichten rund 11 Token pro Sekunde drin sein - langsam, aber für viele Aufgaben brauchbar.
PrismML misst die Effizienz in „Intelligenz-Dichte" - also Leistung pro Gigabyte. Die 1-Bit-Variante erreicht 0,53 pro GB, mehr als zehnmal so viel wie das Ausgangsmodell in voller Präzision und 2,7-mal so viel wie die beste verfügbare Alternative. Oder anders formuliert: 27-Milliarden-Parameter-Intelligenz in einem Paket, das kleiner ist als ein herkömmliches 2-Milliarden-Modell in voller Auflösung.
Der Kontext: On-Device-KI gewinnt an Fahrt
Bonsai 27B reiht sich in eine Entwicklung ein, die 2026 deutlich an Tempo gewonnen hat. Google brachte mit Gemma 4 eigene On-Device-Modelle heraus, und LM Studio brachte lokale Modelle per App aufs iPhone. PrismML selbst hatte bereits im Mai mit Bonsai Image 4B gezeigt, dass auch Bildgenerierung lokal funktioniert.
Der Unterschied: Bonsai 27B ist kein kleines Hilfsmodell, sondern ein Reasoning-Modell der 27-Milliarden-Klasse mit Vision, Tool-Calls und ausreichend Kontextfenster für komplexe Aufgaben. Die Modelle sind unter der Apache-2.0-Lizenz frei verfügbar und können über Hugging Face, GitHub oder die iOS-App „Locally AI" genutzt werden. PrismML selbst gibt an, Apple prüfe die Kompressionstechnologie für den Einsatz in der eigenen On-Device-KI - offiziell bestätigt hat Apple das aber nicht.
🎯 Was das für die Praxis bedeutet
1. Lokale KI-Agenten werden realistisch: Wer agentische Workflows plant, kann erstmals ein leistungsstarkes Modell auf dem Gerät des Nutzers laufen lassen - ohne Cloud-Kosten und ohne Datenschutzrisiko.
2. Hybride Architektur als Kostenhebel: Einfache und datensensible Aufgaben lokal, nur die schwersten Schritte in der Cloud - das senkt die Kosten für KI-Anwendungen erheblich.
3. Kompressionstechnologie beobachten: Die ternäre und 1-Bit-Kompression zeigt, dass die nächste Effizienzrevolution nicht bei den Chips, sondern bei der Software liegt. Wer auf On-Device-KI setzt, sollte diese Entwicklung aktiv verfolgen.
