Das US-Startup Liquid AI hat mit LFM2.5-2.6B ein kompaktes KI-Modell veröffentlicht, das speziell für den lokalen Einsatz von KI-Agenten auf Endgeräten wie Smartphones und PCs entwickelt wurde. Bei einer Modellgröße von 2,6 Milliarden Parametern soll die Architektur unter 2,5 Gigabyte Arbeitsspeicher belegen und auf Apple-Silicon-Chips wie dem M5 Max Geschwindigkeiten von bis zu 220 Token pro Sekunde erreichen.
Im Gegensatz zu großen Cloud-Modellen, bei denen jede Anfrage über API-Gebühren abgerechnet wird, setzt Liquid AI auf eine grenzenlose lokale Ausführung. Entwickler sollen damit in der Lage sein, KI-Agenten ohne laufende Token-Kosten rund um die Uhr im Hintergrund arbeiten zu lassen - beispielsweise zur automatischen Dokumentenverwaltung, Code-Analyse oder Datenrecherche.
Vierstufiges Post-Training für spezialisierte Werkzeugnutzung
Die Grundlage von LFM2.5-2.6B bildet ein Vortraining auf rund 34 Billionen (34T) Token. Um lange Kontextfenster und nicht-lateinische Schriftsysteme besser zu unterstützen, verdoppelte das Team das Vokabular auf 128.000 Token und erweiterte das Kontextfenster in einer speziellen Mid-Training-Phase ebenfalls auf 128.000 Token.
Um das Basismodell in ein funktionstüchtiges Agenten-System zu verwandeln, durchläuft das Modell eine vierstufige Post-Training-Pipeline:
Post-Training Architektur von LFM2.5-2.6B
1. Supervised Fine-Tuning (SFT): Zweistufiges Feintuning mit Siebenfacher Datenmenge gegenüber dem Vorgänger, fokussiert auf Werkzeugaufrufe, Web-Suche und Software-Engineering.
2. Teacher Specialization: Aufteilung in spezialisierte Experten-Modelle (u. a. für Mathematik, Code, Instruktionsfolge und Werkzeuge) mittels Reinforcement Learning mit verifizierbaren Belohnungen (RLVR).
3. Multi-Domain On-Policy Distillation (MOPD): Destillation des Fachwissens der Spezialisten-Lehrer in ein einziges kompaktes Schüler-Modell unter eigener Ausführungs-Policy.
4. Agentic Reinforcement Learning: Training in echten Agenten-Laufzeitumgebungen wie OpenClaw und Hermes Agent per GRPO-Optimierung und programmierten Sicherheits-Gates.
Durch diesen Prozess soll das Modell in der Lage sein, mehrstufige Workflows eigenständig zu planen, externe Werkzeuge aufzurufen und Fehler bei der Ausführung selbstständig zu korrigieren.
Wettlauf auf dem Smartphone: Vergleich mit Gemma 4 und Qwen 3.5
Der Markt für lokale Smartphone-Modelle gewinnt rasant an Dynamik. Während Google kürzlich demonstrierte, dass auch Gemma 4 lokal auf dem iPhone läuft, positioniert Liquid AI sein 2,6-Milliarden-Modell gezielt als spezialisierte Agenten-Engine für autonome Multistep-Aufgaben.
In den von Liquid AI veröffentlichten Benchmark-Tests erzielt LFM2.5-2.6B beachtliche Ergebnisse im Vergleich zu deutlich großeren Modellen. Bei Instruktionsfolge-Tests wie IFBench (59,17 Punkte) und Multi-IF (80,07 Punkte) liegt das Modell vor Googles Gemma 4 (5.1B und 8B) sowie Alibabas Qwen 3.5 (4.7B).
Auch in der Werkzeugnutzung (BFCLv4: 56,88 Punkte; ToolSandbox: 77,83 Punkte) und im Agenten-Test Claw-Eval schlägt sich das 2,6-Milliarden-Modell überraschend stark. Lediglich bei rein mathematischen Aufgaben und komplexer Software-Entwicklung behalten großere Modelle durch ihren Umfang die Oberhand.
Schnelle Ausführung auf Smartphones und Servern
Nach Herstellerangaben läuft LFM2.5-2.6B auf mobilen Geräten mit durchschnittlich 30 Token pro Sekunde. Auf einem AMD Ryzen AI Max+ 395 werden 113 Token/s erreicht, während das Modell auf Apple Silicon (M5 Max) auf 220 Token/s kommt. Bei hoher GPU-Parallelisierung auf einer einzelnen NVIDIA H100 erzielt das System laut Entwicklern knapp 15.000 Output-Token pro Sekunde - was theoretisch rund 1,3 Milliarden Token pro Tag entspricht.
Das Modell steht ab sofort mit offenen Gewichten (Open Weights) auf Hugging Face zur Verfügung. Unterstützt werden etablierte Laufzeitumgebungen wie llama.cpp (GGUF), MLX für Apple Silicon, vLLM, SGLang und ONNX, wodurch der Einsatz auf Smartphones und Notebooks ohne Cloud-Anbindung direkt möglich ist.
🎯 Was das für die Praxis bedeutet
1. Lokale Agenten ohne API-Kosten: Entwickler können automatisierte Hintergrundprozesse auf eigenen Servern oder Laptops ausführen, ohne pro Token zahlen zu müssen.
2. Datenschutzkonforme Datenverarbeitung: Sensible Unternehmensdaten, E-Mails oder Dokumente verbleiben bei der Verarbeitung vollständig auf dem lokalen Endgerät.
3. Hybrid-Strategie nutzen: Kompakte On-Device-Modelle eignen sich ideal für Routineaufgaben und Vorverarbeitungen, während komplexe Sonderfälle an großere Cloud-Modelle übergeben werden.
