Mit einem einzelnen Startbild und kurzen Textbefehlen eine dreidimensionale Umgebung erschaffen und diese sofort per Tastatur durchqueren: Das AMAP Computer Vision Lab (acvlab) von Alibaba hat sein neues interaktives Videoweltmodell ABot-World-0-5B-LF als Open Source veröffentlicht. Der Durchbruch liegt vor allem in der Echtzeitfähigkeit und der Stabilität über lange Sequenzen.
Während frühere Ansätze für interaktive KI-Umgebungen wie Googles Genie 3 oder Experimente von Reactor Inc oft riesige Rechencluster erforderten, richtet sich die Entwicklung aus China explizit an Entwickler mit Standard-Hardware.
Flüssige Welt-Generierung auf Konsumenten-GPUs
Das Modell basiert auf Alibabas Open-Source-Architektur Wan2.2-TI2V-5B und umfasst rund 5 Milliarden Parameter. Laut Angaben der Forscher generiert die KI kontinuierliche Video-Streams in einer Auflösung von 720p mit bis zu 16 Bildern pro Sekunde (FPS). Als Ziel-Hardware diente im Benchmark eine einzelne NVIDIA RTX 5090 Desktop-GPU.
Besonders prägnant ist die geringe Latenz: Die Verzögerung von einer Tastatureingabe (etwa W/A/S/D für Bewegung oder I/J/K/L für die Kameraausrichtung) bis zum ersten gerenderten Videobild soll lediglich bei rund 1,2 Sekunden liegen. Der maximale Videospeicherbedarf beläuft sich dabei auf etwa 19 GiB VRAM.
LongForcing gegen den Drift
Das Kernproblem: Autoregressive Videomodelle neigen bei langer Erkundung dazu, Abweichungen aufzusummieren. Die Umgebung verzerrt sich oder friert visuell ein.
Die Lösung: Durch die neu entwickelte Trainingsmethode LongForcing gleicht das Modell lange Ausführungen eines Student-Netzwerks mit einem Lehrer-Netzwerk über erweiterte Horizonte ab. Dadurch bleibt die konsistente Weltstruktur auch bei Minuten langer Navigation erhalten.
Vom Navigations-Dienst zum autonomen Roboter
Die AMAP-Sparte von Alibaba ist vor allem für den chinesischen Kartendienst AutoNavi bekannt. Das Forschungsteam nutzt Weltmodelle wie ABot-World nicht primär für Gaming, sondern als Trainingsumgebung für autonome KI-Agenten und Robotik-Systeme im Rahmen der firmeneigenen ABot-Plattform.
Indem physikalische Bewegungsabläufe und visuelle Reaktionen direkt im Weltmodell simuliert werden, können Roboter komplexe Raumkonzepte erlernen, ohne teure physische Teststrecken aufbauen zu müssen. Dass Alibaba das Modell sowie eine interaktive Live-Demo auf Hugging Face unter der Apache-2.0-Lizenz bereitstellt, unterstreicht den Trend zu offenen Architekturen im Bereich der Physical AI, zu dem auch Entwicklungen wie FLUX.3 von Black Forest Labs beitragen.
🎯 Was das für die Praxis bedeutet
1. In-House-Simulatoren ohne 3D-Engine: Unternehmen können fotorealistische Testumgebungen für autonome Systeme direkt aus Videodaten erzeugen, ohne aufwendige 3D-Modellierung in Unreal Engine oder Unity zu betreiben.
2. Niedrige Einstiegshürde für KI-Forschung: Durch den Betrieb auf einzelnen Desktop-GPUs mit 19 GiB VRAM wird die Entwicklung interaktiver Weltmodelle auch für kleinere Teams und Hochschulen zugänglich.
3. Neue Impulse für Agenten-Training: Virtuelle Agenten lassen sich in dynamisch generierten Welten testen, was die Lücke zwischen reinen Text-LLMs und physischer Interaktion weiter schließt.
