Bisherige generative Videomodelle leiden unter einer fundamentalen Amnesie: Dreht die virtuelle Kamera sich um, vergisst das neuronale Netz die Details des Raumes hinter sich. Das KI-Forschungsteam von XGEN Labs hat nun mit XGEN-JING und der Begleitarchitektur DAO ein Open-Source-Weltsimulationssystem vorgestellt, das dieses Konsistenzproblem durch eine strikte Trennung von Zustand und Wahrnehmung lösen soll.
Die Veröffentlichung umfasst das Modell JING-Flash-v1, dessen Modellgewichte und Inferenzcode auf Hugging Face und GitHub bereitstehen. Es erzeugt aus der Ich-Perspektive steuerbare Videosequenzen mit synchronisierter Audiospur auf Basis von Tastatureingaben und Textbefehlen.
Die Doppel-Architektur: JING als Auge, DAO als Weltgedächtnis
Der Kern des Ansatzes von XGEN Labs liegt in der Entkopplung zweier Aufgaben, die in klassischen Video-Generatoren bisher vermischt werden. Anstatt von einem einzigen neuronalen Netz zu verlangen, gleichzeitig physikalische Gesetze, persistente Objektkoordinaten und fotorealistische Pixel zu berechnen, teilt das System die Simulation in zwei Komponenten auf: JING (镜, chinesisch für Spiegel) und DAO (道, chinesisch für Weg oder Ordnung).
DAO fungiert als berechenbare Welt-Engine. Sie verwaltet den globalen Zustand der virtuellen Umgebung, prüft Regelkonformität, berechnet die Konsequenzen von Aktionen und filtert für jeden Beobachter exakt jene Informationen heraus, die aus dessen Blickwinkel sichtbar sind. Die simulierte Welt läuft auch dann im Hintergrund weiter, wenn sich kein menschlicher Nutzer oder Agent in einem Raum aufhält.
JING wiederum dient als interaktives Erfahrungsmodell (Egocentric Experience Model). Es erhält von DAO die gefilterten Beobachtungsdaten und rendert daraus die subjektive Wahrnehmung - also was der jeweilige Beobachter in diesem Moment sieht und hört. Dieser Ansatz schließt an frühere Meilensteine an wie Tripos Weltmodell Project Eden, das erstmals die Trennung von Zustandsspeicher und Darstellung demonstrierte, sowie Alibabas agentengetriebenes ABot-World-Modell.
| Komponente | Name & Bedeutung | Funktion im Gesamtsystem | Repräsentation |
|---|---|---|---|
| Erfahrungsmodell | JING (镜) | Generiert First-Person-Video und Audio für einen einzelnen Beobachter | Pixel, Wellenformen, Egocentric Latents |
| Weltsimulation | DAO (道) | Verwaltet globalen Zustand, Objektpositionen und Regeln der Umgebung | Strukturierte Weltzustände, semantische Graphen |
| Schnittstelle | Observer Filter | Berechnet Sichtbarkeit und Hörbarkeit bezogen auf die Beobachterposition | Konditionierungs-Prompts und Referenzanker für JING |
In der Ankündigung erläutert das Team die Funktionsweise des Demonstrators und zeigt die synchrone Audio- und Videosteuerung bei Interaktionen mit virtuellen Charakteren und Objekten:
Technischer Unterbau: MiniMax-H3 und 4-Schritt-Beschleunigung
Technisch baut das Modell JING-Flash-v1 auf dem Open-Source-Basismodell MiniMax-H3 auf. Um die für interaktive Nutzung notwendige Inferenzgeschwindigkeit zu erreichen, kombinierten die Entwickler das Modell mit der Destillationstechnik FlashGen, die eine Bildgenerierung in nur vier Diffusionsschritten ermöglicht.
Gesteuert wird die Simulation über eine Kombination aus Tastaturbefehlen und natürlicher Sprache. Während die Standardtasten W, A, S und D die virtuelle Kamera vorwärts, rückwärts oder seitlich bewegen, definieren Textprompts komplexe Aktionen wie das Begrüßen eines Bäckers oder das Greifen nach einem Werkzeug. Ergänzend können bis zu fünf Referenzbilder (Figuren, Gegenstände oder Raumelemente) eingespeist werden, um visuelle Konsistenz über mehrere Handlungsschritte hinweg zu wahren.
Die hohe Rechenkomplexität spiegelt sich allerdings im Hardware-Hunger wider: Für die Ausführung des validierten Demo-Setups verlangt das Repository laut Dokumentation sechs Nvidia H100-Grafikkarten. Vier GPUs übernehmen per Sequenzparallelismus den Diffusionstransformer (DiT), während je ein weiterer Beschleuniger für den Text-Encoder sowie die Video- und Audio-VAEs reserviert ist.
Stand der Entwicklung
Bidirektionale Inferenz: JING-Flash-v1 generiert Videoblöcke derzeit noch bidirektional in Sequenzen, anstatt Bild für Bild kausal fortlaufend in Echtzeit zu streamen. Ein kausales Modell befindet sich laut Hersteller in Entwicklung.
Software vs. Konzept: Während JING als fertige Open-Source-Gewichte vorliegt, ist die übergeordnete Welt-Engine DAO bisher primär als Architekturprototyp beschrieben. Der offizielle Technical Report auf arXiv steht noch aus.
Lizenzrahmen: Die Veröffentlichung steht unter der Community-Lizenz von MiniMax H3, die für kleinere Entwickler frei zugänglich ist, bei größerer kommerzieller Verbreitung jedoch Freigaben vorsieht.
Benchmark-Erfolg und der Schritt zur persistenten Simulation
Auf dem herstellerunabhängigen Benchmark WBench (entwickelt von der Fudan-Universität und Meituan) erzielte XGEN-JING beachtliche Ergebnisse. Mit Stand vom 17. September 2026 belegt das Modell Platz 1 im Gesamtranking (Full Split) und Platz 2 im Navigations-Split unter den getesteten interaktiven Videoweltmodellen.
Damit reiht sich das Projekt in eine Reihe ambitionierter Vorstöße ein, die über reine Videogeneration hinausgehen. Während Ansätze wie World Labs Atlas von Fei-Fei Li auf räumliche 3D-Gaussian-Splatting-Welten setzen und Runways Worlds-2 den Schwerpunkt auf Physiksimulation legt, zielt XGEN Labs auf das Konzept einer geteilten, kontinuierlich lebenden Welt. Langfristig streben die Forscher nach einer virtuellen Umgebung namens OASIS, in der autonome KI-Agenten und menschliche Nutzer gemeinsam interagieren und Spuren hinterlassen, die auch nach dem Verlassen des Raumes bestehen bleiben.
🎯 Was das für die Praxis bedeutet
1. Trennung von Speicher und Pixeln als Leitmotiv: Reines Video-End-to-End-Training stößt bei räumlicher Konsistenz an harte Grenzen. Die Kombination aus symbolischem Zustandsspeicher und generativer Rendering-Engine setzt sich als robusterer Architekturstandard durch.
2. Früher Prototyp für die Spieleentwicklung: Studios sollten beobachten, wie synchrone Audio- und Videogenerierung die Interaktionsgrenzen traditioneller Game-Engines aufweicht. Für interaktive Zwischensequenzen und dynamische NPCs eröffnen 4-Step-Weltmodelle völlig neue Freiheitsgrade.
3. Hohe Infrastrukturkosten als Realitäts-Check: Der Bedarf an sechs H100-Beschleunigern für eine einzige Inferenzinstanz zeigt, dass lokale Konsumenten-Anwendungen noch in weiter Ferne liegen. Der unmittelbare Nutzen beschränkt sich vorerst auf High-End-Forschungslabore und Cloud-gestützte Pilotprojekte.
