Das KI-Forschungslabor Runway hat mit GWM Worlds 2 die nächste Generation seiner sogenannten General World Models (GWM) vorgestellt. Während traditionelle Videomodelle wie Runway Gen-3 oder OpenAIs Sora vor allem starre Videoclips nach festem Skript rendern, wechselt Worlds 2 in eine interaktive Echtzeit-Simulation: Das System generiert nach Angaben der Forscher einen kontinuierlichen Videostrom in 720p-Auflösung mit 24 Bildern pro Sekunde (fps) und synchronem 48-kHz-Stereoton. Nutzer können sich frei durch die virtuelle Umgebung bewegen und Figuren sowie Naturereignisse per Texteingabe direkt steuern.
Die Veröffentlichung markiert eine spürbare Weiterentwicklung gegenüber dem ersten GWM-Modell aus dem Frühjahr. Während konkurrierende Forschungslabore wie Tencent mit Open-World-Systemen wie HyWorld experimentieren oder Start-ups wie Reactor Inc an interaktiven Weltmodellen forschen, liefert Runway mit Worlds 2 eine geschlossene Schnittstelle für Bild, Ton und Tastatureingaben.
WorldPrompt teilt die Welt in Beständiges und Dynamisches
Das Fundament von Worlds 2 bildet ein Eingabeformat namens WorldPrompt. Wie das Forschungsteam in seinem technischen Bericht zu Worlds 2 erläutert, lässt sich jede virtuelle Umgebung in zwei komplementäre Ebenen aufteilen: Was über die Zeit hinweg bestehen bleibt, und was sich im Moment ändert.
| Ebene | Bestandteile | Funktion im Modell |
|---|---|---|
| Persistenter Weltkontext | Genesis-Prompt, Startbild (First Frame), Naturgesetze | Definiert Geometrie, Beleuchtung, Materialien, Raumakustik und physikalische Regeln wie Schwerkraft oder Kameraperspektive. |
| Dynamischer Ereignisstrom | Aktionen mit Zeitstempeln, Tastatur-Befehle, Kamerabewegung | Überträgt Bewegungen, Gesten, Dialogzeilen und Umweltereignisse in Millisekunden an einzelne Figuren oder die Gesamtszene. |
Ein Genesis-Prompt beschreibt die statischen Eigenschaften eines Szenarios - etwa eine regennasse Pflasterstraße mit Ziegelbauten im Herbstlicht. Ergänzt wird dies durch den ersten Einzelkader (First Frame), der das visuelle Fundament verankert, sowie feste Naturgesetze. Auf dieser Bühne läuft ein zeitgestempelter Ereignisstrom: Textbefehle wie ein Speerstoß, ein Spaziergang, einsetzender Starkregen oder eine gesprochene Antwort können beliebig überlappen und Figuren oder der Szene zugeordnet werden.
Autoregressive Diffusion für endlose Simulationen
Im Kern von Worlds 2 arbeitet ein autoregressives Diffusionsmodell für Bild und Ton. Reine Diffusionsmodelle berechnen normalerweise alle Einzelbilder eines Clips parallel in beiden Richtungen der Zeitachse (bidirektional). Dieser Ansatz erzeugt zwar hohe Bildqualität, eignet sich jedoch nicht für Reaktionen in Echtzeit, da die Zukunft vorab berechnet werden muss.
Runway hat dieses Basismodell in einem nachgelagerten Trainingsschritt in ein kausales autoregressives System überführt. Das Modell prognostiziert jeden neuen Frame Schritt für Schritt ausschließlich aus drei Kontextquellen: dem globalen Kontext (Genesis-Prompt und Startbild), den Eingaben des aktuellen Frames (Kamerawinkel und laufende Aktionen) sowie den vorangegangenen Frames, die in einem temporären Zwischenspeicher (Sliding-Window KV-Cache) gehalten werden. Ältere Bildkader fallen nach einer gewissen Zeit aus dem Speicher, was eine potenziell unbegrenzte Sitzungsdauer erlaubt.
Drei Betriebsmodi
1. Vorab-Generierung (Ahead-of-Time): Der komplette Ereignisstrom wird vor Beginn festgelegt. Regisseure und Agenturen können hochkomplexe Szenen mit maximaler Detaildichte rendern lassen.
2. Rundenbasierte Steuerung (Turn-Based): Die Simulation pausiert an Entscheidungspunkten, an denen ein Sprachmodell oder Nutzer neue Aktionen bestimmt - ideal für interaktive Filme und Visual Novels.
3. Echte Interaktion (Real-Time): Befehle wie Tastendrücke (etwa W für Vorwärtsbewegung) lösen vorgefertigte Prompts in Echtzeit aus. Video und Ton reagieren verzögerungsarm auf Steuerbefehle.
Vom Spielprototyp zum Testfeld für Roboter-Agenten
In den veröffentlichten Demos zeigt Runway verschiedene Anwendungsszenarien. In einer Überlebens-Simulation steuert ein Spieler eine Figur aus der Ego-Perspektive durch eine Wüstenlandschaft, während ein zweiter Nutzer in der Rolle des Regisseurs die Tageszeit umschaltet oder ein Lagerfeuer entfacht. Über das offene Netzwerkprotokoll LiveKit können mehrere Teilnehmer gleichzeitig auf dieselbe Simulation zugreifen und unterschiedliche Rollen einnehmen.
Bemerkenswert ist zudem die Eignung für autonome KI-Agenten und die Robotik: Runway demonstrierte Versuche, in denen ein Agent die Steuerung eines humanoiden Roboters in der Simulation übernahm und Aufgaben wie das Ansteuern farbiger Markierungsflaggen auf Anhieb meisterte. Statt aufwendige 3D-Geometrien in klassischen Entwicklungsumgebungen wie Unity oder der Unreal Engine zu modellieren, wie es in der Entwicklung virtueller Welten bisher üblich ist, erzeugt das Weltmodell die visuelle und physikalische Rückkopplung direkt aus Pixeln.
Grenzen der Forschungsvorschau: Wenn schnelle Drehungen Geometrie kosten
Trotz der eindrucksvollen Demonstrationen betont Runway ausdrücklich den experimentellen Charakter der Vorschau. Für die Echtzeit-Fähigkeit muss das System spürbare Kompromisse bei der Wiedergabetreue eingehen. Bei extrem schnellen Drehungen der virtuellen Kamera neigt das Modell dazu, feine Texturen und geometrische Zusammenhänge vorübergehend zu verzerren.
Zudem besitzt Worlds 2 kein unendliches Langzeitgedächtnis: Verlässt eine Spielfigur einen Raum und kehrt nach längerer Zeit zurück, können Details anders aussehen, weil frühere Kader aus dem Zwischenspeicher verdrängt wurden. Für komplexe Spielmechaniken mit Inventaren, persistenten Quests und verzweigten Dialogen bleibt vorerst eine externe Steuerungsschicht erforderlich, die den Weltzustand separat verwaltet.
🎯 Was das für die Praxis bedeutet
1. Frühe Experimente im Spieledesign: Entwicklerteams können interaktive Spielideen und Atmosphären innerhalb von Minuten als Prototyp testen, ohne vorab 3D-Assets oder Physik-Engines programmieren zu müssen.
2. Synthetische Trainingsdaten für Robotik: Für Forschungsteams im Bereich verkörperter KI (Embodied AI) bieten interaktive Weltmodelle eine günstige Möglichkeit, visuelle Navigationsstrategien risikofrei in Simulationen zu trainieren.
3. Neue Formate für interaktives Storytelling: Marketing- und Medienhäuser erhalten eine Schnittstelle, um lineare Filmsequenzen in interaktive Markenerlebnisse zu verwandeln, bei denen Nutzer den Fortgang der Handlung beeinflussen.
4. Hybrid-Architektur als Übergangsmodell: Da Weltmodelle komplexe Spiellogik noch nicht eigenständig fehlerfrei abbilden, bleibt die Verknüpfung mit klassischen Game-Engines und externen Zustandsdatenbanken vorerst unerlässlich.
