Roboter in Fabrikhallen scheitern bisher selten an unzureichenden Motoren, sondern an mangelnder Flexibilität: Jede neue Bauteilform, jeder veränderte Handgriff erfordert bislang tagelanges manuelles Programmieren oder zehntausende Stunden mühsamer Fernsteuerung. Das Robotik-Forschungslabor NVIDIA GEAR (Generalist Embodied Agent Research) hat mit GR00T 2 die zweite Generation seines Basismodells für humanoide Roboter und Greifarme vorgestellt. Die architektonische Kernidee: Das System sagt nicht nur Steuerkommandos für Roboterarme voraus, sondern berechnet zeitgleich, wie sich die physische Umgebung im Video verändern wird. Durch diesen dualen Ansatz soll die KI physikalische Wechselwirkungen direkt aus Videoaufnahmen menschlicher Arbeit erlernen.
World-Action-Modelle sagen Video und Bewegung gemeinsam voraus
Klassische Steuerungsmodelle für Roboter fungieren meist als reine Übersetzer von Sensordaten in Gelenkwinkel. GR00T 2 setzt laut dem Forschungsteam von Nvidia GEAR stattdessen auf ein sogenanntes World-Action-Modell (WAM). Ein zentraler Diffusions-Transformer liest die jüngsten Videobilder, den Gelenkzustand des Roboters sowie die Textanweisung ein. Aus diesem Kontext generiert das Modell in einem gemeinsamen Schritt sowohl die voraussichtlichen zukünftigen Videobilder als auch die passenden Steuerbefehle (Action Chunks) für die Gelenke.
Das parallele Vorhersagen der visuellen Zukunft zwingt das Modell nach Angaben der Forscher dazu, physikalische Zusammenhänge - etwa das Rutschen eines Gegenstands, das Biegen elastischer Schläuche oder den Reibungswiderstand - im Weltmodell abzubilden. Aufgabenspezifische Ausgabeköpfe wandeln den übergeordneten Bewegungsplan anschließend in direkte Motorkommandos für den jeweiligen Roboterkörper um.
400.000 Stunden menschliche Arbeit als Trainingsbasis
Der größte Engpass moderner Robotik ist der Mangel an standardisierten Trainingsdaten. Teleoperation, bei der Menschen Roboter über Datenbrillen oder Exoskelette steuern, skaliert nur langsam. Nvidia trainierte GR00T 2 daher auf einer Mischung aus drei Datenströmen:
- 402.730 Stunden Ego-Perspektiven-Videos: Aufnahmen von Menschen bei alltäglichen Tätigkeiten und handwerklichen Arbeitsschritten aus dem Datensatz Human-1M, wovon Nvidia 100.000 Stunden als PhysicalAI-Human-1M-100K auf Hugging Face bereitstellt.
- 10.184 Stunden Handgreifer-Demonstrationen: Aufnahmen mit manuellen Greifwerkzeugen (Universal Manipulation Interface, UMI) bei 2.897 verschiedenen Tätigkeiten.
- 23.500 Stunden Teleoperation: Steuerungsdaten echter Roboter, darunter Greifarme wie Franka und YAM, fünf-fingrige Roboterhände (Sharpa, ROBOTERA) sowie der humanoide Roboter Unitree G1.
In den Versuchsreihen des Labors soll der Aufgabenfortschritt auf echten Robotern allein durch das Hinzufügen der menschlichen Ego-Perspektiven-Videos von 50 auf 70 Prozent gestiegen sein.
X-Adaptability überträgt Handgriffe ohne Vortraining auf Roboter
Als zentrales Ergebnis beschreibt das Team das Phänomen der X-Adaptability: Fähigkeiten, die dem Modell ausschließlich durch Menschen oder mit einfachen Handgreifern vorgeführt wurden, übertragen sich auf Roboter, die diese Aufgaben zuvor nie trainiert haben. In Versuchsreihen zeigte Nvidia dies an mehreren Beispielen:
Ein Roboter mit zwei fünf-fingrigen Händen legte Filterpapier in einen Labortrichter und befeuchtete es mit einer Spritzflasche in 65 Prozent der Durchläufe erfolgreich, obwohl die Aufgabe ausschließlich von menschlichen Händen vorgeführt worden war. Ein YAM-Roboterarm montierte einen Spielzeug-Lastwagen über vier Minuten hinweg in 60 Prozent der Fälle korrekt, trainiert lediglich durch Aufnahmen eines manuellen Handgreifers. Über den Datenhandschuh DexUMI erlernte ein zweihändiger Roboter zudem das Zubereiten von Müsli und das Entzünden eines Streichholzes.
Bei 50 für die Zielhardware völlig unbekannten Aufgaben erreichte GR00T 2 laut Nvidia eine Zero-Shot-Erfolgsquote von 40 Prozent. Bereits fünf Demonstrationen (unter drei Minuten Roboterdaten) und ein 30-minütiges Feintuning auf einer einzelnen Grafikkarte des Typs Nvidia RTX 5090 genügten nach Angaben der Forscher, um die Quote auf 95 Prozent zu steigern.
GR00T 2 Turbo läuft direkt auf dem Jetson Thor des Unitree G1
Große KI-Modelle erfordern oft erhebliche Rechenleistung, was in der Robotik zu störenden Latenzen oder Abhängigkeiten von Funkverbindungen führen kann. Mit GR00T 2 Turbo stellt Nvidia eine verkleinerte Variante mit 2 Milliarden Parametern vor, die durch starke Videokompression und optimierte Inferenz direkt auf dem Roboter ausgeführt werden kann.
Auf dem Bordrechner Jetson AGX Thor des humanoiden Roboters Unitree G1 benötigt eine Vorhersage laut Nvidia 124 Millisekunden. Gekoppelt an den Ganzkörper-Controller SONIC, der mit 50 Hertz arbeitet, steuert Turbo nicht nur die Arme, sondern die Balance des gesamten Körpers beim Gehen, Bücken und Tragen. Im Test servierte der G1 in allen 48 Versuchsreihen Popcorn und räumte in 93 Prozent der Fälle Tische ab. Die Entwicklung baut unmittelbar auf Nvidias Referenzdesign für humanoide Roboter auf, das der Konzern im Sommer vorgestellt hatte.
Denken auf System-2-Ebene und visuelle Greifpunkt-Führung
Für längere Arbeitsabläufe koppelt Nvidia das Reaktionsmodell mit einem übergeordneten Denkmodell (System 2). Dieses Planungsmodell teilt komplexe Aufgaben in Einzelschritte, kontrolliert das Ergebnis per Kamera und ruft GR00T 2 über eine WAM-Schnittstelle als ausführendes Werkzeug auf. Fällt ein Bauteil zu Boden oder blockiert ein Greifer, stößt das Denkmodell automatisch eine Reparaturroutine an.
Bei der Montage von drei verschiedenen Spielzeugmodellen stieg die Erfolgsquote dadurch von 23 bis 69 Prozent bei reinem Nachtraining auf 97 bis 98 von 100 Versuchen. Ergänzend setzt Nvidia auf visuelle Führung (Visual Steering): Der Planer markiert Greif- und Ablagepunkte farblich direkt im Kamerabild des Roboters. Bei kurzen Transportaufgaben steigerte diese visuelle Orientierungshilfe die Trefferquote von 40 auf 92 Prozent.
Labor-Rekorde und die Hürden der realen Fabrikhalle
Trotz der demonstrierten Fortschritte sollten die Resultate mit redaktioneller Nüchternheit betrachtet werden. Alle veröffentlichten Werte stammen aus kontrollierten Versuchsaufbauten von Nvidia GEAR. In realen industriellen Einsatzszenarien - wie sie Wettbewerber bei Fließband-Pilotprojekten oder in 200-Stunden-Dauertests erproben - sorgen wechselnde Lichtverhältnisse, Erschütterungen und Staub oft für deutlich höhere Fehlerraten.
Zudem sind hochbewegliche Fünffinger-Hände mit 22 Freiheitsgraden, wie die in den Tests genutzten Sharpa-Greifer, extrem kostspielig und wartungsintensiv. Ob sich die Architektur im harten Industriealltag bewährt, wird sich frühestens ab Dezember 2026 zeigen: Dann will Nvidia die Modellgewichte und den Code für externe Entwickler und Forschungsteams freigeben.
🎯 Was das für die Praxis bedeutet
1. Anlernen wird zur Minutensache: Statt wochenlanger Programmierarbeit genügen wenige Minuten Videodaten und kurze Trainingsläufe auf handelsüblicher Hardware, um Roboter an neue Werkstücke anzupassen.
2. Standardisierung über Hardwaregrenzen: Durch die Übertragung von menschlichen Gesten auf verschiedene Greifertypen müssen Fertiger Trainingsdaten nicht mehr exakt auf dem Zielroboter aufnehmen.
3. Onboard-Intelligenz sichert Autonomie: Die Ausführung direkt auf dem Jetson Thor des Roboters eliminiert Latenzen und Ausfälle durch instabile WLAN- oder 5G-Netze in Werkhallen.
4. Nvidias Plattform-Monopol festigt sich: Durch die Bereitstellung des Basismodells verankert Nvidia seine RTX-GPUs für das Nachtraining und seine Jetson-Module als Standard in der Robotik.
