NVIDIA stellt GR00T 2 vor: Roboter lernen anhand menschlicher Videos

NVIDIA stellte GR00T 2 vor – am 9. November 2026 auf der Conference on Robot Learning (CoRL) in Austin. Für ein teilweise mit menschlichen Videos trainiertes Modell meldete das Unternehmen eine Zero-Shot-Erfolgsquote von 40 % bei 50 Aufgaben, die nicht in den Trainingsdaten des Zielroboters enthalten waren.

GR00T 2 basiert auf einem Transformer mit 2 Milliarden Parametern, der auf Cosmos-Predict2.5-2B aufbaut. Das Modell kombiniert aktuelle Kamerabilder, den Zustand des Roboters und eine schriftliche Anweisung, um erwartete zukünftige Ansichten und die nächste Aktionsfolge zu generieren. Ein einziger vortrainierter Checkpoint deckt Roboterarme mit Parallelgreifern, geschickte Hände und einen Humanoiden ab. Obwohl NVIDIA das Modell als offen vorstellt, heißt es auf der Forschungsseite, der Code werde im Dezember verfügbar sein.

Beim Vortraining kamen 402.730 Stunden menschlicher Ich-Perspektiv-Videos, 10.184 Stunden Demonstrationen mit handgeführten Greifern bei 2.897 Aufgaben und 23.500 Stunden Teleoperation von Robotern zum Einsatz. Die Veröffentlichung Human-1M-100K stellt 100.000 Stunden dieser menschlichen Daten bereit, darunter Videos, sprachliche Anmerkungen sowie Bewegungsdaten von Kopf und Händen, unter einer CC-BY-4.0-Lizenz, die eine kommerzielle und nichtkommerzielle Nutzung erlaubt.

Tests mit unterschiedlichen Roboterkörpern zeigen, wie Fähigkeiten zwischen ihnen übertragen und mit begrenzten Roboterdaten angepasst werden. NVIDIA meldet eine Erfolgsquote von 65 % beim Einrichten von Filterpapier, wobei die Fähigkeit anhand menschlicher Demonstrationen und ohne aufgabenspezifische Teleoperation erlernt wurde, sowie 60 % beim Zusammenbau eines Spielzeug-Kipplasters, wobei die Fähigkeit von einem handgeführten Greifer auf einen YAM-Arm übertragen wurde. In der Dexter-Auswertung absolvierte GR00T 2 bei 40 Aufgaben mindestens einen Versuch. Die durchschnittliche Erfolgsquote beträgt 71 % mit einer Demonstration pro Aufgabe und 95 % mit fünf Demonstrationen; diese fünf liefern weniger als drei Minuten Roboterdaten pro Aufgabe. Anschließend wird ein Adapter auf einer einzelnen RTX 5090 etwa 30 Minuten lang feinabgestimmt.

Das technische Whitepaper schränkt das Ergebnis mit fünf Demonstrationen ein: Die ausgewerteten Aufgaben wurden aus jenen ausgewählt, die das Modell mit fünf Durchläufen und einer Erfolgsquote von mindestens 80 % erlernen kann. Der Durchschnitt fällt daher teilweise schon aufgrund der Auswahl hoch aus.

Simulationstraining setzt auf Präzision

Die Simulationsgrundlage bildet Isaac Lab 3.0, das seit dem 20. Oktober 2026 allgemein verfügbar ist. Es bietet eine einheitliche Aufgaben-API für Physik-, Rendering- und Visualisierungs-Backends. Newton unterstützt starre Körper, verformbare Objekte und Partikel; viele Arbeitsabläufe lassen sich ohne vollständige Installation von Isaac Sim ausführen. In einem Benchmark für visuell gesteuerte geschickte Manipulation meldet NVIDIA einen bis zu 2,5-mal höheren Trainingsdurchsatz als bei Isaac Lab 2.3 mit PhysX, wenn Isaac Lab 3.0 mit Newton ausgeführt wird.

AlphaNIST überträgt umfangreiches Training in der Simulation auf 20 Aufgaben des NIST Assembly Task Board, darunter Aufgaben mit nur 4 Millimeter großen Teilen. Eine gemeinsame Policy wird ausschließlich anhand einer binären Erfolgsrückmeldung trainiert. NVIDIA meldet für diese Policy eine Trainingserfolgsquote von 98,2 % gegenüber 81,4 % bei separaten Policies für jede Aufgabe – und das bei einem ungefähr 39-mal geringeren GPU-Zeitaufwand. Dabei handelt es sich um Ergebnisse aus dem Simulationstraining.

Hinter AlphaNIST steht Success-Guided Sampling, entwickelt von der University of Washington und NVIDIA. Das Verfahren lenkt das Training auf Konfigurationen nahe der Leistungsgrenze der Policy, insbesondere auf solche, die sie ungefähr in der Hälfte der Fälle bewältigt. Die Autoren der Methode berichten, dass sie sich effektiv auf mehr als eine Million Simulationsumgebungen skalieren lässt und dass sich RGB-basierte Montage-Policies ohne zusätzliches Training auf echte UR5e-Hardware übertragen lassen.

Benchmarks berücksichtigen industrielle Variationen

Isaac Lab-Arena stellt die Auswertungsebene bereit. Das Open-Source-Framework erstellt mithilfe modularer Komponenten wiederholbare Auswertungen und führt sie in GPU-beschleunigten Simulationsumgebungen aus. Eine Fehleranalyse zeigt, unter welchen Bedingungen ein weiterer Trainingslauf erforderlich ist. Laut NVIDIA erscheint die Entwicklervorschau 0.4 auf der CoRL.

DexBench v1.0, entwickelt von RLWRLD gemeinsam mit NVIDIA, umfasst 15 Aufgaben in Szenarien aus Einzelhandel, Logistik, Fließbandmontage sowie Hotelgastronomie. VABAR von UC Berkeley und NVIDIA deckt das Sortieren und Aufhängen von Werkzeugen, das Ineinandergreifen von Zahnrädern, das Verpacken von Spritzen sowie das Einführen und Verlegen von Kabeln ab und wird von einer Bibliothek mit 33 Fähigkeiten unterstützt. Laut der Projektseite von VABAR bilden die beiden derzeitigen Schwierigkeitsstufen den Validierungssatz; ein schwierigerer Testsatz soll noch folgen.

Agenten ergänzen Fehlerbehebung und neue Einschränkungen

Das Framework Graph-as-Policy von UC Berkeley nutzt mehrere Agenten, um einen interpretierbaren gerichteten Graphen aus Roboterfähigkeiten zusammenzustellen, ihn in der Simulation zu erproben und seine Struktur sowie Parameter nach Fehlschlägen anzupassen. Laut dem Projekt stieg das Ergebnis bei „Make Popcorn“ nach zehn Erprobungsdurchläufen von anfänglich 33 % auf 94 % in der Simulation und 90 % – also 18 von 20 Durchläufen – mit einem echten Roboter. Die aktuellen Benchmarks konzentrieren sich auf quasistatische Manipulation; verformbare Objekte, Dynamik und bewegliche Ziele sind Gegenstand künftiger Arbeiten.

GR00T 2 verwendet einen Reasoning-Agenten, der Fähigkeiten zu einer Abfolge zusammenstellt, den Fortschritt überwacht und bei herunterfallenden Teilen oder stockender Arbeit Wiederherstellungsroutinen aufruft, während das Modell die kontaktintensive Manipulation übernimmt. Mit Korrekturdaten und diesem Agenten meldet NVIDIA in jeweils 100 Versuchen pro Spielzeug 98 erfolgreiche Montagen von Spielzeugflugzeugen, 97 von Spielzeugtraktoren und 97 von Hot-Wheels-Modellen. Bei jedem Versuch lagen die Teile zuvor zufällig verstreut. Allein durch überwachtes Feinabstimmen wurden 69, 51 beziehungsweise 23 erfolgreiche Montagen erzielt.

Das Whitepaper weist für seine Benchmarks nach dem Training gesondert eine durchschnittliche Erfolgsquote von rund 70 % bei Aufgaben mit langem Zeithorizont aus. Beim visuell gesteuerten Sortieren von Müll wartete der Roboter im Median während 38 % eines Durchlaufs auf den Agenten. Das verdeutlicht die durch die Überwachung des Agenten entstehenden Verzögerungen.

NVIDIA zufolge testet Nexuni GR00T 2 für den Umgang mit Wäsche, Foxconn setzt es für die Automatisierung der Serverfertigung ein und Siemens prüft industrielle Anwendungsfälle. Bei den offengelegten Arbeiten handelt es sich um Tests und Evaluierungen; eine Einführung in der Produktion wurde nicht angekündigt.

Das Whitepaper kommt zu dem Schluss, dass die Zuverlässigkeit auf mehreren Faktoren beruht: Vortraining sorgt für Breite, korrigierende Demonstrationen und bestärkendes Lernen für Präzision und Agenten für Gedächtnis, Überprüfung und Fehlerbehebung. Für industrielle Anwender ist daher der gesamte Workflow rund um GR00T 2 entscheidend – ebenso wie der Betreuungsaufwand, den jede Aufgabe erfordert. Die noch ungelöste Herausforderung bei der Einführung besteht darin, die berichtete Zuverlässigkeit zu erhalten und zugleich den Anpassungsaufwand pro Aufgabe sowie die Wartezeit der Agenten zu verringern, die in den eigenen Ergebnissen von NVIDIA dokumentiert sind.