NVIDIA introduceert GR00T 2, waarmee robots leren van menselijke video

NVIDIA introduceerde GR00T 2 op 9 november 2026 tijdens de Conference on Robot Learning (CoRL) in Austin. Het bedrijf meldde een zero-shot-succespercentage van 40% op 50 taken die niet voorkwamen in de trainingsgegevens van de doelrobot, voor een model dat deels met menselijke video was getraind.

GR00T 2 maakt gebruik van een transformer met 2 miljard parameters, gebouwd op Cosmos-Predict2.5-2B. Het model combineert recente camerabeelden, de toestand van de robot en een schriftelijke instructie om verwachte toekomstige beelden en de volgende actiereeks te genereren. Eén vooraf getraind checkpoint is geschikt voor armen met parallelgrijpers, behendige handen en een humanoïde robot. Hoewel NVIDIA het model als open introduceert, staat op de onderzoekspagina dat de code in december beschikbaar komt.

Voor de voortraining worden 402.730 uur aan video vanuit het eerstepersoonsperspectief van mensen, 10.184 uur aan demonstraties met handgrijpers voor 2.897 taken en 23.500 uur aan teleoperatie van robots gecombineerd. De uitgave Human-1M-100K stelt 100.000 uur van die menselijke gegevens beschikbaar, waaronder video, taalkundige annotaties en bewegingsgegevens van hoofd en handen, onder een CC BY 4.0-licentie die commercieel en niet-commercieel gebruik toestaat.

Tests met verschillende robotlichamen laten zien hoe vaardigheden tussen lichamen kunnen worden overgedragen en met beperkte robotgegevens kunnen worden aangepast. NVIDIA meldt een succespercentage van 65% voor het klaarzetten van filterpapier, aangeleerd op basis van menselijke demonstraties zonder teleoperatie specifiek voor de taak, en 60% voor het in elkaar zetten van een speelgoedkiepwagen, waarbij de vaardigheid werd overgedragen van een handgrijper naar een YAM-arm. Tijdens de Dexter-evaluatie voltooide GR00T 2 ten minste één poging voor 40 taken. Het gemiddelde succespercentage bedraagt 71% met één demonstratie per taak en 95% met vijf demonstraties. Die vijf demonstraties leveren per taak minder dan drie minuten aan robotgegevens op, waarna de adapter ongeveer 30 minuten wordt bijgesteld op één RTX 5090.

De technische whitepaper plaatst een kanttekening bij het resultaat met vijf demonstraties: de geëvalueerde taken zijn geselecteerd uit de taken die het model met vijf episodes kan leren met een succespercentage van ten minste 80%. Daardoor is het gemiddelde deels per definitie hoog.

Simulatietraining richt zich op precisie

De basis voor de simulatie is Isaac Lab 3.0, dat sinds 20 oktober 2026 algemeen beschikbaar is. Het biedt één taak-API voor verschillende back-ends voor fysica, rendering en visualisatie. Newton ondersteunt starre lichamen, vervormbare objecten en deeltjes, en veel workflows kunnen worden uitgevoerd zonder een volledige installatie van Isaac Sim. In een benchmark voor visueel aangestuurde behendige manipulatie meldt NVIDIA dat Isaac Lab 3.0 met Newton een tot 2,5 keer hogere trainingsdoorvoer haalt dan Isaac Lab 2.3 met PhysX.

AlphaNIST past grootschalige simulatieoefeningen toe op 20 taken van het NIST Assembly Task Board, waaronder taken met onderdelen van slechts 4 millimeter. Eén gedeeld beleid wordt getraind met alleen een ja-of-nee-beloning voor succes. NVIDIA meldt voor dat beleid een trainingssuccespercentage van 98,2%, tegenover 81,4% voor afzonderlijke beleidsmodellen per taak, met ongeveer 39 keer minder GPU-tijd. Dit zijn resultaten van simulatietraining.

Achter AlphaNIST zit Success-Guided Sampling, ontwikkeld door University of Washington en NVIDIA. De methode stuurt de oefening naar configuraties in de buurt van de grens van wat het beleid aankan, met name naar configuraties die het ongeveer de helft van de tijd oplost. De auteurs van de methode melden dat deze effectief kan opschalen tot meer dan één miljoen gesimuleerde omgevingen en dat assemblagebeleidsmodellen op basis van RGB-beelden zero-shot kunnen worden overgedragen naar echte UR5e-hardware.

Benchmarks houden rekening met industriële variatie

Isaac Lab-Arena biedt de evaluatielaag. Dit open-sourceframework stelt met modulaire componenten herhaalbare evaluaties samen en voert die uit in gesimuleerde omgevingen met GPU-versnelling. Faalanalyses laten zien onder welke omstandigheden een nieuwe trainingsronde nodig is. NVIDIA zegt dat de ontwikkelaarspreview 0.4 tijdens CoRL verschijnt.

DexBench v1.0, ontwikkeld door RLWRLD en NVIDIA, omvat 15 taken in omgevingen voor de detailhandel, logistiek, assemblagelijnen en hotelcatering. VABAR, van UC Berkeley en NVIDIA, omvat het sorteren en ophangen van gereedschap, het in elkaar laten grijpen van tandwielen, het verpakken van spuiten en het invoeren en geleiden van kabels. Het wordt ondersteund door een bibliotheek met 33 vaardigheden. Volgens de projectpagina van VABAR vormen de twee huidige moeilijkheidsniveaus de validatieset; een moeilijkere testset volgt nog.

Agents zorgen voor herstelmogelijkheden en nieuwe beperkingen

UC Berkeley’s Graph-as-Policy-framework gebruikt meerdere agents om een interpreteerbare gerichte graaf van robotvaardigheden samen te stellen, deze in een simulatie te oefenen en de structuur en parameters ervan na mislukkingen aan te passen. Volgens het project verbeterden tien oefenrondes het resultaat voor Make Popcorn van aanvankelijk 33% naar 94% in de simulatie en 90% — ofwel 18 van de 20 pogingen — op een echte robot. De huidige benchmarks zijn vooral gericht op quasi-statische manipulatie; vervormbare objecten, dynamiek en bewegende doelen vallen nog buiten het huidige werk.

GR00T 2 gebruikt een redeneeragent om vaardigheden in een reeks te ordenen, de voortgang te bewaken en herstelroutines uit te voeren wanneer onderdelen vallen of het werk vastloopt, terwijl het model de contactrijke manipulatie voor zijn rekening neemt. Met corrigerende gegevens en die agent meldt NVIDIA 98 geslaagde assemblages van speelgoedvliegtuigjes, 97 van speelgoedtractoren en 97 van Hot Wheels-auto’s, telkens in 100 pogingen per speelgoedobject en beginnend met willekeurig uitgestorte onderdelen. Met alleen supervised fine-tuning waren de resultaten respectievelijk 69, 51 en 23.

De whitepaper meldt daarnaast een gemiddeld succespercentage van ongeveer 70% op de post-trainingbenchmarks voor taken met een lange looptijd. Bij het sorteren van afval onder visuele aansturing wachtte de robot gedurende een mediaan van 38% van een episode op de agent. Dat maakt de kosten van agenttoezicht in de vorm van vertraging zichtbaar.

NVIDIA zegt dat Nexuni GR00T 2 test voor het verwerken van wasgoed, dat Foxconn het inzet voor automatisering in de serverproductie en dat Siemens industriële toepassingen onderzoekt. De bekendgemaakte werkzaamheden bestaan uit tests en evaluaties; er is geen uitrol in productie aangekondigd.

In de conclusie van de whitepaper wordt betrouwbaarheid toegeschreven aan pretraining voor brede inzetbaarheid, corrigerende demonstraties en bekrachtigingsleren voor precisie, en agenten voor geheugen, verificatie en herstel. Voor industriële gebruikers is daarom de volledige workflow rond GR00T 2 van belang, evenals de hoeveelheid toezicht die elke taak vereist. De uitdaging bij de implementatie is om de gerapporteerde betrouwbaarheid te behouden en tegelijkertijd de aanpassing per taak en de wachttijd van agenten terug te dringen die in de eigen resultaten van NVIDIA zijn gedocumenteerd.