NVIDIA præsenterer GR00T 2, så robotter kan lære af menneskevideoer

NVIDIA præsenterede GR00T 2 den 9. november 2026 på Conference on Robot Learning (CoRL) i Austin og rapporterede en succesrate på 40 % uden eksempler for 50 opgaver, der ikke indgik i træningsdataene for målrobotten, for en model, der delvist var trænet på menneskevideoer.

GR00T 2 bruger en transformer med 2 milliarder parametre, der er bygget på Cosmos-Predict2.5-2B. Den kombinerer de seneste kamerabilleder, robottens tilstand og en skriftlig instruktion for at generere forventede fremtidige billeder og den næste handlingssekvens. Ét fortrænet kontrolpunkt dækker arme med parallelgribere, fingerfærdige hænder og en humanoid robot. Selvom NVIDIA præsenterer modellen som åben, står der på forskningssiden, at koden bliver tilgængelig i december.

Fortræningen kombinerer 402.730 timer med menneskevideo optaget fra førstepersonsperspektiv, 10.184 timer med demonstrationer med håndholdte gribere på tværs af 2.897 opgaver og 23.500 timer med fjernstyring af robotter. Udgivelsen af Human-1M-100K gør 100.000 timer af disse menneskedata tilgængelige, herunder video, sproglige annotationer samt data om hoved- og håndbevægelser, under en CC BY 4.0-licens, der tillader kommerciel og ikke-kommerciel brug.

Test på tværs af robottyper viser, hvordan færdigheder overføres mellem forskellige robotter og tilpasses med begrænsede robotdata. NVIDIA rapporterer en succesrate på 65 % for opsætning af filterpapir, som blev lært ud fra menneskedemonstrationer uden fjernstyring, der var specifik for opgaven, og 60 % for samling af en legetøjsdumper, hvor færdigheden blev overført fra en håndholdt griber til en YAM-arm. I Dexter-evalueringen gennemførte GR00T 2 mindst ét forsøg på 40 opgaver. Den gennemsnitlige succesrate når 71 % med én demonstration pr. opgave og 95 % med fem; de fem demonstrationer giver under tre minutters robotdata pr. opgave, efterfulgt af en adapterfinjustering på cirka 30 minutter på ét RTX 5090-kort.

Den tekniske hvidbog tager forbehold for resultatet med fem demonstrationer: De evaluerede opgaver blev udvalgt blandt dem, som modellen kan lære med fem episoder og en succesrate på mindst 80 %, så det høje gennemsnitlige resultat til dels skyldes udvælgelsen.

Simuleringstræning retter fokus mod præcision

Simuleringsgrundlaget er Isaac Lab 3.0, som har været generelt tilgængeligt siden den 20. oktober 2026. Det stiller én opgave-API til rådighed på tværs af fysik-, gengivelses- og visualiseringsbackends. Newton understøtter stive legemer, deformerbare materialer og partikler, og mange arbejdsgange kan køres uden en fuld installation af Isaac Sim. I en benchmarktest af synsbaseret fingerfærdig manipulation rapporterer NVIDIA op til 2,5 gange så høj træningsgennemstrømning som med Isaac Lab 2.3 og PhysX, når Isaac Lab 3.0 køres med Newton.

AlphaNIST anvender omfattende simuleret øvelse på 20 opgaver fra NIST Assembly Task Board, herunder opgaver med dele helt ned til 4 millimeter. Én fælles politik trænes udelukkende med en ja-eller-nej-belønning for succes. NVIDIA rapporterer en træningssuccesrate på 98,2 % for denne politik mod 81,4 % for separate politikker for hver opgave, samtidig med at der bruges omkring 39 gange mindre GPU-tid; dette er resultater fra simuleringstræning.

Bag AlphaNIST ligger successtyret sampling, der er udviklet af University of Washington og NVIDIA. Metoden retter øvelsen mod konfigurationer tæt på politikkens grænse for, hvad den kan klare, især dem, den løser omkring halvdelen af gangene. Metodens forfattere rapporterer, at den skalerer effektivt til mere end én million simulerede miljøer, og at RGB-baserede politikker til samling kan overføres direkte til fysisk UR5e-hardware uden yderligere træning.

Benchmarks tager højde for industrielle variationer

Isaac Lab-Arena leverer evalueringslaget. Open source-rammeværket opbygger gentagelige evalueringer af modulære komponenter og kører dem på tværs af GPU-accelererede simulerede miljøer. Fejlanalysen viser, hvilke forhold der kræver endnu en træningsrunde. NVIDIA oplyser, at udviklerforhåndsvisningen af version 0.4 lanceres på CoRL.

DexBench v1.0, der er udviklet af RLWRLD sammen med NVIDIA, omfatter 15 opgaver på tværs af scenarier fra detailhandel, logistik, samlebånd og hotelmad og -drikke. VABAR fra UC Berkeley og NVIDIA omfatter sortering og ophængning af værktøj, sammenkobling af tandhjul, pakning af sprøjter samt indsættelse og føring af kabler, understøttet af et bibliotek med 33 færdigheder. På VABARs projektside står der, at de to nuværende sværhedsgrader udgør valideringssættet, mens et sværere testsæt stadig er under udvikling.

Agenter tilføjer fejlhåndtering og nye begrænsninger

UC Berkeleys rammeværk Graf-som-politik bruger flere agenter til at sammensætte en fortolkelig, rettet graf over robotfærdigheder, afprøve den i simulering og revidere dens struktur og parametre efter fejl. Projektet rapporterer, at ti øvelsesrunder løftede resultatet for Make Popcorn fra 33 % til at begynde med til 94 % i simulering og 90 % – eller 18 af 20 kørsler – på en fysisk robot. De nuværende benchmarks lægger vægt på kvasistatisk manipulation; deformerbare materialer, dynamik og mål i bevægelse er fortsat fremtidigt arbejde.

GR00T 2 bruger en ræsonneringsagent til at sekvensere færdigheder, overvåge fremskridt og iværksætte genopretningsrutiner, når dele falder ned, eller arbejdet går i stå, mens modellen håndterer manipulation med mange kontaktpunkter. Med korrigerende data og denne agent rapporterer NVIDIA 98 vellykkede samlinger af legetøjsfly, 97 samlinger af legetøjstraktorer og 97 samlinger af Hot Wheels-biler ud af 100 forsøg pr. legetøj, hvor hvert forsøg begyndte med dele, der var blevet hældt tilfældigt ud. Overvåget finjustering alene gav henholdsvis 69, 51 og 23 vellykkede samlinger.

Hvidbogen rapporterer særskilt en gennemsnitlig succesrate på omkring 70 % på dens benchmarks efter træning med lange opgaveforløb. Ved visuelt styret affaldssortering ventede robotten på agenten i en medianandel på 38 % af et forløb, hvilket synliggør den forsinkelse, som agentens overvågning medfører.

NVIDIA siger, at Nexuni afprøver GR00T 2 til håndtering af vasketøj, Foxconn anvender det til automatisering af serverproduktion, og Siemens evaluerer industrielle anvendelsesområder. Det offentliggjorte arbejde består af afprøvning og evaluering; der er ikke meldt om nogen produktionsudrulning.

Hvidbogens konklusion fordeler pålideligheden mellem fortræning, der giver bredde, korrigerende demonstrationer og forstærkningslæring, der giver præcision, samt agenter, der varetager hukommelse, verifikation og genopretning. For industrielle brugere er det relevante mål derfor den samlede arbejdsgang omkring GR00T 2 og den overvågning, hver opgave kræver. Udfordringen ved implementering er fortsat at bevare den rapporterede pålidelighed og samtidig reducere den tilpasning for hver enkelt opgave og den ventetid på agenter, der er dokumenteret i NVIDIAs egne resultater.