NVIDIA presenterer GR00T 2 for roboter som lærer av videoer av mennesker

NVIDIA presenterte GR00T 2 9. november 2026 på Conference on Robot Learning (CoRL) i Austin og rapporterte 40 % suksess uten forhåndstrening på 50 oppgaver som ikke inngikk i treningsdataene til målroboten, for en modell som delvis var trent på videoer av mennesker.

GR00T 2 bruker en transformermodell med 2 milliarder parametere, bygget på Cosmos-Predict2.5-2B. Den kombinerer nylige kamerabilder, robotens tilstand og en skriftlig instruksjon for å generere forventede framtidige bilder og den neste handlingssekvensen. Ett forhåndstrent kontrollpunkt dekker armer med parallellgripere, gripehender med fingerferdighet og en humanoid robot. Selv om NVIDIA presenterer modellen som åpen, står det på forskningssiden at koden blir tilgjengelig i desember.

Forhåndstreningen kombinerer 402 730 timer med førstepersonsvideo av mennesker, 10 184 timer med demonstrasjoner med håndholdte gripere fordelt på 2 897 oppgaver og 23 500 timer med fjernstyring av roboter. Utgivelsen av Human-1M-100K gjør 100 000 timer av disse menneskedataene tilgjengelige, inkludert video, språklige merknader og data om hode- og håndbevegelser, under en CC BY 4.0-lisens som tillater kommersiell og ikke-kommersiell bruk.

Tester på tvers av ulike robotkropper viser hvordan ferdigheter overføres mellom kropper og tilpasses med begrensede mengder robotdata. NVIDIA rapporterer 65 % suksess med å sette opp filterpapir, lært fra menneskelige demonstrasjoner uten fjernstyring spesifikk for oppgaven, og 60 % suksess med montering av en leketøysdumper, overført fra en håndholdt griper til en YAM-arm. I Dexter-evalueringen fullførte GR00T 2 minst ett forsøk på 40 oppgaver. Gjennomsnittlig suksessrate er 71 % med én demonstrasjon per oppgave og 95 % med fem; disse fem demonstrasjonene gir under tre minutters robotdata per oppgave, etterfulgt av en adapterfinjustering på omtrent 30 minutter på ett RTX 5090-kort.

Den tekniske rapporten presiserer resultatet med fem demonstrasjoner: Oppgavene som ble evaluert, ble valgt blant dem modellen kan lære med fem episoder og en suksessrate på minst 80 %, så gjennomsnittet er delvis høyt som følge av utvalgsmetoden.

Simuleringstrening retter seg mot presisjon

Simuleringsgrunnlaget er Isaac Lab 3.0, som har vært allment tilgjengelig siden 20. oktober 2026. Det tilbyr ett API for oppgaver på tvers av fysikk-, gjengivelses- og visualiseringsbakender. Newton støtter stive legemer, deformerbare objekter og partikler, og mange arbeidsflyter kan kjøres uten en fullstendig Isaac Sim-installasjon. I en synsbasert referansetest for fingerferdig manipulasjon rapporterer NVIDIA opptil 2,5 ganger så høy treningsgjennomstrømning som Isaac Lab 2.3 med PhysX når Isaac Lab 3.0 kjøres med Newton.

AlphaNIST bruker omfattende simulert øving på 20 oppgaver fra NIST Assembly Task Board, inkludert oppgaver med deler så små som 4 millimeter. Én felles styringspolicy trenes med bare en ja-eller-nei-belønning for suksess. NVIDIA rapporterer 98,2 % treningssuksess for denne policyen, mot 81,4 % for separate policyer for hver oppgave, med omtrent 39 ganger mindre GPU-tid; dette er resultater fra simuleringstrening.

Bak AlphaNIST står Success-Guided Sampling, utviklet av University of Washington og NVIDIA. Metoden retter øvingen mot konfigurasjoner nær grensen for hva policyen kan håndtere, særlig dem den løser omtrent halvparten av gangene. Metodens forfattere rapporterer effektiv skalering til over én million simulerte miljøer og overføring uten forhåndstrening av RGB-baserte monteringspolicyer til ekte UR5e-maskinvare.

Referansetester tar for seg industrielle variasjoner

Isaac Lab-Arena utgjør evalueringslaget. Rammeverket med åpen kildekode bygger repeterbare evalueringer av modulære komponenter og kjører dem på GPU-akselererte simulerte miljøer. Feilanalyse viser hvilke forhold som krever en ny treningsrunde. NVIDIA opplyser at utviklerforhåndsversjon 0.4 kommer på CoRL.

DexBench v1.0, utviklet av RLWRLD sammen med NVIDIA, inneholder 15 oppgaver i miljøer for detaljhandel, logistikk, samlebånd og servering på hotell. VABAR, fra UC Berkeley og NVIDIA, omfatter sortering og opphenging av verktøy, inngreping av tannhjul, pakking av sprøyter samt innføring og trekking av kabler, støttet av et bibliotek med 33 ferdigheter. På prosjektsiden til VABAR står det at de to nåværende vanskelighetsnivåene utgjør valideringssettet, og at et vanskeligere testsett fortsatt er under utvikling.

Agenter tilfører gjenoppretting og nye begrensninger

UC Berkeleys rammeverk Graph-as-Policy bruker flere agenter til å sette sammen en forståelig, rettet graf av robotferdigheter, øve på den i simulering og endre strukturen og parameterne etter feil. Prosjektet rapporterer at ti øvingsrunder økte resultatet i Make Popcorn fra 33 % i utgangspunktet til 94 % i simulering og 90 % – eller 18 av 20 kjøringer – på en ekte robot. De nåværende referansetestene vektlegger kvasi-statisk manipulasjon; deformerbare objekter, dynamikk og bevegelige mål er fortsatt framtidig arbeid.

GR00T 2 bruker en resonneringsagent til å sette ferdigheter i sekvens, følge med på framdriften og starte gjenopprettingsrutiner når deler faller ned eller arbeidet stopper opp, mens modellen håndterer manipulasjon med mye fysisk kontakt. Med korrigerende data og denne agenten rapporterer NVIDIA 98 vellykkede monteringer av leketøysfly, 97 monteringer av leketøys traktorer og 97 monteringer av Hot Wheels-biler i 100 forsøk per leke, der hvert forsøk startet med deler som var tilfeldig tømt ut. Supervised fine-tuning alene ga henholdsvis 69, 51 og 23.

Den tekniske rapporten oppgir separat en gjennomsnittlig suksessrate på omtrent 70 % på referansetestene etter trening med lange handlingsforløp. Ved visuelt styrt sortering av søppel ventet roboten på agenten i median 38 % av en episode, noe som synliggjør forsinkelseskostnaden ved agenttilsyn.

NVIDIA sier at Nexuni tester GR00T 2 til håndtering av klesvask, at Foxconn bruker teknologien til automatisering av serverproduksjon, og at Siemens vurderer mulige industrielle bruksområder. Arbeidet som er omtalt, består av testing og evaluering; det er ikke kunngjort noen utrulling i produksjon.

Konklusjonen i hvitboken fordeler ansvaret for påliteligheten mellom forhåndstrening, som gir bredde, korrigerende demonstrasjoner og forsterkningslæring, som gir presisjon, og agenter, som ivaretar hukommelse, verifisering og gjenoppretting. For industrielle brukere er det derfor den samlede arbeidsflyten rundt GR00T 2 og hvor mye oppfølging hver oppgave krever, som er det relevante målet. Utfordringen ved utrulling er å bevare den rapporterte påliteligheten samtidig som man reduserer tilpasningen for hver oppgave og ventetiden på agentene som er dokumentert i NVIDIAs egne resultater.