NVIDIA presenterar GR00T 2, där robotar lär sig av människors videor

NVIDIA presenterade GR00T 2 den 9 november 2026 vid Conference on Robot Learning (CoRL) i Austin och rapporterade 40 % framgång utan föregående träning på 50 uppgifter som saknades i målrobotens träningsdata, för en modell som delvis tränats på videor med människor.

GR00T 2 använder en transformer med 2 miljarder parametrar, byggd på Cosmos-Predict2.5-2B. Den kombinerar aktuella kameravyer, robotens tillstånd och en skriftlig instruktion för att generera förväntade framtida vyer och nästa handlingssekvens. En enda förtränad kontrollpunkt omfattar armar med parallellgripare, fingerfärdiga händer och en humanoid robot. NVIDIA presenterar modellen som öppen, men på forskningssidan står det att koden blir tillgänglig i december.

Förträningen kombinerar 402 730 timmar förstapersonsvideor med människor, 10 184 timmar demonstrationer med handhållna gripare inom 2 897 uppgifter och 23 500 timmar fjärrstyrning av robotar. Human-1M-100K-släppet gör 100 000 timmar av dessa människodata tillgängliga, däribland videor, språkannoteringar samt rörelsedata för huvud och händer, under en CC BY 4.0-licens som tillåter kommersiell och icke-kommersiell användning.

Tester mellan olika robotkroppar visar hur färdigheter överförs mellan kroppar och anpassas med begränsade robotdata. NVIDIA rapporterar 65 % framgång för uppställning av filterpapper, inlärd från mänskliga demonstrationer utan fjärrstyrning särskilt för uppgiften, och 60 % för montering av en leksaksdumper, där färdigheten överfördes från en handhållen gripare till en YAM-arm. I Dexter-utvärderingen genomförde GR00T 2 minst ett försök på 40 uppgifter. Den genomsnittliga framgångsgraden når 71 % med en demonstration per uppgift och 95 % med fem. Dessa fem tillför mindre än tre minuters robotdata per uppgift, följt av en adapterfinjustering på ungefär 30 minuter på en enda RTX 5090.

Den tekniska vitboken nyanserar resultatet med fem demonstrationer: uppgifterna som utvärderades valdes bland dem som modellen kan lära sig med fem episoder och en framgångsgrad på minst 80 %, vilket innebär att genomsnittet delvis är högt på grund av hur uppgifterna valdes.

Simuleringsträning inriktas på precision

Simuleringsgrunden är Isaac Lab 3.0, som varit allmänt tillgängligt sedan den 20 oktober 2026. Det erbjuder ett gemensamt uppgifts-API för bakändar för fysik, rendering och visualisering. Newton stöder stela kroppar, deformerbara objekt och partiklar, och många arbetsflöden kan köras utan en fullständig installation av Isaac Sim. I ett synbaserat riktmärke för fingerfärdig manipulation rapporterar NVIDIA upp till 2,5 gånger högre träningstakt än Isaac Lab 2.3 med PhysX när Isaac Lab 3.0 körs med Newton.

AlphaNIST använder storskalig träning i simulering för 20 uppgifter från NIST Assembly Task Board, däribland sådana med delar så små som 4 millimeter. En gemensam policy tränas med enbart en ja-eller-nej-belöning för framgång. NVIDIA rapporterar 98,2 % träningsframgång för den policyn, jämfört med 81,4 % för separata policyer per uppgift, samtidigt som den använder ungefär 39 gånger mindre GPU-tid. Det rör sig om resultat från träning i simulering.

Bakom AlphaNIST ligger Success-Guided Sampling, utvecklat av University of Washington och NVIDIA. Metoden riktar träningen mot konfigurationer nära policyernas kapacitetsgräns, särskilt sådana som de löser ungefär hälften av gångerna. Metodens författare rapporterar effektiv skalning till fler än en miljon simulerade miljöer och överföring utan föregående träning av RGB-baserade monteringspolicyer till verklig UR5e-hårdvara.

Riktmärken fångar upp industriell variation

Isaac Lab-Arena utgör utvärderingslagret. Ramverket med öppen källkod bygger upprepningsbara utvärderingar av modulära komponenter och kör dem i simulerade miljöer med GPU-acceleration. Felanalys visar vilka förhållanden som kräver en ny träningskörning. NVIDIA uppger att utvecklarförhandsversion 0.4 kommer till CoRL.

DexBench v1.0, utvecklat av RLWRLD tillsammans med NVIDIA, omfattar 15 uppgifter i miljöer för detaljhandel, logistik, monteringslinjer och mat och dryck på hotell. VABAR, från UC Berkeley och NVIDIA, omfattar sortering och upphängning av verktyg, kugghjulsingrepp, packning av sprutor samt införing och dragning av kablar, med stöd av ett bibliotek med 33 färdigheter. På VABAR:s projektsida står det att de två nuvarande svårighetsnivåerna utgör valideringsmängden och att en svårare testmängd fortfarande är på väg.

Agenter möjliggör återhämtning och hantering av nya begränsningar

UC Berkeleys ramverk Graph-as-Policy använder flera agenter för att skapa en tolkbar riktad graf över robotfärdigheter, öva på den i simulering och ändra dess struktur och parametrar efter misslyckanden. Projektet rapporterar att tio övningsomgångar höjde resultatet för Make Popcorn från 33 % från början till 94 % i simulering och 90 %, eller 18 av 20 körningar, med en verklig robot. De nuvarande riktmärkena betonar kvasistatisk manipulation; deformerbara objekt, dynamik och rörliga mål återstår som framtida arbete.

GR00T 2 använder en resonemangsagent för att ordna färdigheter i sekvens, övervaka framsteg och starta återhämtningsrutiner när delar faller eller arbetet stannar upp, medan modellen hanterar manipulation med många kontaktpunkter. Med korrigerande data och den agenten rapporterar NVIDIA 98 lyckade monteringar av leksaksflygplan, 97 monteringar av leksakstraktorer och 97 monteringar av Hot Wheels-bilar, av 100 försök per leksak. Varje försök inleddes med delar som hade dumpats slumpmässigt. Enbart övervakad finjustering gav 69, 51 respektive 23 lyckade monteringar.

Vitboken rapporterar separat en genomsnittlig framgångsgrad på ungefär 70 % på sina riktmärken efter träning för uppgifter med lång tidshorisont. Vid visuellt styrd sortering av sopor väntade roboten på agenten under en medianandel på 38 % av ett avsnitt, vilket visar kostnaden i form av fördröjning när agenten övervakar arbetet.

NVIDIA uppger att Nexuni testar GR00T 2 för tvätthantering, att Foxconn använder det för automatisering av servertillverkning och att Siemens utvärderar industriella användningsområden. Det arbete som har offentliggjorts består av tester och utvärdering; ingen produktionssättning har tillkännagivits.

I vitbokens slutsats fördelas tillförlitligheten mellan förträning för bredd, korrigerande demonstrationer och förstärkningsinlärning för precision samt agenter för minne, verifiering och återhämtning. För industriella användare är det därför hela arbetsflödet kring GR00T 2 och den övervakning varje uppgift kräver som är det relevanta måttet. Utmaningen inför driftsättning är att bevara den rapporterade tillförlitligheten och samtidigt minska anpassningen per uppgift och agenternas väntetid, som dokumenteras i NVIDIAs egna resultat.