NVIDIA esittelee GR00T 2:n, jonka avulla robotit oppivat ihmisistä kuvatuilta videoilta

NVIDIA esitteli GR00T 2:n 9. marraskuuta 2026 Austinissa järjestetyssä Conference on Robot Learning (CoRL) -konferenssissa ja raportoi, että osittain ihmisistä kuvatulla videolla koulutettu malli saavutti nollanäytteisen onnistumisasteen 40 prosenttia 50 tehtävässä, jotka puuttuivat kohderobotin koulutusdatasta.

GR00T 2 hyödyntää Cosmos-Predict2.5-2B-malliin perustuvaa kahden miljardin parametrin muuntajamallia. Se yhdistää viimeaikaiset kameranäkymät, robotin tilan ja kirjallisen ohjeen tuottaakseen ennusteet tulevista näkymistä ja seuraavasta toimintasarjasta. Yksi esikoulutettu tarkistuspiste kattaa rinnakkaistarttujilla varustetut käsivarret, ketterät kädet ja humanoidirobotin. Vaikka NVIDIA esittelee mallin avoimena, sen tutkimussivulla kerrotaan, että koodi tulee saataville joulukuussa.

Esikoulutuksessa yhdistetään 402 730 tuntia ensimmäisen persoonan näkökulmasta kuvattua ihmisvideota, 10 184 tuntia käsikäyttöisillä tarttujilla tehtyjä demonstraatioita 2 897 tehtävässä sekä 23 500 tuntia robottien teleoperointia. Human-1M-100K-julkaisu avaa saataville 100 000 tuntia tätä ihmisistä kerättyä dataa, mukaan lukien videot, kielelliset annotaatiot sekä pään ja käsien liiketiedot, CC BY 4.0 -lisenssillä, joka sallii kaupallisen ja ei-kaupallisen käytön.

Eri robottikehoilla tehtävät testit osoittavat, miten taidot siirtyvät kehosta toiseen ja mukautuvat vähäisen robottidatan avulla. NVIDIA raportoi 65 prosentin onnistumisasteen suodatinpaperin asettelussa, joka opittiin ihmisiltä kerätyistä demonstraatioista ilman tehtäväkohtaista teleoperointia, sekä 60 prosentin onnistumisasteen lelukuorma-auton kokoamisessa, kun taito siirrettiin käsikäyttöisestä tarttujasta YAM-käsivarteen. Dexter-arvioinnissa GR00T 2 suoritti vähintään yhden kokeen 40 tehtävässä. Keskimääräinen onnistumisaste on 71 prosenttia, kun tehtävästä on yksi demonstraatio, ja 95 prosenttia, kun niitä on viisi. Nämä viisi demonstraatiota tuottavat alle kolme minuuttia robottidataa tehtävää kohden, minkä jälkeen mallia hienosäädetään sovittimella noin 30 minuuttia yhdellä RTX 5090 -näytönohjaimella.

Teknisessä white paperissa täsmennetään viiden demonstraation tulosta: arvioidut tehtävät valittiin niiden tehtävien joukosta, jotka malli pystyy oppimaan viidellä jaksolla vähintään 80 prosentin onnistumisasteella, joten keskiarvo on osittain jo valintatavan vuoksi korkea.

Simulaatiokoulutuksessa keskitytään nyt tarkkuuteen

Simulaation perustana on Isaac Lab 3.0, joka on ollut yleisesti saatavilla 20. lokakuuta 2026 lähtien. Se tarjoaa yhden tehtävärajapinnan fysiikan, renderöinnin ja visualisoinnin taustajärjestelmille. Newton tukee jäykkiä kappaleita, muotoaan muuttavia kappaleita ja hiukkasia, ja monet työnkulut voidaan suorittaa asentamatta koko Isaac Sim -ohjelmistoa. Näköön perustuvassa ketterän käsittelyn vertailutestissä NVIDIA raportoi jopa 2,5-kertaisen koulutuksen läpimenon Isaac Lab 2.3:een ja PhysXiin verrattuna, kun Isaac Lab 3.0 toimii Newtonin kanssa.

AlphaNIST soveltaa laajamittaista simulaatioharjoittelua 20 NIST Assembly Task Board -tehtävään, joissa käsitellään jopa 4 millimetrin kokoisia osia. Yksi yhteinen toimintamalli koulutetaan käyttäen ainoastaan kyllä- tai ei-vastausta ilmaisevaa onnistumispalkkiota. NVIDIA raportoi toimintamallin koulutuksen onnistumisasteeksi 98,2 prosenttia, kun erillisillä tehtäväkohtaisilla toimintamalleilla vastaava luku oli 81,4 prosenttia. Tämä saavutettiin käyttämällä noin 39 kertaa vähemmän GPU-aikaa; kyse on simulaatiokoulutuksen tuloksista.

AlphaNISTin taustalla on onnistumisen ohjaama näytteenotto, jonka ovat kehittäneet University of Washington ja NVIDIA. Menetelmä ohjaa harjoittelua toimintamallin kyvykkyyden raja-alueen lähellä oleviin kokoonpanoihin, erityisesti sellaisiin, jotka se ratkaisee noin puolet ajasta. Menetelmän tekijöiden mukaan se skaalautuu tehokkaasti yli miljoonaan simuloituun ympäristöön, ja RGB-kuviin perustuvat kokoonpanon toimintamallit siirtyvät nollanäytteisesti todelliseen UR5e-laitteistoon.

Vertailutesteissä huomioidaan teollisuuden vaihtelu

Isaac Lab-Arena tarjoaa arviointikerroksen. Avoimen lähdekoodin kehys kokoaa modulaarisista komponenteista toistettavia arviointeja ja suorittaa niitä GPU-kiihdytetyissä simuloiduissa ympäristöissä. Virheanalyysi osoittaa, mitkä olosuhteet vaativat uuden koulutusajon. NVIDIAn mukaan sen 0.4-kehittäjäesiversio julkaistaan CoRL-konferenssissa.

DexBench v1.0, jonka RLWRLD on kehittänyt yhdessä NVIDIAn kanssa, sisältää 15 tehtävää vähittäiskaupan, logistiikan, kokoonpanolinjan sekä hotellien ruoka- ja juomapalvelujen ympäristöissä. VABAR, jonka ovat kehittäneet UC Berkeley ja NVIDIA, kattaa työkalujen lajittelun ja ripustamisen, hammaspyörien kytkemisen, ruiskujen pakkaamisen sekä kaapeleiden asettamisen ja reitittämisen. Sen tukena on 33 taidon kirjasto. VABARin projektisivun mukaan sen kaksi nykyistä vaikeustasoa muodostavat validointiaineiston, ja vaikeampi testiaineisto on vielä tulossa.

Agentit tuovat mukaan palautumiskyvyn ja uusia rajoitteita

UC Berkeleyn Graph-as-Policy-kehys käyttää useita agentteja koostaakseen robottitaidoista tulkittavan suunnatun graafin, harjoitellakseen sen käyttöä simulaatiossa ja tarkistaakseen sen rakennetta ja parametreja virheiden jälkeen. Projektin mukaan kymmenen harjoittelukierrosta nosti Make Popcorn -tehtävän tuloksen simulaatiossa alun 33 prosentista 94 prosenttiin ja todellisella robotilla 90 prosenttiin eli 18 onnistuneeseen suoritukseen 20 kokeesta. Nykyisissä vertailutesteissä keskitytään lähes staattiseen käsittelyyn; muotoaan muuttavat kappaleet, dynamiikka ja liikkuvat kohteet ovat vielä tulevaa työtä.

GR00T 2 käyttää päättelyagenttia taitojen järjestämiseen, edistymisen seurantaan ja palautumistoimintojen käynnistämiseen, kun osia putoaa tai työ pysähtyy, kun taas malli hoitaa runsaasti kosketusta sisältävän käsittelyn. Korjausdatan ja agentin avulla NVIDIA raportoi onnistuneensa kokoamaan lelulentokoneen 98 kertaa, lelutraktorin 97 kertaa ja Hot Wheels -auton 97 kertaa. Kutakin lelua testattiin 100 kertaa, ja joka koe alkoi satunnaisesti pudotetuista osista. Pelkkä ohjattu hienosäätö tuotti vastaavasti 69, 51 ja 23 onnistumista.

White paperissa raportoidaan erikseen noin 70 prosentin keskimääräinen onnistumisaste pitkän aikajänteen jälkikoulutuksen vertailutesteissä. Näköohjatussa roskien lajittelussa robotti odotti agenttia mediaaniltaan 38 prosenttia kokeen kestosta, mikä paljasti agentin valvonnan aiheuttaman viiveen.

NVIDIA kertoo, että Nexuni testaa GR00T 2:ta pyykin käsittelyssä, Foxconn soveltaa sitä palvelinvalmistuksen automaatioon ja Siemens arvioi sen käyttöä teollisuudessa. Julkistetut toimet ovat testausta ja arviointia; tuotantokäyttöönotosta ei ole ilmoitettu.

Tutkimusraportin johtopäätöksissä luotettavuuden osatekijöiksi nimetään esikoulutus laaja-alaisuuden saavuttamiseksi, korjaavat demonstraatiot ja vahvistusoppiminen tarkkuuden parantamiseksi sekä agentit muistia, varmennusta ja palautumista varten. Teollisuuskäyttäjille hyödyllinen mittari on siksi GR00T 2:n ympärille rakentuva koko työnkulku ja kunkin tehtävän vaatima valvonta. Käyttöönoton haasteena on säilyttää raportoitu luotettavuus ja samalla vähentää tehtäväkohtaiseen mukauttamiseen kuluvaa aikaa sekä agenttien odotusaikaa, jotka on dokumentoitu NVIDIA:n omissa tuloksissa.