NVIDIA presenta GR00T 2, per robot che imparano dai video umani

NVIDIA ha presentato GR00T 2 il 9 novembre 2026, alla Conference on Robot Learning (CoRL) di Austin, e ha riferito un tasso di successo del 40% senza esempi preliminari su 50 attività assenti dai dati di addestramento del robot di destinazione, per un modello addestrato in parte con video umani.

GR00T 2 utilizza un trasformatore da 2 miliardi di parametri basato su Cosmos-Predict2.5-2B. Combina le immagini recenti delle telecamere, lo stato del robot e un’istruzione scritta per generare le immagini future previste e la sequenza di azioni successiva. Un unico checkpoint preaddestrato supporta bracci con pinza parallela, mani destre e un robot umanoide. Sebbene NVIDIA presenti il modello come aperto, la pagina dedicata alla ricerca afferma che il codice sarà disponibile a dicembre.

Il preaddestramento combina 402.730 ore di video umani in prima persona, 10.184 ore di dimostrazioni con pinze portatili su 2.897 attività e 23.500 ore di teleoperazione di robot. La distribuzione di Human-1M-100K rende disponibili 100.000 ore di quei dati umani, inclusi video, annotazioni linguistiche e dati sui movimenti della testa e delle mani, con licenza CC BY 4.0 che ne consente l’uso commerciale e non commerciale.

I test tra diverse configurazioni corporee mostrano come le abilità si trasferiscano da un corpo all’altro e si adattino con una quantità limitata di dati robotici. NVIDIA riferisce un tasso di successo del 65% nella preparazione della carta da filtro, appresa da dimostrazioni umane senza teleoperazione specifica per l’attività, e del 60% nell’assemblaggio di un autocarro giocattolo con cassone ribaltabile, trasferito da una pinza portatile a un braccio YAM. Nella valutazione Dexter, GR00T 2 ha completato almeno una prova in 40 attività. Il tasso medio di successo raggiunge il 71% con una dimostrazione per attività e il 95% con cinque; queste cinque forniscono meno di tre minuti di dati robotici per attività, seguiti da una messa a punto dell’adattatore di circa 30 minuti su un solo RTX 5090.

Il documento tecnico precisa che il risultato ottenuto con cinque dimostrazioni riguarda attività selezionate tra quelle che il modello è in grado di apprendere con cinque episodi e un tasso di successo di almeno l’80%; la media è quindi elevata, in parte, per come è stato impostato il test.

L’addestramento in simulazione punta sulla precisione

La base per la simulazione è Isaac Lab 3.0, disponibile in versione generale dal 20 ottobre 2026. Offre un’unica API per le attività, compatibile con diversi backend per la fisica, il rendering e la visualizzazione; Newton supporta corpi rigidi, materiali deformabili e particelle, e molti flussi di lavoro possono essere eseguiti senza installare l’intero Isaac Sim. In un benchmark di manipolazione destrezza basato sulla visione, NVIDIA riferisce che, quando Isaac Lab 3.0 viene eseguito con Newton, la velocità di addestramento è fino a 2,5 volte superiore a quella di Isaac Lab 2.3 con PhysX.

AlphaNIST applica l’addestramento su larga scala in simulazione a 20 attività dell’NIST Assembly Task Board, incluse quelle con componenti di appena 4 millimetri. Un’unica politica condivisa viene addestrata usando soltanto una ricompensa di successo binaria, sì o no. NVIDIA riferisce per questa politica un tasso di successo in addestramento del 98,2%, contro l’81,4% delle politiche separate per ciascuna attività, con un impiego di tempo GPU inferiore di circa 39 volte; si tratta di risultati ottenuti con l’addestramento in simulazione.

Alla base di AlphaNIST c’è il campionamento guidato dal successo, sviluppato dall’Università di Washington e da NVIDIA. Il metodo indirizza l’addestramento verso configurazioni vicine al limite delle capacità della politica, soprattutto quelle che riesce a risolvere circa una volta su due. Gli autori del metodo riferiscono che è possibile scalarlo efficacemente oltre un milione di ambienti simulati e trasferire senza esempi preliminari a hardware UR5e reale politiche di assemblaggio basate su immagini RGB.

I benchmark affrontano la variabilità industriale

Isaac Lab-Arena fornisce il livello di valutazione. Questo framework open source crea valutazioni ripetibili con componenti modulari e le esegue in ambienti simulati accelerati dalla GPU; l’analisi dei fallimenti mostra quali condizioni richiedono un nuovo ciclo di addestramento. NVIDIA afferma che l’anteprima per sviluppatori della versione 0.4 sarà disponibile in occasione di CoRL.

DexBench v1.0, sviluppato da RLWRLD con NVIDIA, comprende 15 attività in scenari di vendita al dettaglio, logistica, catene di montaggio e ristorazione alberghiera. VABAR, sviluppato dall’Università della California a Berkeley e da NVIDIA, comprende attività di smistamento e appendimento di utensili, ingranamento di ruote dentate, confezionamento di siringhe e inserimento e instradamento di cavi, supportate da una libreria di 33 abilità. La pagina del progetto VABAR afferma che gli attuali due livelli di difficoltà costituiscono il set di validazione e che un set di test più difficile è ancora in fase di sviluppo.

Gli agenti aggiungono capacità di recupero e nuovi vincoli

Il framework Graph-as-Policy dell’Università della California a Berkeley usa più agenti per comporre un grafo diretto e interpretabile di abilità robotiche, provarlo in simulazione e modificarne la struttura e i parametri dopo i fallimenti. Il progetto riferisce che dieci iterazioni di prova hanno portato il risultato di Make Popcorn dal 33% iniziale al 94% in simulazione e al 90%, pari a 18 prove su 20, su un robot reale. Gli attuali benchmark si concentrano sulla manipolazione quasi statica; i materiali deformabili, la dinamica e i bersagli in movimento restano sviluppi futuri.

GR00T 2 usa un agente di ragionamento per mettere in sequenza le abilità, monitorare i progressi e avviare procedure di recupero quando i componenti cadono o il lavoro si blocca, mentre il modello gestisce la manipolazione con contatti complessi. Con dati correttivi e l’agente, NVIDIA riferisce 98 assemblaggi riusciti di aeroplanini giocattolo, 97 di trattori giocattolo e 97 di auto Hot Wheels in 100 prove per ciascun giocattolo, ognuna iniziata con i componenti sparsi in modo casuale. La sola messa a punto supervisionata ha prodotto rispettivamente 69, 51 e 23 assemblaggi riusciti.

Il documento tecnico riferisce separatamente un tasso medio di successo di circa il 70% nei benchmark post-addestramento a lungo orizzonte. In un’attività di smistamento dei rifiuti guidata visivamente, il robot è rimasto in attesa dell’agente per una mediana pari al 38% della durata di un episodio, mettendo in evidenza il costo in termini di latenza della supervisione dell’agente.

NVIDIA afferma che Nexuni sta testando GR00T 2 per la gestione del bucato, che Foxconn lo sta applicando all’automazione della produzione di server e che Siemens sta valutando casi d’uso industriali. Le attività dichiarate consistono in test e valutazioni; non è stato annunciato alcun avvio della produzione.

Le conclusioni del white paper attribuiscono l’affidabilità al preaddestramento, per garantire ampiezza, alle dimostrazioni correttive e all’apprendimento per rinforzo, per assicurare precisione, e agli agenti, per la memoria, la verifica e il recupero. Per gli utenti industriali, la misura utile è quindi l’intero flusso di lavoro attorno a GR00T 2 e la supervisione richiesta da ciascuna attività. La sfida ancora aperta per la distribuzione consiste nel mantenere l’affidabilità dichiarata riducendo al contempo l’adattamento per attività e i tempi di attesa degli agenti documentati nei risultati pubblicati da NVIDIA.