NVIDIA prezintă GR00T 2, care îi învață pe roboți din videoclipuri cu oameni

NVIDIA a prezentat GR00T 2 pe 9 noiembrie 2026, la Conference on Robot Learning (CoRL), în Austin, și a raportat o rată de succes de 40% fără antrenare specifică pentru 50 de sarcini care nu apăreau în datele de antrenare ale robotului-țintă; modelul fusese antrenat parțial cu videoclipuri cu oameni.

GR00T 2 folosește un transformator cu 2 miliarde de parametri, construit pe baza Cosmos-Predict2.5-2B. Acesta combină imaginile recente captate de cameră, starea robotului și o instrucțiune scrisă pentru a genera imagini viitoare preconizate și următoarea secvență de acțiuni. Un singur punct de control preantrenat acoperă brațe cu clești paraleli, mâini dexterice și un robot umanoid. Deși NVIDIA prezintă modelul ca fiind deschis, pagina sa de cercetare precizează că codul va fi disponibil în decembrie.

Preantrenarea combină 402.730 de ore de videoclipuri cu oameni filmate la persoana întâi, 10.184 de ore de demonstrații cu clești portabili, pentru 2.897 de sarcini, și 23.500 de ore de teleoperare a roboților. Lansarea Human-1M-100K pune la dispoziție 100.000 de ore din aceste date despre oameni, inclusiv videoclipuri, adnotări lingvistice și date despre mișcările capului și mâinilor, sub licența CC BY 4.0, care permite utilizarea comercială și necomercială.

Testele între corpuri diferite arată cum se transferă abilitățile de la un corp la altul și cum se adaptează folosind date limitate despre roboți. NVIDIA raportează o rată de succes de 65% la pregătirea hârtiei de filtru, învățată din demonstrații umane fără teleoperare specifică sarcinii, și de 60% la asamblarea unei basculante de jucărie, după transferul de la un clește portabil la un braț YAM. În evaluarea Dexter, GR00T 2 a finalizat cel puțin o încercare pentru 40 de sarcini. Rata medie de succes ajunge la 71% cu o demonstrație pentru fiecare sarcină și la 95% cu cinci demonstrații; acestea din urmă furnizează mai puțin de trei minute de date despre robot pentru fiecare sarcină, urmate de o ajustare fină a adaptorului de aproximativ 30 de minute pe un singur RTX 5090.

Lucrarea tehnică precizează o condiție pentru rezultatul obținut cu cinci demonstrații: sarcinile evaluate au fost alese dintre cele pe care modelul le poate învăța în cinci episoade cu o rată de succes de cel puțin 80%, astfel că media este ridicată, în parte, chiar prin modul de selecție.

Antrenarea prin simulare se orientează spre precizie

La baza simulării se află Isaac Lab 3.0, disponibilă în general din 20 octombrie 2026. Aceasta oferă un singur API pentru sarcini, compatibil cu backenduri de fizică, randare și vizualizare; Newton acceptă corpuri rigide, materiale deformabile și particule, iar multe fluxuri de lucru pot rula fără o instalare completă Isaac Sim. Într-un benchmark de manipulare dexterică bazată pe viziune, NVIDIA raportează un debit de antrenare de până la 2,5 ori mai mare decât în Isaac Lab 2.3 cu PhysX, atunci când Isaac Lab 3.0 rulează cu Newton.

AlphaNIST aplică antrenamentul simulat la scară largă pentru 20 de sarcini NIST Assembly Task Board, inclusiv pentru piese de doar 4 milimetri. O singură politică partajată este antrenată folosind doar o recompensă binară pentru succes, de tip da sau nu. NVIDIA raportează o rată de succes la antrenare de 98,2% pentru această politică, față de 81,4% pentru politici distincte, câte una pentru fiecare sarcină, folosind de aproximativ 39 de ori mai puțin timp GPU; acestea sunt rezultate obținute prin antrenare în simulare.

La baza AlphaNIST se află eșantionarea ghidată de succes, dezvoltată de University of Washington și NVIDIA. Metoda direcționează antrenamentul către configurații apropiate de limita capacităților politicii, în special către cele pe care aceasta le rezolvă în aproximativ jumătate din cazuri. Autorii metodei raportează o scalare eficientă la peste un milion de medii simulate și transferul fără antrenare specifică a politicilor de asamblare bazate pe RGB către hardware-ul real UR5e.

Benchmarkurile țin cont de variațiile industriale

Isaac Lab-Arena oferă stratul de evaluare. Acest cadru open-source creează evaluări reproductibile din componente modulare și le rulează în medii simulate accelerate de GPU; analiza eșecurilor arată ce condiții necesită o nouă rundă de antrenare. NVIDIA spune că versiunea 0.4 de previzualizare pentru dezvoltatori va fi lansată la CoRL.

DexBench v1.0, dezvoltat de RLWRLD împreună cu NVIDIA, cuprinde 15 sarcini desfășurate în scene din comerțul cu amănuntul, logistică, linii de asamblare și servicii hoteliere de alimentație și băuturi. VABAR, dezvoltat de UC Berkeley și NVIDIA, acoperă sortarea și agățarea uneltelor, angrenarea roților dințate, ambalarea seringilor, precum și introducerea și ghidarea cablurilor, cu sprijinul unei biblioteci de 33 de abilități. Pagina proiectului VABAR precizează că cele două niveluri actuale de dificultate alcătuiesc setul de validare, iar un set de testare mai dificil este încă în curs de pregătire.

Agenții adaugă capacități de recuperare și noi constrângeri

Cadrul Graph-as-Policy al UC Berkeley folosește mai mulți agenți pentru a compune un graf orientat și interpretabil al abilităților robotului, a-l testa în simulare și a-i revizui structura și parametrii după eșecuri. Proiectul raportează că zece iterații de testare au ridicat rezultatul pentru prepararea floricelelor de porumb de la 33% inițial la 94% în simulare și la 90% — sau 18 din 20 de încercări — pe un robot real. Benchmarkurile actuale pun accentul pe manipularea cvasi-statică; materialele deformabile, dinamica și țintele în mișcare rămân direcții de lucru viitoare.

GR00T 2 folosește un agent de raționament pentru a ordona abilitățile, a monitoriza progresul și a activa proceduri de recuperare atunci când cad piese sau lucrul se blochează, în timp ce modelul se ocupă de manipularea cu multe contacte. Cu date de corecție și acest agent, NVIDIA raportează 98 de asamblări reușite ale unor avioane de jucărie, 97 de asamblări ale unor tractoare de jucărie și 97 de asamblări Hot Wheels, în câte 100 de încercări pentru fiecare jucărie, toate pornind de la piese împrăștiate aleatoriu. Ajustarea fină supravegheată, folosită singură, a produs 69, 51 și, respectiv, 23 de asamblări reușite.

Lucrarea tehnică raportează separat o rată medie de succes de aproximativ 70% la benchmarkurile post-antrenare cu orizont lung. În sortarea deșeurilor ghidată vizual, robotul a așteptat instrucțiunile agentului, în mediană, pe durata a 38% dintr-un episod, evidențiind costul de latență al supravegherii de către agent.

NVIDIA spune că Nexuni testează GR00T 2 pentru manipularea rufelor, Foxconn îl aplică automatizării procesului de fabricare a serverelor, iar Siemens evaluează cazuri de utilizare industrială. Activitățile dezvăluite se limitează la testare și evaluare; nu a fost anunțată nicio implementare în producție.

Concluzia cărții albe atribuie fiabilitatea preantrenării, care asigură amploarea, demonstrațiilor corective și învățării prin întărire, care asigură precizia, și agenților, care asigură memoria, verificarea și recuperarea. Pentru utilizatorii industriali, măsura relevantă este, așadar, întregul flux de lucru din jurul GR00T 2 și supravegherea necesară pentru fiecare sarcină. Provocarea încă nerezolvată a implementării este menținerea fiabilității raportate, reducând totodată adaptarea necesară pentru fiecare sarcină și timpul de așteptare al agenților consemnate în rezultatele proprii ale NVIDIA.