NVIDIA przedstawia GR00T 2, dzięki któremu roboty uczą się na podstawie nagrań wideo z udziałem ludzi

NVIDIA przedstawiła GR00T 2 9 listopada 2026 roku podczas konferencji Conference on Robot Learning (CoRL) w Austin i poinformowała, że model trenowany częściowo na nagraniach wideo z udziałem ludzi osiąga 40-procentową skuteczność w zadaniach wykonywanych bez przykładów (zero-shot), których nie było w danych treningowych robota docelowego. Chodzi o 50 zadań.

GR00T 2 wykorzystuje transformator o 2 miliardach parametrów, oparty na Cosmos-Predict2.5-2B. Łączy niedawne obrazy z kamer, stan robota i instrukcję tekstową, aby przewidywać przyszłe obrazy oraz kolejną sekwencję działań. Jeden wstępnie wytrenowany punkt kontrolny obsługuje ramiona z chwytakami równoległymi, sprawne manualnie dłonie i robota humanoidalnego. Chociaż NVIDIA przedstawia model jako otwarty, na stronie poświęconej badaniom informuje, że kod będzie dostępny w grudniu.

Wstępne trenowanie obejmuje 402 730 godzin nagrań wideo z perspektywy pierwszej osoby, 10 184 godziny demonstracji z użyciem ręcznych chwytaków w 2 897 zadaniach oraz 23 500 godzin teleoperacji robotów. Udostępniona baza Human-1M-100K zawiera 100 000 godzin tych danych o ludziach, w tym nagrania wideo, adnotacje językowe oraz dane o ruchach głowy i dłoni, na licencji CC BY 4.0 zezwalającej na użytek komercyjny i niekomercyjny.

Testy z udziałem różnych typów robotów pokazują, jak umiejętności przenoszą się między odmiennymi konstrukcjami i dostosowują przy ograniczonej ilości danych z robotów. NVIDIA podaje, że model osiągnął 65% skuteczności przy układaniu bibuły filtracyjnej, czego nauczył się na podstawie demonstracji ludzi bez teleoperacji dostosowanej do konkretnego zadania, oraz 60% skuteczności przy składaniu zabawkowej wywrotki po przeniesieniu umiejętności z ręcznego chwytaka na ramię YAM. W ewaluacji Dexter GR00T 2 wykonał co najmniej jedną próbę w 40 zadaniach. Średnia skuteczność wynosi 71% przy jednej demonstracji na zadanie i 95% przy pięciu; te pięć demonstracji dostarcza mniej niż trzy minuty danych z robota na zadanie, po czym przeprowadza się około 30-minutowe dostrajanie adaptera na jednym RTX 5090.

Dokument techniczny zastrzega, że wynik uzyskany przy pięciu demonstracjach dotyczy zadań wybranych spośród tych, których model może się nauczyć na podstawie pięciu epizodów, osiągając skuteczność wynoszącą co najmniej 80%. Oznacza to, że wysoka średnia wynika częściowo ze sposobu doboru zadań.

Trening w symulacji zmierza ku precyzji

Podstawą symulacji jest Isaac Lab 3.0, dostępny powszechnie od 20 października 2026 roku. Udostępnia jeden interfejs API zadań dla zapleczy fizyki, renderowania i wizualizacji; Newton obsługuje ciała sztywne, obiekty odkształcalne i cząstki, a wiele procesów roboczych może działać bez pełnej instalacji Isaac Sim. W teście porównawczym manipulacji zręcznościowej opartej na obrazie NVIDIA podaje, że Isaac Lab 3.0 działający z Newtonem zapewnia nawet 2,5 raza większą przepustowość trenowania niż Isaac Lab 2.3 z PhysX.

AlphaNIST wykorzystuje trening w dużej skali w symulacji do realizacji 20 zadań z NIST Assembly Task Board, w tym zadań obejmujących elementy o wielkości zaledwie 4 milimetrów. Jedna wspólna polityka jest trenowana wyłącznie z nagrodą określającą, czy zadanie się powiodło. NVIDIA podaje, że skuteczność trenowania tej polityki wynosi 98,2%, w porównaniu z 81,4% w przypadku odrębnych polityk dla poszczególnych zadań, przy użyciu około 39 razy mniejszej ilości czasu GPU; są to wyniki treningu w symulacji.

U podstaw AlphaNIST leży próbkowanie ukierunkowane na sukces (Success-Guided Sampling), opracowane przez University of Washington i NVIDIA. Metoda kieruje ćwiczenia ku konfiguracjom znajdującym się blisko granicy możliwości polityki, zwłaszcza takim, z którymi radzi sobie ona mniej więcej w połowie przypadków. Autorzy metody podają, że pozwala ona skutecznie skalować trening do ponad miliona symulowanych środowisk oraz przenosić bez przykładów polityki składania oparte na obrazie RGB na rzeczywisty sprzęt UR5e.

Testy porównawcze uwzględniają zmienność warunków przemysłowych

Isaac Lab-Arena zapewnia warstwę ewaluacyjną. Ten otwartoźródłowy framework umożliwia tworzenie powtarzalnych testów z modułowych komponentów i uruchamianie ich w symulowanych środowiskach przyspieszanych przez GPU, a analiza błędów wskazuje, w jakich warunkach należy ponownie przeprowadzić trening. NVIDIA informuje, że wersja 0.4 w ramach podglądu dla deweloperów jest udostępniana podczas CoRL.

DexBench v1.0, opracowany przez RLWRLD we współpracy z NVIDIA, obejmuje 15 zadań rozgrywających się w scenach z handlu detalicznego, logistyki, linii montażowej oraz hotelowej gastronomii. VABAR, opracowany przez UC Berkeley i NVIDIA, obejmuje sortowanie i zawieszanie narzędzi, zazębianie kół zębatych, pakowanie strzykawek oraz wkładanie i prowadzenie kabli; korzysta przy tym z biblioteki 33 umiejętności. Na stronie projektu VABAR podano, że dwa dostępne obecnie poziomy trudności tworzą zbiór walidacyjny, a trudniejszy zbiór testowy jest dopiero przygotowywany.

Agenci umożliwiają odzyskiwanie sprawności i uwzględnianie nowych ograniczeń

Framework Graph-as-Policy opracowany przez UC Berkeley wykorzystuje wielu agentów do tworzenia zrozumiałego skierowanego grafu umiejętności robota, przećwiczenia go w symulacji oraz zmiany jego struktury i parametrów po niepowodzeniach. Zespół projektowy podaje, że dziesięć iteracji próbnych zwiększyło wynik zadania „Przygotuj popcorn” z początkowych 33% do 94% w symulacji i 90% na prawdziwym robocie, czyli 18 udanych prób na 20. Obecne testy porównawcze koncentrują się na manipulacji quasi-statycznej; obiekty odkształcalne, dynamika i poruszające się cele pozostają przedmiotem przyszłych prac.

GR00T 2 wykorzystuje agenta rozumującego do porządkowania umiejętności w sekwencje, monitorowania postępów i uruchamiania procedur odzyskiwania sprawności, gdy części spadną lub praca utknie, podczas gdy sam model obsługuje manipulację wymagającą licznych interakcji kontaktowych. NVIDIA podaje, że dzięki danym korygującym i temu agentowi udało się złożyć zabawkowy samolot 98 razy, zabawkowy traktor 97 razy, a samochód Hot Wheels 97 razy w 100 próbach każdego z tych zabawek, za każdym razem zaczynając od losowo rozsypanych części. Samo dostrajanie nadzorowane przyniosło odpowiednio 69, 51 i 23 udane próby.

W dokumencie technicznym osobno podano średnią skuteczność wynoszącą około 70% w testach porównawczych zadań długiego horyzontu po trenowaniu. Podczas sortowania śmieci sterowanego obrazem robot czekał na agenta przez medianę równą 38% czasu trwania epizodu, co pokazuje koszt opóźnień związanych z nadzorem agenta.

NVIDIA podaje, że Nexuni testuje GR00T 2 do wykonywania zadań związanych z praniem, Foxconn wykorzystuje go do automatyzacji produkcji serwerów, a Siemens ocenia jego zastosowanie w przemyśle. Ujawnione prace obejmują testowanie i ocenę; nie ogłoszono wdrożenia produkcyjnego.

Wnioski z białej księgi wskazują, że za niezawodność odpowiadają różne elementy: wstępne trenowanie zapewnia szeroki zakres, demonstracje korygujące i uczenie przez wzmacnianie — precyzję, a agenci — pamięć, weryfikację i odzyskiwanie sprawności. Dla użytkowników przemysłowych miarodajna jest więc ocena całego procesu pracy z GR00T 2 oraz zakresu nadzoru wymaganego przez każde zadanie. Nierozwiązanym wyzwaniem związanym z wdrożeniem pozostaje utrzymanie deklarowanej niezawodności przy jednoczesnym skróceniu czasu adaptacji do poszczególnych zadań i oczekiwania na agenta, odnotowanego w wynikach opublikowanych przez samo NVIDIA.