NVIDIA представляє GR00T 2 для роботів, які навчаються за відео з людьми

NVIDIA представила GR00T 2 9 листопада 2026 року на конференції з навчання роботів (CoRL) в Остіні та повідомила, що модель, частково навчена на відео з людьми, успішно виконала з нуля 40% із 50 завдань, яких не було в навчальних даних цільового робота.

GR00T 2 використовує трансформер із 2 мільярдами параметрів, побудований на основі Cosmos-Predict2.5-2B. Він поєднує нещодавні зображення з камер, дані про стан робота та письмову інструкцію, щоб генерувати очікувані майбутні зображення й наступну послідовність дій. Один попередньо навчений контрольний знімок моделі охоплює маніпулятори з паралельними захватами, спритні руки та гуманоїда. Хоча NVIDIA представляє модель як відкриту, на її дослідницькій сторінці зазначено, що код буде доступний у грудні.

Для попереднього навчання використано 402 730 годин відео від першої особи, знятого людьми, 10 184 години демонстрацій із ручним захватом для 2 897 завдань і 23 500 годин телеопераційного керування роботами. У межах релізу Human-1M-100K відкривають доступ до 100 000 годин цих даних про людей, зокрема відео, мовних анотацій і даних про рухи голови та рук, за ліцензією CC BY 4.0, яка дозволяє комерційне й некомерційне використання.

Випробування на різних типах роботів показують, як навички переносяться між різними конструкціями та адаптуються за обмеженої кількості даних із роботів. NVIDIA повідомляє про 65% успішного виконання завдання з розкладання фільтрувального паперу, якого робот навчився за демонстраціями людей без телеопераційного керування для конкретного завдання, і про 60% успішного складання іграшкового самоскида після перенесення навички з ручного захвата на маніпулятор YAM. Під час оцінювання Dexter GR00T 2 виконав щонайменше одну спробу в кожному з 40 завдань. Середній показник успішності становить 71% за однієї демонстрації на завдання та 95% за п’яти; ці п’ять демонстрацій забезпечують менш як три хвилини даних із робота на завдання, після чого адаптер додатково налаштовують приблизно 30 хвилин на одному RTX 5090.

У технічному документі уточнюється результат для п’яти демонстрацій: завдання для оцінювання вибрали з-поміж тих, яких модель може навчитися виконувати за п’ять епізодів із показником успішності щонайменше 80%, тож середній результат частково є високим саме через спосіб відбору.

Симуляційне навчання: акцент на точності

Основою симуляції є Isaac Lab 3.0, загальнодоступна з 20 жовтня 2026 року. Вона забезпечує єдиний API для завдань у різних фізичних рушіях, системах рендерингу та візуалізації; Newton підтримує тверді тіла, деформівні об’єкти й частинки, а багато робочих процесів можна запускати без повного встановлення Isaac Sim. У бенчмарку спритного маніпулювання на основі зору NVIDIA повідомляє, що під час роботи Isaac Lab 3.0 із Newton пропускна здатність навчання зростає до 2,5 раза порівняно з Isaac Lab 2.3 на PhysX.

AlphaNIST застосовує масштабне тренування в симуляції до 20 завдань із NIST Assembly Task Board, зокрема з деталями завбільшки лише 4 міліметри. Спільну політику навчають, використовуючи лише винагороду за успіх із відповіддю «так» або «ні». NVIDIA повідомляє, що показник успішності цієї політики під час навчання становить 98,2% проти 81,4% для окремих політик на кожне завдання, причому витрати часу GPU приблизно у 39 разів менші; це результати навчання в симуляції.

В основі AlphaNIST лежить метод вибірки, керованої успіхом, розроблений University of Washington і NVIDIA. Він спрямовує тренування на конфігурації поблизу межі можливостей політики, особливо на ті, які вона розв’язує приблизно в половині випадків. Автори методу повідомляють про ефективне масштабування до понад мільйона симульованих середовищ і перенесення без додаткового навчання політик складання на основі RGB-зображень на реальне обладнання UR5e.

Бенчмарки враховують мінливість промислових умов

Isaac Lab-Arena забезпечує рівень оцінювання. Цей відкритий фреймворк формує відтворювані оцінювання з модульних компонентів і запускає їх у симульованих середовищах із прискоренням на GPU; аналіз помилок показує, за яких умов потрібно повторити навчання. NVIDIA повідомляє, що попередня версія 0.4 для розробників з’явиться на CoRL.

DexBench v1.0, розроблений RLWRLD спільно з NVIDIA, містить 15 завдань у сценаріях роздрібної торгівлі, логістики, складальних ліній і готельного харчування та обслуговування напоями. VABAR від UC Berkeley і NVIDIA охоплює сортування й підвішування інструментів, зчеплення шестерень, пакування шприців, а також вставляння та прокладання кабелів; для цього передбачено бібліотеку з 33 навичок. На сторінці проєкту VABAR зазначено, що два наявні рівні складності утворюють набір для валідації, а складніший тестовий набір ще готують.

Агенти додають відновлення після збоїв і нові обмеження

Фреймворк «Граф як політика» від UC Berkeley використовує кількох агентів, щоб створювати інтерпретований орієнтований граф навичок робота, репетирувати його в симуляції та змінювати його структуру й параметри після невдалих спроб. За даними проєкту, десять ітерацій репетиції підвищили результат у завданні Make Popcorn із початкових 33% до 94% у симуляції та 90% — або 18 успішних спроб із 20 — на реальному роботі. Наявні бенчмарки зосереджені на квазістатичному маніпулюванні; робота з деформівними об’єктами, динамічними процесами та рухомими цілями залишається завданням на майбутнє.

GR00T 2 використовує агент міркування, щоб упорядковувати навички, відстежувати прогрес і запускати процедури відновлення, коли деталі падають або робота зупиняється, тоді як модель виконує маніпуляції з численними контактами. За наявності коригувальних даних і такого агента NVIDIA повідомляє про 98 успішних складань іграшкових літаків, 97 складань іграшкових тракторів і 97 складань Hot Wheels у 100 випробуваннях для кожної іграшки; щоразу робота починала з деталей, висипаних навмання. Саме лише навчання з учителем дало відповідно 69, 51 і 23 успішні складання.

Окремо в технічному документі повідомляється про середній показник успішності близько 70% на бенчмарках із тривалими завданнями після навчання. Під час сортування сміття під візуальним керуванням робот чекав на агента протягом медіанних 38% епізоду, що демонструє затримки, спричинені наглядом агента.

NVIDIA повідомляє, що Nexuni тестує GR00T 2 для роботи з білизною, Foxconn застосовує його для автоматизації виробництва серверів, а Siemens оцінює варіанти промислового використання. Описана робота обмежується тестуванням та оцінюванням; про запуск у виробництво не повідомлялося.

У висновку технічного документа надійність розподілено між попереднім навчанням, що забезпечує широту охоплення, коригувальними демонстраціями та навчанням із підкріпленням, що забезпечують точність, а також агентами, що відповідають за пам’ять, перевірку й відновлення. Тому для промислових користувачів важливий показник — це повний робочий процес із GR00T 2 і обсяг нагляду, потрібний для кожного завдання. Відкритим викликом для впровадження залишається збереження заявленої надійності зі скороченням адаптації для кожного завдання та часу очікування на агента, зафіксованих у власних результатах NVIDIA.