NVIDIA представляет GR00T 2 — модель для обучения роботов на видео с участием людей

NVIDIA представила GR00T 2 9 ноября 2026 года на конференции по обучению роботов (CoRL) в Остине и сообщила, что модель, обученная в том числе на видео с участием людей, без дополнительного обучения успешно выполнила 40% из 50 задач, отсутствовавших в обучающих данных целевого робота.

GR00T 2 использует трансформер с 2 млрд параметров на основе Cosmos-Predict2.5-2B. Он объединяет недавние изображения с камер, данные о состоянии робота и текстовую инструкцию, чтобы предсказывать будущие изображения и следующую последовательность действий. Одна предварительно обученная версия модели поддерживает манипуляторы с параллельными захватами, ловкие кисти и гуманоидных роботов. Хотя NVIDIA представляет модель как открытую, на странице исследования сказано, что код станет доступен в декабре.

Для предварительного обучения использовались 402 730 часов видео от первого лица с участием людей, 10 184 часа демонстраций с ручными захватами в рамках 2 897 задач и 23 500 часов телеуправления роботами. В рамках релиза Human-1M-100K открывается доступ к 100 000 часов этих данных о людях, включая видео, языковую разметку, а также данные о движениях головы и рук, по лицензии CC BY 4.0, разрешающей коммерческое и некоммерческое использование.

Испытания на разных типах роботов показывают, как навыки переносятся между платформами и адаптируются при ограниченном объёме данных с роботов. По данным NVIDIA, модель успешно справилась с подготовкой фильтровальной бумаги в 65% случаев, обучившись на демонстрациях людей без телеуправления специально для этой задачи, а со сборкой игрушечного самосвала — в 60% случаев после переноса навыка с ручного захвата на манипулятор YAM. В ходе оценки Dexter GR00T 2 выполнила как минимум одну попытку в 40 задачах. Средняя доля успешных выполнений достигает 71% при одной демонстрации на задачу и 95% при пяти; пять демонстраций дают менее трёх минут данных с робота на каждую задачу, после чего адаптер дополнительно настраивают примерно 30 минут на одном RTX 5090.

В техническом документе оговаривается, что результат с пятью демонстрациями получен на задачах, отобранных из числа тех, которые модель способна освоить за пять эпизодов с успешностью не менее 80%. Поэтому высокий средний показатель отчасти обусловлен самим способом отбора задач.

Обучение в симуляции повышает точность

Основой симуляции служит Isaac Lab 3.0, общедоступная с 20 октября 2026 года. Она предоставляет единый API задач для физических движков, систем рендеринга и визуализации; Newton поддерживает твёрдые тела, деформируемые объекты и частицы, а многие рабочие процессы можно запускать без полной установки Isaac Sim. В тесте ловкого манипулирования на основе зрения NVIDIA сообщает о производительности обучения до 2,5 раза выше, чем у Isaac Lab 2.3 с PhysX, при работе Isaac Lab 3.0 с Newton.

AlphaNIST применяет масштабные тренировки в симуляции к 20 задачам NIST Assembly Task Board, включая работу с деталями размером всего 4 миллиметра. Для обучения единой политики используется только бинарная награда за успех — «да» или «нет». По данным NVIDIA, успешность обучения этой политики составляет 98,2% против 81,4% у отдельных политик для каждой задачи, при этом требуется примерно в 39 раз меньше времени работы GPU; это результаты обучения в симуляции.

В основе AlphaNIST лежит метод выборки с ориентацией на успех, разработанный University of Washington и NVIDIA. Он направляет тренировочные попытки на конфигурации вблизи предела возможностей политики, особенно на те, с которыми она справляется примерно в половине случаев. Авторы метода сообщают об эффективном масштабировании до более чем миллиона симулированных сред и о переносе без дополнительного обучения политик сборки на основе RGB-изображений на реальные роботы UR5e.

Бенчмарки учитывают производственные различия

Isaac Lab-Arena обеспечивает уровень оценки. Эта платформа с открытым исходным кодом позволяет создавать воспроизводимые оценки из модульных компонентов и запускать их в симулированных средах с ускорением на GPU. Анализ ошибок показывает, для каких условий требуется повторное обучение. NVIDIA сообщает, что предварительная версия 0.4 для разработчиков выйдет на CoRL.

DexBench v1.0, разработанный RLWRLD совместно с NVIDIA, включает 15 задач для сценариев розничной торговли, логистики, сборочного производства и гостиничного питания. VABAR, созданный UC Berkeley и NVIDIA, охватывает сортировку и подвешивание инструментов, зацепление шестерён, упаковку шприцев, а также вставку и прокладку кабелей; для него предусмотрена библиотека из 33 навыков. На странице проекта VABAR сказано, что два существующих уровня сложности составляют проверочную выборку, а более сложная тестовая выборка ещё разрабатывается.

Агенты помогают справляться со сбоями и новыми ограничениями

Разработанная UC Berkeley платформа «Граф как стратегия» использует несколько агентов, чтобы составлять понятный для интерпретации ориентированный граф навыков робота, отрабатывать его в симуляции и изменять его структуру и параметры после неудач. По данным проекта, десять итераций отработки повысили результат в задаче Make Popcorn с первоначальных 33% до 94% в симуляции и 90% — или 18 успешных запусков из 20 — на реальном роботе. В нынешних бенчмарках основное внимание уделяется квазистатическим манипуляциям; работа с деформируемыми объектами, динамическими процессами и движущимися целями пока остаётся задачей на будущее.

GR00T 2 использует агент рассуждения, чтобы выстраивать последовательность навыков, отслеживать прогресс и запускать процедуры восстановления, если детали падают или работа останавливается; сама модель выполняет манипуляции с многочисленными контактами. По данным NVIDIA, при использовании корректирующих данных и этого агента в 100 испытаниях для каждой игрушки было успешно собрано 98 игрушечных самолётов, 97 игрушечных тракторов и 97 машинок Hot Wheels. Каждый раз детали предварительно случайным образом высыпали. При одной лишь тонкой настройке с учителем результаты составили соответственно 69, 51 и 23 успешные сборки.

В техническом документе отдельно сообщается о средней успешности около 70% в бенчмарках длительных задач после дополнительного обучения. При сортировке мусора с визуальным управлением робот в среднем ждал агента 38% времени эпизода, что показывает, как контроль со стороны агента увеличивает задержку.

NVIDIA сообщает, что Nexuni тестирует GR00T 2 для работы с бельем, Foxconn применяет его для автоматизации производства серверов, а Siemens оценивает сценарии промышленного применения. В опубликованной информации говорится о тестировании и оценке; о внедрении в производство не объявлялось.

В заключении белой книги надежность связывается с предварительным обучением, обеспечивающим широту охвата, с корректирующими демонстрациями и обучением с подкреплением, обеспечивающими точность, а также с агентами, отвечающими за память, проверку и восстановление. Поэтому для промышленных пользователей важен весь рабочий процесс с использованием GR00T 2 и объем контроля, необходимый для каждой задачи. Главная нерешенная задача внедрения — сохранить заявленный уровень надежности и одновременно сократить описанные в собственных результатах NVIDIA объем адаптации для каждой задачи и время ожидания агента.