Ai2 выпускает ToyBlocks, чтобы проверить, как роботы учатся и терпят неудачи

Ai2 выпустила ToyBlocks 6 ноября 2026 года как первую среду в рамках своей системы FoundationWorlds. В ней открытая симуляция роботов сочетается с автоматически созданными демонстрациями, двумя обученными моделями и инструментами оценки. Система призвана сделать эксперименты по обучению роботов воспроизводимыми, а причины неудач — более понятными.

В этой среде симулированная роботизированная рука и кубики с нанесёнными на них обозначениями размещены на столе. Помимо толкания, переворачивания и складывания в стопки, роботу предстоит искать, сортировать и раскладывать кубики: нужная буква или картинка может быть скрыта, поэтому робот должен повернуть кубик, прежде чем решить, куда его поставить. Изменение размера кубиков, высоты стола и других параметров в разных сценах позволяет проверить, справляются ли политики с меняющейся геометрией.

Ограниченная предметная область позволяет Ai2 одновременно добиваться четырёх целей: правдоподобной физики и визуальной среды, масштабируемой генерации задач и демонстраций, решения задач, требующих не только ловкости, но и рассуждений, а также охвата всех задач, поддерживаемых этой предметной областью.

Автоматизированные демонстрации и открытые модели

Обучение с подкреплением и планирование движений позволяют создавать навыки для коротких задач в Isaac Lab от Nvidia. При генерации навыков можно использовать привилегированное состояние симулятора, включая точное положение и ориентацию кубиков, вместо оценок по изображениям с камер. Это позволяет автоматически создавать модели поведения, для получения которых иначе потребовалось бы телеуправление физическим роботом. Затем планировщик задач и движений выбирает навыки и выстраивает их последовательность, создавая размеченные демонстрации. По данным Ai2, на одном графическом процессоре одновременно могут выполняться сотни планов со скоростью до 24 раз выше реального времени.

Исследователи могут задавать в обучающих наборах разные веса для определённых навыков и оценивать политики на задачах, исключённых из обучения. Благодаря этому генератор данных становится инструментом экспериментального контроля, а не просто источником более крупных наборов данных.

Цели записываются в виде спецификаций планирования PDDL в репозитории ToyBlocks, что позволяет системе оценки измерять выполнение задачи и промежуточный прогресс без разработки специальных метрик для каждой задачи. Демонстрации хранятся в формате LeRobot. В иерархической политике любой из уровней можно заменить оракулом, который предлагает правильный план или действие. Это позволяет отличать ошибочные решения от сбоев моторного исполнения. Состояния после неудачных попыток также можно возвращать в процесс генерации данных, чтобы создавать новые демонстрации и примеры восстановления.

По данным Ai2, первоначальный выпуск включает 85 336 демонстраций длинных последовательностей действий. Каждая содержит примерно от 6 до 12 демонстраций навыков — в зависимости от набора — и в совокупности они охватывают почти 1 600 часов работы робота и 144 миллиона кадров. В общедоступном наборе данных используются данные LeRobot в формате Parquet, распространяемые по лицензии ODC-BY; предусмотрены подмножества для лёгкого, среднего и сложного уровней. Основной код распространяется по лицензии Apache-2.0, а для указанных подмодулей и загруженных ресурсов действуют собственные лицензии.

В карточках моделей Ai2 выпущенная политика разделена на два уровня: Molmo2-4B-tb — модель примерно с 4,5 миллиарда параметров — получает изображение с фронтальной камеры и текстовое описание цели, а затем выдаёт краткий план, следующее действие и целевую точку; ManiFlow-tb с 322,5 миллиона параметров использует изображения с фронтальной камеры и камеры на захвате, состояние робота, сведения о задаче и тепловую карту целевой области для формирования последовательностей действий.

Обобщение и эксперименты с агентами

В пространственных экспериментах проверяются укладывание в стопку, разбор стопки, переворачивание и вращение; при этом отдельно оценивается интерполяция в пределах диапазона обучения и экстраполяция за его границы. Например, при обучении кубики размещают в одной части рабочей зоны, а при тестировании — в другой, либо исключают из обучения определённые высоты стопок. По данным Ai2, на начальном этапе ManiFlow, π0.5 и MolmoAct 2 плохо обобщают знания, несмотря на предварительное обучение в больших масштабах. Компания заключает, что способность моделей действий к обобщению пока далека от решения.

Испытания с агентами выявили другую слабую сторону. По данным Ai2, система на основе Claude Opus 5.5 выполнила все 30 классических задач по складыванию кубиков в стопки, получив текстовые описания, а также все 30 задач, самостоятельно выбирая действия в замкнутом цикле по последовательным изображениям с камеры. В сценах поиска букв и составления слов, где было до восьми кубиков, в 50% случаев отсутствовала нужная буква, и агенту требовалось определить, что задача неразрешима. В 63% случаев агент выполнил задачу или верно определил её неразрешимость; в 13% случаев причиной ошибки стала путаница между похожими буквами, а в 15% — неправильная ориентация буквы.

В третьем эксперименте с агентом системе разрешили проверять неожиданное поведение навыков и на основе результатов создавать новые описания навыков. По данным Ai2, эти описания, созданные в ходе обучения, повысили успешность выполнения с 24% при использовании описаний по умолчанию до 63%. Это выше результата в 36%, достигнутого с описаниями, составленными экспертом-человеком.

Испытания на физическом роботе и их ограничения

Для оценки на физическом роботе модели, обученные исключительно на данных симуляции ToyBlocks и не использовавшие примеры из реального мира, запускали на руке Franka FR3 с захватом Robotiq. В 30 конфигурациях сцен было от 4 до 10 кубиков, встречавшихся при обучении. Эпизод считался успешным, только если нужные кубики достигали целевых поз без столкновений; вмешательство оператора из-за опасного движения считалось неудачей.

Чтобы сократить разрыв между симуляцией и реальностью, Ai2 настроила трение в симулированных суставах и инерцию приводов, ориентируясь на реальные траектории. При генерации данных случайным образом изменялись размер объектов, трение и высота стола, а также освещение, фон, материалы и параметры камеры.

Ai2 сообщает, что успешность выполнения отдельных элементарных навыков с помощью ManiFlow составляет 80,0% в симуляции и 81,1% на физическом манипуляторе. Иерархическая система Molmo 2–ManiFlow успешно справилась с задачей в 55,5% эпизодов симуляции (111 из 200) и в 50,0% эпизодов на физическом роботе (15 из 30).

Ai2 оговаривает, что эти результаты следует оценивать с учётом двух обстоятельств. При проверке иерархической системы на физическом роботе использовалась самая простая конфигурация симуляции: символы на блоках были видны и ориентированы вертикально. Чтобы подтвердить статистическую достоверность результатов для разных задач, нужны дополнительные испытания. В карточке ManiFlow также указана успешность от 54% до 59% в четырёх запусках одной и той же серии из 128 эпизодов симуляции, поскольку симуляция и пакетный вывод не являются побитово детерминированными.

Ai2 планирует выпустить вторую версию с более крупным набором данных, большим количеством навыков и более широким сравнительным тестированием, а также с полностью интегрированным обучением с подкреплением, которого нет в нынешнем пакете. В долгосрочной перспективе планируется исследовать манипуляции двумя руками, ловкие манипуляторы с датчиками силы и осязания, а также взаимодействие с неупорядоченными грудами блоков.

Таким образом, непосредственный вклад ToyBlocks — в возможности экспериментального контроля: исследователи могут менять состав обучающих выборок, разделять планирование и выполнение, а ошибки направлять обратно в процесс генерации данных. Первые результаты также обозначают ограничения системы: слабое обобщение в симуляции и узкий охват физических испытаний не позволяют делать далеко идущие выводы о том, чему ранние показатели переноса научения говорят о способности роботов обучаться за пределами мира блоков.