AGIBOT выпускает набор данных по физическому рассуждению, чтобы научить роботов понимать, что делать дальше

Робот может безупречно поднять бутылку и всё же не справиться с пополнением мини-бара. Он может оставить пустую бутылку, добавить слишком много новых или повторить уже выполненный шаг. Ему не хватает умения оценить ситуацию и понять, что требуется, прежде чем выбирать следующее движение.

AGIBOT намерена устранить этот пробел с помощью набора данных по физическому рассуждению, о выпуске которого было объявлено 22 октября как о релизе 4 проекта AGIBOT WORLD 2026. В наборе связаны цели задачи, меняющиеся условия сцены, история выполнения и реальные действия робота. В основе проекта — сбор разных способов достижения одной и той же цели, чтобы исследователи могли обучать роботов адаптировать свои решения по мере выполнения задачи.

Одна цель — несколько правильных последовательностей действий

В релизе 4 акцент при разработке задач смещён с трудных движений на сложные решения. Вместо того чтобы собирать только демонстрации фиксированной последовательности действий, AGIBOT варьирует количество объектов, наличие препятствий, доступное пространство и степень выполнения задачи. Из-за этих изменений действие, которое раньше было правильным, может оказаться неуместным, даже если просьба пользователя остаётся прежней.

Рассмотрим пример с мини-баром. Чтобы довести количество полных бутылок до трёх, нужно определить, какие бутылки пусты, посчитать уже имеющиеся полные бутылки и решить, что убрать и чем пополнить запас. Успешно схватить бутылку — лишь часть задачи. Роботу также нужно представить желаемое конечное состояние и сравнить его с текущим.

Другой сценарий — достать ключ, лежащий за коробкой. Если места достаточно, ключ можно схватить напрямую. Если коробка преграждает путь, сначала её нужно передвинуть. Поиск в ящиках добавляет задаче требование к памяти: одного изображения с камеры недостаточно, чтобы система поняла, какие ящики она уже проверила.

Эти примеры показывают практическую проблему физического ИИ. Алгоритм, имитирующий видимые движения эксперта, всё равно может принять неверное решение, если ему неизвестен контекст, который делал эти движения уместными. Меняя условия при сохранении общей цели, набор данных призван предоставить для обучения информацию об этих зависимостях.

Девять способностей к рассуждению — от простых к сложным

AGIBOT разделяет материал релиза на девять способностей: выбор объектов по атрибутам, выбор с учётом контекста, оценка выполнимости манипуляции, определение необходимых предварительных действий, поиск с учётом цели, отслеживание состояний и количества объектов, планирование длинных последовательностей, сохранение информации в памяти и упорядочивание подзадач.

В обычной работе эти способности пересекаются. Пополнение запасов требует распознавания, подсчёта и отслеживания хода выполнения. Поиск предмета сочетает стратегию поиска с учётом предыдущих попыток. Для более продолжительной задачи по уборке может потребоваться последовательно выполнить несколько таких оценок, причём каждое действие меняет условия для следующего.

Задачи в наборе данных разделены на три уровня сложности: лёгкий, средний и сложный. Простые задачи включают отдельные решения о выборе объектов; ограничения по количеству и необходимые предварительные действия повышают сложность; более продолжительные задачи объединяют несколько целей, работу с памятью и требования, зависящие от контекста. Такая структура позволяет исследователям изучать отдельные навыки, прежде чем проверять, насколько хорошо они работают вместе.

Результаты выполнения также размечены: в том числе указаны выбор объекта, его размещение и достижение требуемого количества. В релиз включены как успешные, так и ошибочные примеры, что помогает исследовать распознавание отклонений и корректировку последующих решений.

Как инструкции связываются с физическими действиями

Техническая ценность набора заключается в том, как разметка связывает разные уровни задачи. Инструкция высокого уровня задаёт общую цель. Кадры задачи, сегменты подзадач и этапы действий описывают её структуру и ход выполнения. Эти связи позволяют исследователям изучать, какая подцель актуальна и что должно произойти дальше.

На уровне движений разметка AGIBOT Dense Prompt указывает целевой объект, область манипуляции, функции обеих рук, движение, состояние захвата и ожидаемый результат. Ограничивающие рамки, точки и линии траектории связывают язык с местоположениями и путями движения. Благодаря этому система машинного обучения получает более точные указания о том, к чему относится инструкция и как представлено её выполнение.

Компания также описывает успешные и состязательные сегменты, позволяющие отличать целевые объекты от отвлекающих и проверять результаты. В данном случае состязательные примеры касаются интерпретации и выполнения задач. Они помогают ставить вопросы, например о том, выбрал ли робот нужный объект и действительно ли выполнил запрошенный шаг.

Предполагается, что в совокупности эти аннотации помогут обучать модели, связывающие принятие решений с политикой действий. Модель принятия решений выбирает подцель, политика выполняет манипуляцию, а получившееся состояние учитывается при следующем решении. Такая обратная связь важна, когда роботу нужно исправить последствия неудачной попытки или отреагировать на изменившуюся сцену.

Как этот релиз вписывается в робототехническую платформу AGIBOT

В более широком репозитории AGIBOT WORLD 2026 представлены данные из реальных условий, собранные на платформе G2 компании. Документированный формат соответствует соглашениям LeRobot и включает данные эпизодов, метаданные, а также отдельные видеопотоки с камер, установленных на голове и запястье. Это дает полезный контекст разработчикам, которые связывают визуальные наблюдения с записанным поведением робота.

На странице продукта G2 компания AGIBOT позиционирует аппаратную платформу как решение для воплощенного интеллекта и манипуляций с силовым управлением, а также для интерактивных задач. Релиз 4 посвящен уровню принятия решений и памяти задач, связанному с этими физическими возможностями. Он также расширяет инфраструктуру данных, о которой рассказывалось в более раннем материале Unite.AI о робототехнической платформе AGIBOT.

В репозитории указана лицензия Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Условие о некоммерческом использовании — важное различие для разработчиков, рассматривающих возможность применения опубликованных данных в продукте.

Что может изменить физическое рассуждение

В сфере гостеприимства, бытовых услуг и розничной торговли привлекательна возможность использовать робота, который способен добиваться нужного результата в меняющихся условиях. Чтобы привести стол в порядок или пополнить полку, нужно проверить, что уже на месте, помнить о выполненной работе и понимать, когда дальнейшие действия не нужны. Такие решения становятся все важнее по мере того, как роботы переходят от отдельных демонстраций к выполнению полноценных рабочих процессов.

Релиз 4 предоставляет обучающие материалы для развития этого направления. Сам по себе он не доказывает, что конкретная модель способна надежно выполнять такие рабочие процессы в незнакомых условиях. AGIBOT сообщает, что данные уже использовались при разработке будущего агентного фреймворка и фундаментальной модели следующего поколения; результаты работы этих систем — отдельный вопрос.

Главное изменение — переход к обучению роботов взаимосвязи между целью, текущей ситуацией и последствиями предыдущих действий. Исследователи могут изучать этот подход в рамках проекта AGIBOT WORLD и связанных с ним ресурсов наборов данных.