AGIBOT випускає набір даних із фізичного міркування, щоб навчати роботів визначати, що робити далі

Робот може бездоганно взяти пляшку й однаково не впоратися з поповненням запасів мінібару. Він може залишити порожню пляшку, додати забагато нових або повторити дію, яку вже виконав. Бракує вміння оцінити ситуацію та визначити, що потрібно зробити, перш ніж обрати наступний рух.

AGIBOT прагне заповнити цю прогалину за допомогою набору даних із фізичного міркування, про який 22 жовтня оголосили як про четвертий випуск AGIBOT WORLD 2026. У цьому випуску пов’язано цілі завдань, зміни умов сцени, історію виконання та реальні дії робота. Основна ідея — зібрати різні способи досягнення тієї самої мети, надавши дослідникам матеріал для навчання роботів адаптувати свої рішення в міру виконання завдання.

Одна мета — кілька правильних послідовностей дій

У випуску 4 акцент у проєктуванні завдань зміщується зі складних рухів на складні рішення. Замість того щоб збирати лише демонстрації фіксованої послідовності, AGIBOT варіює кількість предметів, перешкоди, доступний простір і перебіг завдання. Через такі зміни дія, яка раніше була правильною, може стати недоречною, навіть якщо запит користувача не змінився.

Розгляньмо приклад із мінібаром. Щоб мати три повні пляшки, потрібно визначити, які пляшки порожні, порахувати вже наявні повні та вирішити, що прибрати й чим поповнити запаси. Успішно схопити предмет — лише частина завдання. Роботу також потрібне уявлення про бажаний кінцевий стан і спосіб порівняти його з поточним.

В іншому сценарії потрібно дістати ключ, що лежить за коробкою. Якщо місця достатньо, його можна схопити безпосередньо. Якщо коробка перекриває доступ, спершу потрібно пересунути її. Пошук у шухлядах додає проблему пам’яті: самого зображення з камери недостатньо, щоб система могла визначити, які шухляди вона вже перевірила.

Ці приклади демонструють практичну проблему фізичного ШІ. Політика, що імітує видимі рухи експерта, усе одно може призвести до неправильного рішення, якщо системі бракує контексту, завдяки якому ці рухи були доречними. Варіюючи умови навколо спільної мети, набір даних має надати ці залежності для навчання.

Дев’ять здібностей до міркування зі зростанням складності

AGIBOT структурує цей випуск навколо дев’яти здібностей: вибирати предмети за атрибутами, робити вибір з огляду на контекст, оцінювати здійсненність маніпуляції, міркувати про необхідні передумови дії, шукати шлях до мети, відстежувати стани й кількість предметів, планувати довші послідовності, зберігати інформацію в пам’яті та визначати порядок підзавдань.

У повсякденній роботі ці здібності перетинаються. Поповнення запасів вимагає розпізнавання, підрахунку та відстеження перебігу завдання. Пошук предмета поєднує стратегію пошуку з фіксацією попередніх спроб. Для тривалішого завдання з прибирання може знадобитися послідовно ухвалити кілька таких рішень, причому кожна дія змінює умови для наступної.

Завдання в наборі даних розподілено на рівні Easy, Medium і Hard. Окремі рішення щодо вибору предмета належать до найпростішого рівня; обмеження за кількістю та передумови ускладнюють завдання; у довших завданнях поєднуються кілька цілей, пам’ять і вимоги, залежні від контексту. Така структура дає дослідникам змогу вивчати окремі навички, перш ніж перевіряти, наскільки добре вони працюють разом.

Також анотовано результати виконання, зокрема вибір предмета, його розміщення та те, чи вдалося досягти потрібної кількості. Випуск містить як успішні, так і помилкові приклади, що дає змогу досліджувати, як розпізнавати відхилення та коригувати подальші рішення.

Від інструкцій до фізичних дій

Технічний внесок полягає в тому, як анотації пов’язують різні рівні завдання. Інструкція високого рівня визначає загальну мету. Фрейми завдань, сегменти підзавдань і кроки дій описують його структуру та перебіг. Дослідники можуть використовувати ці зв’язки, щоб вивчати, яка підціль наразі активна та що має відбутися далі.

На рівні рухів анотації AGIBOT Dense Prompt визначають цільовий об’єкт, зону маніпуляції, ролі обох рук, рух, стан захвата та очікуваний результат. Рамки, точки й лінії траєкторій пов’язують мову з місцями та шляхами руху. Завдяки цьому система навчання отримує чіткіші вказівки щодо того, до чого саме стосується інструкція і як відображається її виконання.

Компанія також описує успішні й адверсарні сегменти, призначені для розрізнення цільових об’єктів і відволікальних предметів, а також для перевірки результатів. Тут адверсарні приклади стосуються інтерпретації завдання та його виконання. Вони допомагають поставити такі запитання: чи вибрав робот правильний предмет і чи справді він виконав потрібний крок.

Ці анотації мають разом сприяти навчанню, що поєднує модель ухвалення рішень із політикою дій. Модель вибирає підціль, політика виконує маніпуляцію, а отриманий стан стає основою для наступного рішення. Такий зворотний зв’язок важливий щоразу, коли роботу потрібно виправити невдалу спробу або відреагувати на зміну сцени.

Як цей випуск вписується в робототехнічну платформу AGIBOT

У ширшому репозиторії AGIBOT WORLD 2026 описано дані, зібрані в реальних умовах на платформі G2 компанії. Документований формат відповідає домовленостям LeRobot і містить дані епізодів, метадані та окремі відеопотоки з камер, установлених на голові й зап’ястях. Це корисний контекст для розробників, які пов’язують візуальні спостереження із записаною поведінкою робота.

На сторінці продукту G2 AGIBOT позиціонує апаратну платформу як рішення для втіленого інтелекту й маніпуляцій із силовим керуванням, а також для інтерактивних можливостей. Реліз 4 охоплює рівень ухвалення рішень і пам’яті завдань, що доповнює ці фізичні можливості. Він також розвиває інфраструктуру даних, про яку йшлося в попередньому матеріалі Unite.AI про робототехнічну платформу AGIBOT.

У репозиторії зазначено ліцензію Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Умова некомерційного використання має важливе значення для розробників, які розглядають можливість застосувати оприлюднені дані у своєму продукті.

Що може змінити фізичне міркування

У сфері гостинності, побутових послуг і роздрібної торгівлі привабливою є можливість робота досягати результату за мінливих умов. Щоб привести стіл до ладу або поповнити полиці, потрібно перевірити, що вже є на місці, пам’ятати про виконану роботу й розуміти, коли подальші дії не потрібні. Такі судження стають дедалі важливішими, коли роботи переходять від окремих демонстрацій до виконання повних робочих процесів.

Реліз 4 надає навчальні матеріали для цього напряму. Сам по собі він не доводить, що певна модель може надійно виконувати такі робочі процеси в незнайомих середовищах. За словами AGIBOT, ці дані вже допомогли розробити її майбутню агентну платформу та базову модель наступного покоління; результати роботи цих систем — окреме питання.

Корисна зміна полягає в переході до навчання роботів взаємозв’язку між метою, поточною ситуацією та наслідками попередніх дій. Дослідники можуть вивчати цей підхід у межах проєкту AGIBOT WORLD та за допомогою пов’язаних із ним ресурсів набору даних.