Ai2 випустила ToyBlocks, щоб перевірити, як роботи навчаються та зазнають невдач

Ai2 випустила ToyBlocks 6 листопада 2026 року як перше середовище у своїй системі FoundationWorlds. Воно поєднує відкриту симуляцію роботів зі згенерованими демонстраціями, двома навченими моделями та інструментами оцінювання. Систему створено для того, щоб експерименти з навчання роботів можна було відтворювати, а причини невдач — легше з’ясовувати.

У цьому середовищі змодельований маніпулятор і блоки з позначками розміщено на стільниці. До завдань із штовхання, перевертання та складання додано пошук, сортування й упорядкування: потрібна літера або зображення на блоці можуть бути приховані, тож робот має повернути його, перш ніж вирішити, куди поставити. Зміна розміру блоків, висоти стола та інших властивостей у різних сценах дає змогу перевірити, чи здатні політики працювати зі змінною геометрією.

Обмежена предметна область дає Ai2 змогу одночасно зосередитися на чотирьох властивостях: правдоподібній фізиці й візуалізації, масштабованому генеруванні завдань і демонстрацій, проблемах, що вимагають як міркування, так і спритності, та охопленні завдань, які підтримує ця предметна область.

Автоматизовані демонстрації та відкриті моделі

Навчання з підкріпленням і планування руху дають змогу створювати навички для коротких завдань у середовищі Isaac Lab від Nvidia. Під час генерування навичок можна використовувати привілейований стан симулятора, зокрема точне розташування й орієнтацію блоків, замість оцінок за зображеннями з камер. Це автоматизує поведінку, для відтворення якої на фізичному роботі інакше знадобилося б дистанційне керування. Потім планувальник завдань і руху вибирає навички та визначає їхню послідовність, щоб створювати анотовані демонстрації. За даними Ai2, сотні планів можуть виконуватися паралельно на одному GPU зі швидкістю, що сягає 24-кратної швидкості реального часу.

Дослідники можуть надавати більшої ваги окремим навичкам у підсумкових навчальних вибірках і оцінювати політики на завданнях, які не входили до навчання. Завдяки цьому генератор даних стає інструментом контролю експерименту, а не просто джерелом більших наборів даних.

Цілі задають як специфікації планування PDDL у репозиторії ToyBlocks, що дає змогу системі оцінювання вимірювати завершення завдання та проміжний прогрес без спеціально розроблених метрик для кожного завдання. Демонстрації зберігаються у форматі LeRobot. На будь-якому з рівнів ієрархічну політику можна замінити оракулом, який надає правильний план або дію, щоб відокремити хибні рішення від помилок у виконанні рухів. Стани після невдалих спроб також можна повертати до процесу генерування даних, щоб створювати нові демонстрації та сценарії відновлення.

За даними Ai2, початковий випуск містить 85 336 довготривалих демонстрацій, кожна з яких, залежно від набору, охоплює приблизно 6–12 демонстрацій окремих навичок. Загалом це майже 1 600 годин роботи робота та 144 мільйони кадрів. Загальнодоступний набір даних містить дані LeRobot у форматі Parquet, поширювані за ліцензією ODC-BY, і охоплює підмножини низького, середнього та високого рівнів складності. Основний код поширюється за ліцензією Apache-2.0; для зазначених підмодулів і завантажених ресурсів діють власні ліцензії.

У картках моделей Ai2 описано два рівні випущеної політики: Molmo2-4B-tb — модель приблизно з 4,5 мільярдами параметрів, яка отримує зображення з фронтальної камери й текстовий опис цілі та генерує короткий план, наступну дію й цільову точку; ManiFlow-tb, що має 322,5 мільйона параметрів, використовує зображення з фронтальної камери й камери на захваті, стан робота, інформацію про завдання та теплову карту цілі для генерування послідовностей дій.

Узагальнення та експерименти з агентами

Просторові експерименти охоплюють завдання «Скласти», «Розкласти», «Перевернути» й «Повернути» та дають змогу відрізнити інтерполяцію в межах навчального діапазону від екстраполяції за його межі. Серед прикладів — навчання на блоках в одній частині робочої зони з подальшим тестуванням в іншій або вилучення з навчання певної висоти стосів. За даними Ai2, початкове узагальнення в ManiFlow, π0.5 і MolmoAct 2 було слабким, попри масштабне попереднє навчання. Компанія доходить висновку, що здатність моделей дій до узагальнення ще далека від розв’язання.

Агентні випробування виявили іншу слабкість. За даними Ai2, її система на базі Claude Opus 5.5 розв’язала всі 30 класичних завдань зі складання блоків за текстовими описами, а також усі 30 завдань, коли вибирала дії в замкненому циклі, послідовно отримуючи зображення з камер. У сценах пошуку й складання слів, що містили до восьми блоків, у 50% випадків не було потрібної літери, і систему потрібно було змусити визначити, що завдання неможливо виконати. Агент розв’язав завдання або правильно визначив його нездійсненність у 63% випадків; плутання схожих літер становило 13%, а неправильна орієнтація літер — 15%.

У третьому експерименті з агентом системі дозволили перевіряти несподівану поведінку навичок і на основі результатів створювати нові описи навичок. За даними Ai2, ці описи, сформовані під час навчання, підвищили успішність із 24% за стандартних описів до 63%, перевершивши показник у 36%, досягнутий з описами, написаними людиною-експертом.

Випробування на фізичному роботі та їхні обмеження

Для фізичного оцінювання моделі, навчені виключно на даних симуляції ToyBlocks і без прикладів із реального світу, запускали на маніпуляторі Franka FR3 із захватом Robotiq. У 30 конфігураціях сцен було від 4 до 10 блоків, які модель бачила під час навчання. Епізод вважався успішним лише тоді, коли відповідні блоки досягали цільових поз без зіткнень; втручання оператора через небезпечний рух зараховувалося як невдача.

Щоб зменшити розрив між симуляцією та реальністю, Ai2 налаштувала тертя в шарнірах і інерційність маніпулятора в симуляції за реальними траєкторіями. Під час генерування даних рандомізували розмір об’єктів, тертя й висоту стола, а також освітлення, тло, матеріали та параметри камер.

Ai2 повідомляє, що показник успішності окремих навичок ManiFlow становить 80,0% у симуляції та 81,1% на фізичному маніпуляторі. Ієрархічна система Molmo 2–ManiFlow досягла успіху в 55,5% симульованих епізодів (111 із 200) і в 50,0% фізичних епізодів (15 із 30).

Ai2 застерігає щодо цих результатів у двох аспектах. Під час оцінювання ієрархічної системи на фізичному маніпуляторі використовували найпростішу конфігурацію симуляції: символи на блоках були видимі, а самі блоки стояли вертикально. Щоб підтвердити статистичну достовірність результатів для різних завдань, потрібні додаткові випробування. У картці ManiFlow також наведено показники успішності від 54% до 59% у чотирьох запусках тих самих 128 симульованих епізодів, оскільки симуляція та пакетний інференс не є детермінованими на рівні бітів.

Ai2 планує другий реліз із більшим набором даних, більшою кількістю навичок і ширшим бенчмаркінгом, а також із повністю інтегрованим навчанням із підкріпленням, якого немає в поточному пакеті. До довгострокових напрямів належать маніпуляції двома руками, спритні кисті з датчиками сили й дотику, а також взаємодія з безладно розкиданими купами блоків.

Тож безпосередній внесок ToyBlocks полягає в забезпеченні контролю над експериментами: дослідники можуть змінювати склад навчальних сумішей, відокремлювати планування від виконання та повертати інформацію про невдачі до процесу генерування даних. Початкові результати також окреслюють обмеження системи: слабке узагальнення в симуляції та обмежене оцінювання на фізичному маніпуляторі не дають переоцінювати висновки, які можна зробити з цих ранніх показників перенесення щодо навчання роботів за межами світу блоків.