FLEX навчає роботів узагальнювати на основі людських виправлень

Дослідники з MIT і Нью-Йоркського університету розробили FLEX — систему, яка використовує виправлення, сформульовані в розмові, щоб коригувати характеристики середовища, що визначають рухи робота. MIT повідомив про цю розробку 9 листопада 2026 року, напередодні її презентації на конференції Conference on Robot Learning у листопаді 2026 року.

FLEX розв’язує одну з проблем робототехніки, керованої мовними інструкціями: якщо сказати роботу, який несе каву, не розлити її на ноутбук, система може додати цей предмет до переліку перешкод, але не зрозуміти, чому він важливий. Натомість система виводить ширше правило — уникати електроніки, — тож змодельована роботизована рука оминає і ноутбук, і телефон поруч, без окремої вказівки щодо телефону.

Коригування того, що відстежує робот

У статті FLEX розшифровується як Flexible Feature Editing Pipeline. Система відокремлює визначення характеристик від оптимізації винагороди: мовні виправлення вказують, які вимірювані властивості сцени мають значення, а демонстрації визначають, наскільки сильно ці властивості повинні впливати на траєкторію. Такий поділ допомагає працювати з представленнями, у яких бракує потрібних характеристик, які надмірно деталізовані й містять нерелевантні характеристики або узагальнені на невідповідному рівні.

Кожне виправлення проходить три етапи: ADD, GENERALIZE і MASK. ADD перевіряє, чи пояснюють виправлення вже наявні характеристики; якщо ні, мовна модель пропонує відсутню характеристику й генерує код для її обчислення. GENERALIZE замінює надто конкретну характеристику на таку, що відповідає визначеному наміру. У наведеному MIT прикладі з кулею для боулінгу обмеження, прив’язане до горнятка, перетворюється на вимогу уникати крихких предметів. MASK вилучає характеристики, які більше не є актуальними.

Якщо запускати MASK останнім, рішення про актуальність ухвалюються вже після узагальнення характеристик. В експериментах використовували GPT-4o, а за даними MIT, повна взаємодія з трьох етапів триває близько п’яти секунд.

Андреа Бобу, яка керувала дослідженням і очолює Collaborative Learning and Autonomy Research Lab при MIT, пояснила, як ця розробка може стати в пригоді в побуті: «У кожного свій дім і свої пріоритети, тож жоден робот не може відразу знати, що важливо саме для вас. Мене захоплює у FLEX те, що він може зрозуміти це з одного-двох речень, замість того щоб просити вас розписати кожне правило. Саме це відрізняє робота, якого люди просто терплять, від того, якого справді хочуть бачити у своєму домі».

Результати симуляцій і оцінки учасників

Дослідники тестували FLEX на навігаційних сітках розміром 9 × 9 і в симуляціях настільних завдань із сімома ступенями свободи для робота Franka. Завдання стосувалися кави, запаленої свічки та кулі для боулінгу. Для сценаріїв із роботизованою рукою використовували послідовності виправлень із п’яти етапів; між етапами розташування предметів змінювали, щоб раніше корисна характеристика могла втратити актуальність або виявилася прихована невідповідність.

У порівнянні брали участь ALGAE, що використовує лише ADD, Mask-From-Exhaustive (MFE), що використовує лише MASK, а також базовий метод без додаткової структури, у якому мовну модель одним запитом просять повністю оновити набір характеристик. Нормалізована метрика винагороди присвоює 1 оптимальній поведінці, а 0 — траєкторії з найгіршим результатом.

У статті повідомляється, що FLEX досяг найвищої середньої нормалізованої винагороди в усіх семи навігаційних сценаріях. У сценарії, де були потрібні всі три операції, середній показник FLEX становив 0,99, порівняно з 0,69 для ALGAE, 0,83 для MFE і 0,78 для базового методу без додаткової структури.

За повідомленням авторів, у послідовних симуляціях із роботизованою рукою FLEX зазвичай засвоював цільову винагороду після одного-двох виправлень і зберігав ефективність на попередніх і наступних конфігураціях. Методи, з якими його порівнювали, потребували більше виправлень, а їхні результати погіршувалися в міру накопичення нерелевантних характеристик або надмірного припасування представлень до окремих етапів.

В окремому дослідженні за участю 12 людей кожен учасник вводив текстові виправлення в трьох блоках по п’ять етапів, використовуючи FLEX, ALGAE та MFE. За даними дослідників, FLEX отримав найвищу середню оцінку за всіма п’ятьма вимірами анкети. За розуміння намірів за семибальною шкалою середні оцінки становили 6,3 для FLEX, 5,0 для ALGAE і 4,5 для MFE. Відмінності між FLEX і кожним із двох базових методів були статистично значущими після коригування на множинні порівняння. Відмінності в простоті використання та здатності до співпраці не були статистично значущими.

Обмеження доказів і стан розробки

У дослідженні за участю людей не тестували робота на фізичному пристрої в замкненому циклі. Учасники переглядали змодельовані траєкторії, оскільки деякі базові методи спричиняли хаотичні рухи руки. Окремо команда поєднала їхні виправлення з демонстраціями експертів, зібраними на фізичному роботі Franka, для офлайн-навчання. Автори описують ці випробування на апаратному забезпеченні як перевірку здійсненності, що доповнює дослідження на симуляціях.

Наразі FLEX обмежується квазістатичними маніпуляціями з твердими предметами, властивості яких мають значення і можуть бути описані мовою; для динамічних завдань і деформівних предметів можуть знадобитися додаткові модальності. За словами авторів, здоровий глузд мовної моделі дає змогу враховувати поширені вподобання, але може не спрацьовувати для особистих або неінтуїтивних уподобань. Прохання триматися від ноутбука ще далі також виражає ступінь переваги, якого поточне формулювання не враховує.

На сторінці проєкту авторів досі зазначено, що робота триває, а код і набір даних незабаром стануть доступними.

Для побутових роботів і роботів-асистентів менша кількість корекцій корисна лише тоді, коли виведене вподобання відповідає тому, що насправді важливо для користувача. Центральне відкрите питання полягає в тому, чи здатні узагальнення мовних моделей так само послідовно враховувати індивідуальні вподобання під час роботи фізичних роботів із замкненим контуром керування.