FLEX учит роботов обобщать на основе исправлений, полученных от людей

Исследователи из MIT и Нью-Йоркского университета разработали FLEX — систему, которая использует разговорные исправления, чтобы корректировать характеристики окружающей среды, на которые робот ориентируется при движении. MIT сообщила об этой работе 9 ноября 2026 года, перед презентацией на конференции по обучению роботов в ноябре 2026 года.

FLEX решает одну из проблем робототехники, управляемой с помощью языка: если попросить робота, несущего кофе, не пролить его на ноутбук, тот может добавить ноутбук в список препятствий, но не понять, почему он важен. Система делает вывод о более общем предпочтении избегать электроники, поэтому симулируемая роботизированная рука меняет траекторию, чтобы обойти и ноутбук, и лежащий рядом телефон, — без отдельной инструкции насчёт телефона.

Корректировка того, что отслеживает робот

В статье FLEX расшифровывается как Flexible Feature Editing Pipeline («конвейер редактирования признаков»). Система отделяет задание признаков от оптимизации вознаграждения: языковые исправления помогают определить, какие измеримые свойства сцены важны, а демонстрации показывают, насколько сильно эти свойства должны влиять на траекторию. Такой подход позволяет исправлять представления, в которых не хватает нужных признаков, присутствует избыток несущественных признаков или выбран неверный уровень абстракции.

Каждое исправление проходит три этапа: ADD, GENERALIZE и MASK. На этапе ADD проверяется, объясняют ли исправление уже имеющиеся признаки; если нет, языковая модель предлагает недостающий признак и генерирует код для его вычисления. На этапе GENERALIZE чрезмерно специфичный признак заменяется признаком, связанным с предполагаемым намерением. В примере MIT с шаром для боулинга ограничение, относившееся только к кружкам, превращается в требование избегать хрупких предметов. На этапе MASK удаляются признаки, утратившие актуальность.

Если запускать MASK последним, актуальность оценивается для признаков уже после обобщения. В экспериментах использовалась GPT-4o; по данным MIT, весь трёхэтапный процесс занимает около пяти секунд.

Андреа Бобу, руководившая исследованием и возглавляющая лабораторию MIT по совместному обучению и автономии, объяснила, как эта разработка может применяться в быту: «У всех разные дома, и каждому важно что-то своё, поэтому робот из коробки не знает, что важно именно вам. Меня в FLEX особенно воодушевляет то, что он может понять это из одного-двух предложений, а не заставлять вас перечислять каждое правило. Именно это отличает робота, которого люди просто терпят, от того, которого действительно хотят видеть у себя дома».

Результаты симуляций и оценки участников

Исследователи проверили FLEX на навигационных сетках размером 9 на 9 и в симуляциях настольных задач с семью степенями свободы для робота Franka. В них фигурировали кофе, зажжённая свеча и шар для боулинга. Сценарии с роботизированной рукой включали последовательности исправлений из пяти этапов; между этапами менялось расположение предметов, из-за чего ранее полезный признак мог утратить актуальность или могло выявиться скрытое несоответствие.

В сравнении участвовали ALGAE, использующий только ADD, Mask-From-Exhaustive (MFE), использующий только MASK, и базовый метод без пошаговой структуры: в нём языковую модель просят одним запросом полностью обновить набор признаков. Нормализованная метрика вознаграждения присваивает оптимальному поведению значение 1, а наихудшей траектории — 0.

В статье сообщается, что FLEX обеспечил наивысшее среднее нормализованное вознаграждение во всех семи сценариях навигации. В сценарии, требовавшем применения всех трёх операций, среднее значение для FLEX составило 0,99 против 0,69 для ALGAE, 0,83 для MFE и 0,78 для базового метода без пошаговой структуры.

По данным авторов, в последовательных симуляциях работы с рукой FLEX обычно обучался целевому вознаграждению после одного-двух исправлений и сохранял эффективность при ранее встречавшихся и последующих конфигурациях. Сравниваемым методам требовалось больше исправлений, а их результаты ухудшались по мере накопления несущественных признаков или чрезмерной подгонки представлений под отдельные этапы.

В отдельном очном исследовании участвовали 12 человек. Каждый вводил текстовые исправления в рамках трёх блоков по пять этапов, работая с FLEX, ALGAE и MFE. По данным исследователей, FLEX получил наивысшую среднюю оценку по всем пяти параметрам анкеты. По шкале из семи баллов, измерявшей понимание намерений, средние оценки составили 6,3 для FLEX, 5,0 для ALGAE и 4,5 для MFE. После поправки на множественные сравнения различия между FLEX и обоими базовыми методами были статистически значимыми. Различия по удобству использования и уровню взаимодействия статистически значимыми не были.

Ограничения доказательной базы и этап разработки

В исследовании с участием людей не проводились испытания с замкнутым контуром управления на физическом роботе. Участники наблюдали за симулированными траекториями, поскольку некоторые базовые методы приводили к хаотичным движениям руки; отдельно команда использовала их исправления вместе с демонстрациями экспертов, собранными на физическом роботе Franka, для обучения в автономном режиме. Авторы описывают эту работу с аппаратной частью как проверку осуществимости, дополняющую исследование на симуляциях.

Сейчас FLEX предназначен только для квазистатических манипуляций с твёрдыми предметами, значимые свойства которых можно описать словами; для динамических задач и деформируемых объектов могут потребоваться дополнительные модальности. По словам авторов, здравый смысл языковых моделей помогает учитывать широко распространённые предпочтения, но может не справляться с личными или контринтуитивными. Просьба держаться от ноутбука ещё дальше тоже выражает степень предпочтения, которую текущая версия системы не учитывает.

На странице проекта авторов по-прежнему указано, что работа над ним продолжается; публикация кода и набора данных ожидается в будущем.

Для бытовых и вспомогательных роботов меньшее число поправок полезно лишь в том случае, если выявленное предпочтение соответствует тому, что действительно важно пользователю. Главный открытый вопрос — способны ли обобщения языковых моделей с той же стабильностью учитывать индивидуальные предпочтения при работе физических роботов в замкнутом цикле.