Исследователи Массачусетского технологического института объединяют данные о движении роботов с языковыми моделями для улучшения выполнения задач

Бытовых роботов все чаще учат выполнять сложные задачи посредством имитационного обучения — процесса, в котором их программируют копировать движения, демонстрируемые человеком. Хотя роботы зарекомендовали себя как отличные имитаторы, им часто сложно приспособиться к сбоям или неожиданным ситуациям, возникающим во время выполнения задач. Без явного программирования для обработки этих отклонений роботы вынуждены начинать задачу с нуля. Чтобы решить эту проблему, инженеры MIT разрабатывают новый подход Целью проекта является дать роботам чувство здравого смысла при столкновении с неожиданными ситуациями, позволяя им адаптироваться и продолжать выполнять свои задачи, не требуя ручного вмешательства.

Новый подход

Исследователи Массачусетского технологического института разработали метод, который объединяет данные о движении робота с «здравым смыслом» большие языковые модели (LLM). Соединив эти два элемента, этот подход позволяет роботам логически разбирать данную домашнюю задачу на подзадачи и физически приспосабливаться к сбоям в рамках каждой подзадачи. Это позволяет роботу двигаться дальше без необходимости перезапускать всю задачу с самого начала, а также устраняет необходимость для инженеров явно программировать исправления для каждого возможного сбоя на этом пути.

Как объясняет аспирант Янвэй Ван с факультета электротехники и информатики (EECS) Массачусетского технологического института: «Благодаря нашему методу робот может самостоятельно исправлять ошибки выполнения и повышать общий успех задачи».

Чтобы продемонстрировать свой новый подход, исследователи использовали простую работу: вычерпывали шарики из одной миски и пересыпали их в другую. Традиционно инженеры перемещали робота, черпая и заливая жидкость по одной траектории, часто демонстрируя роботу несколько человеческих демонстраций. Однако, как отмечает Ван, «человеческая демонстрация — это одна длинная, непрерывная траектория». Команда поняла, что, хотя человек может продемонстрировать одну задачу за один раз, задача зависит от последовательности подзадач. Например, робот должен сначала залезть в миску, прежде чем он сможет зачерпнуть ее, и он должен зачерпнуть шарики, прежде чем перейти к пустой миске.

Если робот совершает ошибку во время любой из этих подзадач, его единственный выход — остановиться и начать с начала, если только инженеры явно не маркируют каждую подзадачу и программу или не собирают новые демонстрации, чтобы робот мог восстановиться после сбоя. Ван подчеркивает, что «такой уровень планирования очень утомителен». Именно здесь в игру вступает новый подход исследователей. Используя возможности LLM, робот может автоматически идентифицировать подзадачи, включенные в общую задачу, и определять потенциальные действия по восстановлению в случае сбоев. Это избавляет инженеров от необходимости вручную программировать робота для обработки всех возможных сценариев сбоя, что делает робота более адаптируемым и эффективным при выполнении домашних задач.

Роль больших языковых моделей

LLM играют решающую роль в новом подходе исследователей MIT. Эти модели глубокого обучения обрабатывают обширные библиотеки текста, устанавливая связи между словами, предложениями и абзацами. Благодаря этим связям LLM может генерировать новые предложения на основе изученных шаблонов, по сути, понимая, какое слово или фраза, скорее всего, последует за последними.

Исследователи поняли, что эту способность LLM можно использовать для автоматического определения подзадач в рамках более крупной задачи и потенциальных действий по восстановлению в случае сбоев. Объединив «здравый смысл» LLM с данными о движении роботов, новый подход позволяет роботам логически разбирать задачу на подзадачи и адаптироваться к неожиданным ситуациям. Эта интеграция LLM и робототехники может революционизировать способы программирования и обучения домашних роботов, делая их более адаптируемыми и способными решать реальные задачи.

Поскольку область робототехники продолжает развиваться, внедрение технологий искусственного интеллекта, таких как LLM, будет становиться все более важным. Подход исследователей из Массачусетского технологического института является важным шагом на пути к созданию домашних роботов, которые могут не только имитировать действия человека, но и понимать основную логику и структуру задач, которые они выполняют. Это понимание станет ключом к разработке роботов, которые смогут работать автономно и эффективно в сложных реальных условиях.

На пути к более разумному и адаптируемому будущему домашних роботов

Позволяя роботам самостоятельно исправлять ошибки выполнения и повышать общий успех задач, этот метод решает одну из основных проблем программирования роботов: адаптируемость к реальным ситуациям.

Значение этого исследования выходит далеко за рамки простой задачи по сбору шариков. Поскольку бытовые роботы станут более распространенными, они должны будут быть способны выполнять широкий спектр задач в динамичных, неструктурированных средах. Способность разбивать задачи на подзадачи, понимать основную логику и адаптироваться к сбоям будет иметь важное значение для эффективной и результативной работы этих роботов.

Кроме того, интеграция LLM и робототехники демонстрирует потенциал технологий искусственного интеллекта, способных революционизировать способы программирования и обучения роботов. Поскольку эти технологии продолжают развиваться, мы можем ожидать появления более умных, адаптируемых и автономных роботов в наших домах и на рабочих местах.

Работа исследователей Массачусетского технологического института является важным шагом на пути к созданию домашних роботов, которые смогут по-настоящему понимать и ориентироваться в сложностях реального мира. Поскольку этот подход совершенствуется и применяется к более широкому кругу задач, он может изменить наш образ жизни и работы, сделав нашу жизнь проще и эффективнее.