Человеческий язык ускоряет роботизированное обучение

Группа исследователей из Принстона обнаружила, что описания инструментов на человеческом языке могут ускорить изучение симулированной роботизированной руки, которая может поднимать и использовать различные инструменты.

Новое исследование поддерживает идею о том, что обучение ИИ может сделать автономных роботов более адаптивными в новых ситуациях, что, в свою очередь, повысит их эффективность и безопасность.

Путем добавления описаний формы и функций инструмента в процесс обучения робота способность робота манипулировать новыми инструментами была улучшена.

Метод ATLA для обучения

Новый метод называется Ускоренное обучение работе с инструментами с помощью языкаили АТЛА.

Анирудха Маджумдар — доцент кафедры машиностроения и аэрокосмической техники в Принстоне и руководитель Лаборатории движения интеллектуальных роботов.

«Дополнительная информация в виде языка может помочь роботу быстрее научиться использовать инструменты», — сказал Маджумдар.

Команда запросила языковую модель GPT-3, чтобы получить описания инструментов. Попробовав различные подсказки, они решили использовать «Опишите [особенность] [инструмента] в подробном и научном ответе», причем эта функция представляла собой форму или назначение инструмента.

Картик Нарасимхан — доцент кафедры информатики и соавтор исследования. Нарасимхан также является ведущим преподавателем в группе обработки естественного языка (NLP) Принстона и внес свой вклад в разработку оригинальной языковой модели GPT в качестве приглашенного научного сотрудника в OpenAI.

«Поскольку эти языковые модели были обучены в Интернете, в некотором смысле вы можете думать об этом как об ином способе получения этой информации более эффективно и всесторонне, чем использование краудсорсинга или просмотр конкретных веб-сайтов для описания инструментов», — сказал Нарасимхан.

Симулированные эксперименты по обучению роботов

Команда выбрала тренировочный набор из 27 инструментов для экспериментов по моделированию обучения роботов, начиная от топора и заканчивая ракелем. Роботу-манипулятору было дано четыре разных задания: толкать инструмент, поднимать инструмент, использовать его для перемещения цилиндра по столу или забить колышек в отверстие.

Затем команда разработала набор политик, используя подходы машинного обучения с языковой информацией и без нее. Эффективность политик сравнивалась в отдельном тесте девяти инструментов с парными описаниями.

Подход, который называется мета-обучением, улучшает способность робота учиться с каждой последующей задачей.

По словам Нарасимхана, робот не только учится использовать каждый инструмент, но также «пытается научиться понимать описания каждого из этих сотен различных инструментов, поэтому, когда он видит 101-й инструмент, он быстрее учится использовать новый инструмент. ”

В большинстве экспериментов языковая информация давала роботу значительные преимущества в использовании новых инструментов.

Аллен З. Рен - доктор философии. студент группы Маджумдара и ведущий автор исследовательской работы.

«Благодаря языковой подготовке он учится хвататься за длинный конец лома и использовать изогнутую поверхность, чтобы лучше сдерживать движение бутылки», — сказал Рен. «Без языка он схватился за лом близко к изогнутой поверхности, и его было труднее контролировать».

«Основная цель состоит в том, чтобы заставить роботизированные системы, особенно те, которые обучены с использованием машинного обучения, обобщать новые среды», — добавил Маджумдар.