Человеческий язык ускоряет обучение роботов

Группа исследователей из Принстона обнаружила, что описания инструментов на человеческом языке могут ускорить обучение симулированной роботизированной руки, способной поднимать и использовать различные инструменты.

Новое исследование подтверждает идею о том, что обучение ИИ может сделать автономных роботов более адаптивными в новых ситуациях, что, в свою очередь, улучшает их эффективность и безопасность.

Добавляя описания формы и функций инструмента к процессу обучения робота, улучшается способность робота манипулировать новыми инструментами.

Метод ATLA для обучения

Новый метод называется Ускоренное обучение манипуляции инструментами с помощью языка, или ATLA.

Анирудха Маджумдар – ассистент профессора механики и аэрокосмической инженерии в Принстоне и руководитель лаборатории интеллектуального движения роботов.

«Дополнительная информация в виде языка может помочь роботу научиться использовать инструменты более быстро», – сказал Маджумдар.

Команда запросила языковую модель GPT-3, чтобы получить описания инструментов. После попыток различных запросов они решили использовать «Опишите [функцию] [инструмента] в подробном и научном ответе», где функция была формой или целью инструмента.

Картик Нарасимхан – ассистент профессора компьютерных наук и соавтор исследования. Нарасимхан также является ведущим членом группы обработки естественного языка (NLP) в Принстоне и внес вклад в оригинальную языковую модель GPT в качестве приглашенного исследователя в OpenAI.

«Поскольку эти языковые модели были обучены на интернете, можно считать, что это другой способ извлечения информации более эффективно и全面, чем использование краудсорсинга или скрапинга конкретных веб-сайтов для описаний инструментов», – сказал Нарасимхан.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Симулированные эксперименты по обучению роботов

Команда выбрала набор из 27 инструментов для своих симулированных экспериментов по обучению роботов, с инструментами от топора до швабры. Роботизированная рука была задана четыре различные задачи: толкнуть инструмент, поднять инструмент, использовать его, чтобы протолкнуть цилиндр по столу, или забить гвоздь в отверстие.

Команда затем разработала набор политик, используя подходы машинного обучения с и без языковой информации. Производительность политик была сравнена на отдельном тесте из девяти инструментов с парными описаниями.

Подход, называемый мета-обучением, улучшает способность робота учиться с каждым последующим заданием.

По словам Нарасимхана, робот не только учится использовать каждый инструмент, но и «пытается научиться понимать описания каждого из этих сотен разных инструментов, так что когда он видит 101-й инструмент, он быстрее учится использовать новый инструмент».

В большинстве экспериментов языковая информация обеспечивала значительные преимущества для способности робота использовать новые инструменты.

Аллен З. Рен – аспирант в группе Маджумдара и ведущий автор исследования.

«С языковым обучением он учится хватать за длинный конец ломика и использовать изогнутую поверхность, чтобы лучше ограничить движение бутылки», – сказал Рен. «Без языка он хватал ломик возле изогнутой поверхности, и было труднее контролировать».

«Глобальная цель – сделать роботов более адаптивными в новых средах, – добавил Маджумдар. – Конкретно, роботов, обученных с помощью машинного обучения».