Людська мова прискорює навчання роботів

Команда дослідників з Прінстона виявила, що описи інструментів людською мовою можуть прискорити навчання симульованої роботизованої руки, яка може піднімати та використовувати різні інструменти.

Нові дослідження підтверджують ідею про те, що навчання штучного інтелекту може зробити автономних роботів більш адаптивними в нових ситуаціях, що підвищує їх ефективність і безпеку.

Додавання описів форми та функції інструменту до процесу навчання робота покращило його здатність маніпулювати новими інструментами.

Метод ATLA для навчання

Новий метод називається Прискорене навчання маніпулювання інструментами з допомогою мови, або ATLA.

Анірудха Маджумдар – асистент професора механіки та аерокосмічної інженерії в Прінстоні та керівник лабораторії інтелектуального руху роботів.

«Додаткова інформація у вигляді мови може допомогти роботові швидше навчитися використовувати інструменти», – сказав Маджумдар.

Команда звернулася до мовної моделі GPT-3, щоб отримати описи інструментів. Після спроб різних запитів вони вирішили використовувати «Опис [функції] [інструменту] у детальному та науковому відповіді», де функцією була форма або призначення інструменту.

Картхік Нарасімхан – асистент професора комп’ютерних наук і співавтор дослідження. Нарасімхан також є керівником групи природної мови обробки в Прінстоні та внесли свій внесок у оригінальну мовну модель GPT як відвідувач наукового співробітника в OpenAI.

«Оскільки ці мовні моделі були навчені на інтернеті, можна вважати, що це інший спосіб отримання цієї інформації більш ефективно та повніше, ніж використання краудсорсингу або збору інформації з конкретних веб-сайтів про інструменти», – сказав Нарасімхан.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Симульовані експерименти з навчання роботів

Команда вибрала набір з 27 інструментів для симульованих експериментів з навчання роботів, інструменти варіювалися від сокири до швабри. Роботизована рука мала чотири різні завдання: тіснити інструмент, піднімати інструмент, використовувати його для підметання циліндра по столу або забивати цвях у дірку.

Команда розробила набір політик за допомогою підходів машинного навчання з і без мовної інформації. Перформанс політик порівнювали на окремому тесті з дев’ятьма інструментами з парними описами.

Підхід, який називається мета-навчанням, покращує здатність робота навчатися з кожним наступним завданням.

За словами Нарасімхана, робот не тільки вчиться використовувати кожен інструмент, але й «спробує зрозуміти описи кожного з цих ста інструментів, тому коли він бачить 101-й інструмент, він швидше вчиться використовувати новий інструмент».

У більшості експериментів мовна інформація надавала суттєві переваги для здатності робота використовувати нові інструменти.

Аллен З. Рен – аспірант групи Маджумдара та головний автор дослідження.

«З мовним навчанням воно вчиться хватати довгий кінець сокири та використовувати вигнуту поверхню, щоб краще обмежити рух пляшки», – сказав Рен. «Без мови воно хватало сокиру біля вигнутої поверхні, і було важче контролювати».

«Широкою метою є зробити роботизовані системи – зокрема, ті, які навчаються за допомогою машинного навчання – більш загальними для нових середовищ», – додав Маджумдар.