Метод обучения позволяет роботам учиться, наблюдая за людьми

Новый метод обучения, разработанный исследователями в Университете Карнеги-Меллона (CMU), позволяет роботам напрямую учиться на видео взаимодействия человека и обобщать информацию для новых задач, что помогает им учиться выполнять домашние дела. Этот метод обучения называется WHIRL, что означает “В дикой природе обучение роботам, имитирующим человека”, и он помогает роботу наблюдать за задачами и собирать видеоданные, чтобы в конечном итоге научиться выполнять работу самостоятельно.

Исследование было представлено на конференции Robotics: Science and Systems в Нью-Йорке.

Имитация как способ обучения

Шихар Бахл – аспирант в Институте робототехники (RI) Школы компьютерных наук Университета Карнеги-Меллона.

“Имитация – отличный способ учиться”, – сказал Бахл. “Тот факт, что роботы могут учиться, наблюдая за людьми, остается нерешенной проблемой в этой области, но эта работа делает значительный шаг в развитии этой способности.”

Бахл работал вместе с Дипаком Патхаком и Абхинавом Гуптой, которые также являются преподавателями в RI. Команда добавила камеру и свое программное обеспечение к готовому роботу, который научился выполнять более 20 задач. Эти задачи включали все, от открытия и закрытия бытовой техники до извлечения мусорного мешка из контейнера. Каждый раз робот смотрел, как человек выполняет задачи, прежде чем попытаться сделать это сам.

Патхак – ассистент профессора в RI.

“Эта работа представляет собой способ внедрения роботов в дома”, – сказал Патхак. “Вместо того, чтобы ждать, пока роботы будут запрограммированы или обучены успешно выполнять различные задачи перед их развертыванием в домах людей, эта технология позволяет нам развертывать роботов и учить их выполнять задачи, адаптируясь к их окружению и улучшаясь исключительно путем наблюдения.”

https://www.youtube.com/watch?v=pIbHOuvuCl8

WHIRL против текущих методов

Большинство текущих методов обучения робота задаче полагаются на имитацию или обучение с подкреплением. С имитационным обучением люди вручную управляют роботом и учат его выполнять задачу, что требует многократного выполнения перед тем, как робот научится. С обучением с подкреплением робот обычно обучается на миллионах примеров в симуляции, прежде чем адаптировать обучение к реальному миру.

Хотя обе эти модели эффективны для обучения робота одной задаче в структурированной среде, они оказываются трудными для масштабирования и развертывания. Но с WHIRL робот может учиться на любом видео человека, выполняющего задачу. Это также легко масштабируется, не ограничивается одной задачей и может работать в домашних средах.

WHIRL позволяет роботам выполнять задачи в их естественной среде. И хотя первые несколько попыток обычно заканчивались неудачей, он мог быстро учиться после нескольких успехов. Робот не всегда выполняет задачу с одинаковыми движениями, что и человек, но это потому, что у него разные части, которые движутся по-разному. Однако конечный результат выполнения задач всегда один и тот же.

“Чтобы масштабировать робототехнику в дикой природе, данные должны быть надежными и стабильными, и роботы должны становиться лучше в своей среде, практикуя самостоятельно”, – сказал Патхак.