ИИ Google учит роботов двигаться, наблюдая за собаками

Даже некоторые из самых передовых роботов сегодня все еще двигаются несколько неуклюже, с рывками. Чтобы заставить роботов двигаться более естественно и плавно, исследователи в Google разработали систему ИИ, способную учиться на движениях реальных животных. Команда исследователей Google опубликовала предварительную статью, в которой подробно описала свой подход на прошлой неделе. В статье и сопровождающем блоге команда исследователей описывает обоснование своей системы. Авторы статьи считают, что наделение роботов более естественным движением может помочь им выполнять реальные задачи, требующие точных движений, такие как доставка предметов между разными уровнями здания.

Как сообщает VentureBeat, команда исследователей использовала метод обучения с подкреплением, чтобы обучить своих роботов. Исследователи начали с сбора клипов реальных животных в движении и использовали метод обучения с подкреплением (RL), чтобы побудить роботов имитировать движения животных в видеоклипах. В данном случае исследователи обучили роботов на клипах собаки, созданной в физическом симуляторе, и инструктировали четырехногого робота Unitree Laikago имитировать движения собаки. После обучения робот смог выполнять сложные движения, такие как прыжки, повороты и быструю ходьбу со скоростью около 2,6 миль в час.

Обучающие данные состояли из примерно 200 миллионов образцов движений собак, отслеженных в физическом симуляторе. Различные движения затем были обработаны через функции вознаграждения и политики, которые агенты выучили. После создания политик в симуляторе они были перенесены в реальный мир с помощью метода, называемого адаптацией латентного пространства. Поскольку физические симуляторы, используемые для обучения роботов, могли только приблизительно模拟 некоторые аспекты реального движения, исследователи случайным образом применяли различные возмущения к симуляции, чтобы имитировать работу в различных условиях.

Согласно команде исследователей, им удалось адаптировать политику симуляции к реальным роботам, используя всего 8 минут данных, собранных из 50 различных испытаний. Исследователи смогли продемонстрировать, что реальные роботы могли имитировать различные конкретные движения, такие как рысь, поворот, прыжки и шаг. Они даже смогли имитировать анимации, созданные художниками-аниматорами, такие как комбинация прыжка и поворота.

Исследователи суммируют результаты в статье:

“Мы показываем, что, используя данные о движении, один подход, основанный на обучении, может автоматически синтезировать контроллеры для разнообразного репертуара поведения для четырехногих роботов. Включая в процесс обучения методы адаптации области, эффективные по выборке, наша система может учиться адаптивным политикам в симуляции, которые затем могут быть быстро адаптированы для реального развертывания”.

Политики управления, используемые во время процесса обучения с подкреплением, имели свои ограничения. Из-за ограничений, налагаемых аппаратным обеспечением и алгоритмами, было несколько вещей, которые роботы просто не могли сделать. Например, они не могли бежать или делать большие прыжки. Наученные политики также не демонстрировали столько стабильности по сравнению с движениями, разработанными вручную. Команда исследователей хочет продвинуть свою работу дальше, сделав контроллеры более прочными и способными учиться на разных типах данных. В идеале будущие версии этой структуры смогут учиться на видеоданных.