Искусственный интеллект Google учит роботов двигаться, наблюдая за собаками

Даже некоторые из самых передовых роботов сегодня всё ещё двигаются несколько неуклюже и резко. Чтобы сделать движение роботов более похожим на естественное и плавное, исследователи из Google (GOOGL ) разработали систему искусственного интеллекта, способную учиться на движениях реальных животных. Команда исследователей Google опубликовала предварительную статью, в которой подробно описала свой подход на прошлой неделе. В статье и сопровождающем блоге исследователи описывают обоснование своей системы. Авторы статьи считают, что наделение роботов более естественным движением может помочь им выполнить реальные задачи, требующие точных движений, такие как доставка предметов между разными уровнями здания.

Как сообщает VentureBeat, команда исследователей использовала методы обучения с подкреплением, чтобы обучить своих роботов. Исследователи начали с сбора клипов реальных животных в движении и использовали методы обучения с подкреплением (RL), чтобы заставить роботов имитировать движения животных в видеоклипах. В данном случае исследователи обучили роботов на клипах собаки, созданных в физическом симуляторе, и приказали четырёхногому роботу Unitree Laikago имитировать движения собаки. После обучения робот смог выполнить сложные движения, такие как прыжки, повороты и быстрая ходьба со скоростью около 4,2 километра в час.

Обучающие данные состояли примерно из 200 миллионов образцов движений собак, отслеженных в физическом симуляторе. Различные движения затем прошли через функции вознаграждения и политики, которые агенты выучили. После создания политик в симуляторе их перенесли в реальный мир с помощью метода, называемого адаптацией скрытого пространства. Поскольку физические симуляторы, использованные для обучения роботов, могли только приблизительно模拟 некоторые аспекты реального движения, исследователи случайным образом ápлили различные возмущения к симуляции, чтобы имитировать работу в различных условиях.

Согласно команде исследователей, им удалось адаптировать политики симуляции к реальным роботам, используя всего восемь минут данных, собранных из 50 различных испытаний. Исследователи смогли продемонстрировать, что реальные роботы могут имитировать различные конкретные движения, такие как рысь, повороты, прыжки и шаг. Они даже смогли имитировать анимации, созданные художниками-аниматорами, такие как комбинация прыжка и поворота.

Исследователи суммируют результаты в статье:

«Мы показываем, что, используя справочные данные движения, один подход, основанный на обучении, может автоматически синтезировать контроллеры для разнообразного репертуара поведения для роботов с ногами. Включая в процесс обучения методы адаптации области, эффективные по выборке, наша система может выучить адаптивные политики в симуляции, которые затем могут быть быстро адаптированы для развертывания в реальном мире».

Политики управления, использованные во время процесса обучения с подкреплением, имели свои ограничения. Из-за ограничений, наложенных аппаратным обеспечением и алгоритмами, были некоторые вещи, которые роботы просто не могли сделать. Например, они не могли бежать или делать большие прыжки. Выученные политики также не демонстрировали такого же уровня стабильности, как движения, разработанные вручную. Команда исследователей хочет продолжить работу, сделав контроллеры более прочными и способными учиться на различных типах данных. Идеально, будущие версии этой системы смогут учиться на видеоданных.