Робот учится ходить с помощью обучения с подкреплением

Хотя Boston Dynamics и танцующие роботы обычно получают большинство внимания, есть некоторые значительные разработки, происходящие за кулисами, которые не получают достаточного освещения. Одна из таких разработок происходит в лаборатории Беркли, где робот по имени Cassie смог научиться ходить с помощью обучения с подкреплением. 

После проб и ошибок пара роботизированных ног научилась ориентироваться в симулированной среде, прежде чем быть протестированной в реальном мире. Первоначально робот продемонстрировал способность ходить во всех направлениях, ходить, приседая, переориентироваться, когда его сбивали с равновесия, и адаптироваться к разным типам поверхностей. 

Робот Cassie является первым случаем успешного использования двухногого робота для обучения с помощью обучения с подкреплением. 

Восхищение танцующими роботами

Хотя роботы, такие как те, что от Boston Dynamics, являются非常 впечатляющими и вызывают восхищение у всех, кто их смотрит, есть несколько ключевых факторов. Наиболее заметно, что эти роботы запрограммированы и откорректированы, чтобы достичь результата, но этот метод не является предпочтительным в реальных ситуациях. 

За пределами лаборатории роботы должны быть прочными, устойчивыми, гибкими и многим другим. Кроме того, они должны уметь встречать и обрабатывать неожиданные ситуации, что может быть сделано только путем предоставления им возможности самостоятельно справляться с такими ситуациями. 

Zhongyu Li был частью команды, работающей над Cassie в Университете Беркли. 

«Эти видео могут привести некоторых людей к убеждению, что это решенная и простая проблема», – говорит Ли. «Но у нас еще есть долгий путь, чтобы иметь humanoid роботов, которые могут надежно работать и жить в человеческой среде». 

https://www.youtube.com/watch?v=goxCjGPQH7U

Обучение с подкреплением

Чтобы создать такого робота, команда Беркли полагалась на обучение с подкреплением, которое было использовано компаниями, такими как DeepMind, для обучения алгоритмов, которые могут победить человека в самых сложных играх. Обучение с подкреплением основано на пробах и ошибках, когда робот учится на своих ошибках. 

Робот Cassie использовал обучение с подкреплением, чтобы научиться ходить в симуляции, что не является первым случаем использования этого подхода. Однако это обычно не выходит за пределы симулированной среды и не попадает в реальный мир. Даже небольшая разница может привести к тому, что робот не сможет ходить. 

Исследователи использовали две симуляции вместо одной, первой из которых был открытый источник обучающей среды под названием MuJoCo. В этой первой симуляции алгоритм пробовал и учился из библиотеки возможных движений, а во второй симуляции под названием SimMechanics робот тестировал их в более реальных условиях.

После разработки в двух симуляциях алгоритм не нуждался в доработке. Он уже был готов к работе в реальном мире. Не только он смог ходить, но и смог сделать многое другое. Согласно исследователям, Cassie смогла восстановиться после того, как два двигателя в колене робота вышли из строя.

Хотя Cassie может не иметь всех колокольчиков и свистков, как некоторые другие роботы, он во многих отношениях намного более впечатляющий. У него также есть более значительные последствия для технологии, когда речь идет о реальном использовании, поскольку такой ходячий робот может быть использован в различных секторах.