Робот учится ходить с помощью усиления обучения

В то время как Boston Dynamics и танцующие роботы обычно получают большую часть внимания, есть некоторые значительные разработки, которые происходят за кулисами и не получают достаточного освещения. Одна из этих разработок происходит в лаборатории Беркли, где робот по имени Cassie смог научиться ходить с помощью усиления обучения. 

После проб и ошибок пара роботизированных ног научилась ориентироваться в симулированной среде, прежде чем быть протестированной в реальном мире. Первоначально робот продемонстрировал способность ходить во всех направлениях, ходить, приседая, восстанавливать свое положение, когда его сбивали с равновесия, и адаптироваться к разным типам поверхностей. 

Робот Cassie является первым случаем успешного использования двухногого робота для обучения ходьбе с помощью усиления обучения. 

Восхищение танцующими роботами

В то время как роботы, такие как те, которые производит Boston Dynamics, являются非常 впечатляющими и вызывают восхищение у всех, кто их смотрит, есть несколько ключевых факторов. Самым заметным является то, что эти роботы запрограммированы и откорректированы, чтобы достичь результата, но это не является предпочтительным методом в реальных ситуациях. 

За пределами лаборатории роботы должны быть прочными, устойчивыми, гибкими и многим другим. Кроме того, они должны уметь встречать и обрабатывать неожиданные ситуации, что может быть сделано только путем предоставления им возможности самостоятельно справляться с такими ситуациями. 

Zhongyu Li был частью команды, работающей над Cassie в Университете Беркли. 

«Эти видео могут привести некоторых людей к мысли, что это уже решенная и простая проблема», – говорит Ли. «Но нам еще предстоит долгий путь, чтобы иметь humanoid роботов, которые могут надежно работать и жить в человеческой среде». 

https://www.youtube.com/watch?v=goxCjGPQH7U

Усиление обучения

Чтобы создать такого робота, команда Беркли полагалась на усиление обучения, которое было использовано компаниями, такими как DeepMind, для обучения алгоритмов, которые могут победить человека в самых сложных играх. Усиление обучения основано на пробах и ошибках, когда робот учится на своих ошибках. 

Робот Cassie использовал усиление обучения, чтобы научиться ходить в симуляции, что не является первым случаем использования этого подхода. Однако это обычно не выходит за пределы симулированной среды и не попадает в реальный мир. Даже небольшая разница может привести к тому, что робот не сможет ходить. 

Исследователи использовали две симуляции вместо одной, первой из которых был открытый источник обучающей среды под названием MuJoCo. В этой первой симуляции алгоритм пробовал и учился из библиотеки возможных движений, а во второй симуляции под названием SimMechanics робот тестировал их в более реальных условиях.

После разработки в двух симуляциях алгоритм не требовал доработки. Он уже был готов к работе в реальном мире. Не только он смог ходить, но и смог сделать многое другое. Согласно исследователям, Cassie смогла восстановиться после того, как два двигателя в колене робота вышли из строя.

Хотя Cassie может не иметь всех колокольчиков и свистков, как некоторые другие роботы, он во многих отношениях намного более впечатляющий. У него также есть более значительные последствия для технологии, когда речь идет о реальном использовании, поскольку такой ходячий робот может быть использован в различных секторах.