Робот учится ходить с помощью усиления обучения

Хотя Boston Dynamics и танцующие роботы обычно получают больше внимания, есть некоторые значительные разработки, происходящие за кулисами, которые не получают достаточного освещения. Одна из этих разработок происходит из лаборатории Беркли, где робот по имени Cassie смог научиться ходить с помощью усиления обучения.

После проб и ошибок пара роботизированных ног научилась ориентироваться в симулированной среде, прежде чем быть протестированной в реальном мире. Первоначально робот продемонстрировал способность ходить во всех направлениях, ходить, приседая, восстанавливать себя, когда его сбивали с равновесия, и адаптироваться к разным типам поверхностей.

Робот Cassie является первым примером двухногого робота, успешно использующего усиление обучения для ходьбы.

Восхищение танцующими роботами

Хотя роботы, такие как те, что от Boston Dynamics, являются чрезвычайно впечатляющими и вызывают восхищение у всех, кто их смотрит, есть несколько ключевых факторов. Наиболее заметно, что эти роботы запрограммированы и отрепетированы, чтобы достичь результата, но это не является предпочтительным методом в реальных ситуациях.

За пределами лаборатории роботы должны быть прочными, устойчивыми, гибкими и многим другим. Кроме того, им необходимо уметь встречать и обрабатывать неожиданные ситуации, что может быть сделано только путем предоставления им возможности самостоятельно справляться с такими ситуациями.

Zhongyu Li был частью команды, работающей над Cassie в Университете Беркли.

“Эти видео могут привести некоторых людей к убеждению, что это решенная и простая проблема”, – говорит Ли. “Но у нас еще есть долгий путь, чтобы иметь гуманоидных роботов, которые могут надежно работать и жить в человеческой среде”.

https://www.youtube.com/watch?v=goxCjGPQH7U

Усиление обучения

Чтобы создать такого робота, команда Беркли полагалась на усиление обучения, которое было использовано компаниями, такими как DeepMind, для обучения алгоритмов, которые могут победить людей в самых сложных играх. Усиление обучения основано на пробах и ошибках, когда робот учится на своих ошибках.

Робот Cassie использовал усиление обучения, чтобы научиться ходить в симуляции, что не является первым случаем использования этого подхода. Однако это обычно не выходит за пределы симулированной среды и не попадает в реальный мир. Даже небольшая разница может привести к тому, что робот не сможет ходить.

Исследователи использовали две симуляции вместо одной, с первой симуляцией как открытым исходным кодом средой обучения под названием MuJoCo. В этой первой симуляции алгоритм пробовал и учился из библиотеки возможных движений, а во второй симуляции под названием SimMechanics робот протестировал их в более реальных условиях.

После разработки в двух симуляциях алгоритм не нуждался в тонкой настройке. Он уже был готов к работе в реальном мире. Не только он смог ходить, но и смог сделать многое другое. Согласно исследователям, Cassie смогла восстановиться после того, как два мотора в колене робота вышли из строя.

Хотя Cassie может не иметь всех колокольчиков и свистков, как некоторые другие роботы, она во многих отношениях намного более впечатляющая. Она также имеет более значительные последствия для технологии, когда речь идет о реальном использовании, поскольку такой ходячий робот может быть использован в различных секторах.