ロボットが自己学習で歩くことを習得する – 強化学習を利用したロボットの歩行

ボストン・ダイナミクスやダンスを踊るロボットが注目を集めることが多いですが、注目されていないところで大きな進歩が起こっています。バークレー大学の研究所では、カッシーと呼ばれるロボットが強化学習を利用して自己学習で歩くことを習得しました。

試行錯誤の結果、ロボットの脚はシミュレートされた環境でナビゲートすることを学び、実世界でテストされました。初期の段階では、ロボットはすべての方向で歩くことができ、しゃがみながら歩くことができ、バランスを崩されたときに自分で立ち直ることができ、さまざまな種類の表面に適応することができました。

カッシー・ロボットは、強化学習を利用して歩くことを習得した最初の二本脚ロボットです。

ダンスを踊るロボットの驚異

ボストン・ダイナミクスなどのロボットは非常に印象的で、誰もが見て驚かされるほどですが、いくつかの重要な要素があります。最も重要なのは、これらのロボットは手動でプログラムされており、振り付けがなされているということです。しかし、実世界の状況では、この方法は好ましくありません。

研究所の外では、ロボットは堅牢で、回復力があり、柔軟性があり、さらに多くのことが求められます。また、予期せぬ状況に遭遇し、処理する能力も必要です。これは、ロボット自身がそうすることを可能にすることでしか実現できません。

カッシー・ロボットの開発チームの一員であるZhongyu Liです。

「これらのビデオを見て、問題がすでに解決されていると思われているかもしれません」とLiさんは述べます。「しかし、人間の環境で信頼性の高いロボットを作るにはまだ長い道のりがあります」。

https://www.youtube.com/watch?v=goxCjGPQH7U

強化学習

バークレー大学のチームは、ロボットを作成するために強化学習を利用しました。強化学習は、ディープマインドのような企業が世界で最も複雑なゲームで人間を超えるアルゴリズムを訓練するために利用されてきました。強化学習は、試行錯誤に基づいており、ロボットは自分のミスから学びます。

カッシー・ロボットは、シミュレートされた環境で歩くことを学びました。これは、強化学習を利用してロボットが歩くことを学ぶ最初の試みではありません。しかし、通常、シミュレートされた環境から実世界への移行は容易ではありません。わずかな違いでもロボットが歩くことができない可能性があります。

研究者たちは、2つのシミュレーションを利用しました。最初のシミュレーションは、MuJoCoと呼ばれるオープンソースの訓練環境で、アルゴリズムは可能な動きのライブラリから学びました。2番目のシミュレーションは、SimMechanicsと呼ばれ、ロボットはより実世界に近い条件でテストされました。

2つのシミュレーションで開発された後、アルゴリズムは実世界でテストするためにすでに準備されていました。細かい調整は必要ありませんでした。ロボットは歩くことができただけでなく、さらに多くのことができました。研究者によると、カッシーは、ロボットの膝の2つのモーターが故障した後も回復することができました。

カッシーは他のロボットと比べてすべての機能を備えているわけではありませんが、多くの点でより印象的です。また、実世界での利用に大きな影響を与える可能性があります。歩くロボットは、さまざまな分野で利用することができます。