ロボットは強化学習を通じて歩くことを教えられる

ボストン・ダイナミクスやダンスするロボットが通常、注目を集めることが多いですが、十分な報道がなされていない裏で進行している重大な開発があります。そのような開発の1つは、カリフォルニア大学バークレー校の研究所で、ロボットのCassieが強化学習を通じて歩くことを学んだことです。

試行錯誤を経て、ロボットの足はシミュレートされた環境でナビゲートすることを学び、実世界でテストされました。初期段階では、ロボットはすべての方向で歩く、しゃがみながら歩く、バランスを崩されたときに自分を再配置する、そしてさまざまな種類の表面に適応する能力を示しました。

Cassieロボットは、強化学習を使用して歩くことに成功した2足ロボットの最初の例です。

ダンスするロボットの驚異

ボストン・ダイナミクスなどのロボットは非常に印象的で、誰を見ても驚かせるものですが、いくつかの重要な要素があります。最も注目すべきは、これらのロボットは手動でプログラムされており、結果を達成するためにコレオグラフィーされていることですが、これは現実の状況では望ましい方法ではありません。

研究所の外では、ロボットは堅牢で、回復力があり、柔軟性があり、さらに多くのことが求められます。上記のすべてに加えて、予期せぬ状況に遭遇し、処理する能力が必要であり、これはロボットがそれら自身で処理できるようにすることでしか実現できません。

Zhongyu Liは、カリフォルニア大学バークレー校でのCassieの開発チームの一員でした。

「これらのビデオは、人々をこの問題は解決され、簡単な問題であると思わせるかもしれません」とLiさんは述べます。「しかし、人間型ロボットが人間の環境で信頼性を持って動作し、生活するにはまだ長い道のりがあります」

https://www.youtube.com/watch?v=goxCjGPQH7U

強化学習

このようなロボットを作成するために、バークレーのチームは、世界で最も複雑なゲームで人間を超えるアルゴリズムを訓練するためにDeepMindなどの企業によって使用されている強化学習に頼りました。強化学習は、試行錯誤に基づいており、ロボットはその間違いから学習します。

Cassieロボットは、シミュレーションで歩くことを学ぶために強化学習を使用しました。これは、このアプローチが使用される最初のことではありません。ただし、通常、シミュレートされた環境から実世界への移行は行われません。わずかな違いがロボットの歩行に失敗する原因となる可能性があります。

研究者は、1つのシミュレーションではなく、2つのシミュレーションを使用しました。最初のシミュレーションは、MuJoCoというオープンソースのトレーニング環境でした。この最初のシミュレーションでは、アルゴリズムは可能な動作のライブラリを試し、学習しました。2番目のシミュレーションは、SimMechanicsというより現実的な条件でロボットがテストされました。

2つのシミュレーションで開発された後、アルゴリズムは微調整の必要はありませんでした。すでに実世界で使用することができました。歩くだけでなく、さらに多くのことができました。研究者によると、Cassieは、ロボットの膝の2つのモーターが故障した後も回復することができました。

Cassieは、他のロボットと比較してすべての機能を備えているわけではありませんが、多くの点ではるかに印象的です。また、実世界での使用に関して、テクノロジーに重大な影響を与える可能性があります。歩くロボットは、さまざまな分野で使用することができます。