GoogleのAIがロボットに犬の動きを見て移動を教える

今日の最も高度なロボットでも、まだ多少ぎこちない、ぎくしゃくした動きをするものがある。ロボットがより自然で流れるような動きをするようにするために、Googleの研究者は、実際の動物の動きから学習できるAIシステムを開発した。このシステムは、実際の動物の動きから学習することができる。Googleの研究チームは、先週末にこのアプローチについてのプレプリント論文を発表した。論文とブログ投稿では、研究チームはこのシステムの理由について説明している。論文の著者は、ロボットにより自然な動きを与えることで、実世界のタスクをより効率的に実行できるようになる可能性があると考える。たとえば、建物の異なる階層間でアイテムを配達するようなタスクが挙げられる。

VentureBeatによると、研究チームはロボットを訓練するために強化学習を使用した。研究者は、実際の動物の動きのクリップを収集し、強化学習（RL）技術を使用して、ロボットがビデオクリップ内の動物の動きを模倣するようにした。この場合、研究者は、物理シミュレーターで設計された犬のクリップを使用して、四本足のUnitree Laikagoロボットに犬の動きを模倣するように指示した。ロボットを訓練した後、ロボットは、2.6マイル/時という速度で、ホッピング、ターン、ウォーキングなどの複雑な動きを実行できるようになった。

訓練データは、物理シミュレーションでトラックされた犬の動きの約200万サンプルで構成されていた。さまざまな動きは、エージェントが学習した報酬関数とポリシーを通じて実行された。ポリシーがシミュレーションで作成された後、潜在的な空間適応というテクニークを使用して実世界に転送された。ロボットを訓練するために使用された物理シミュレーターは、実世界の動きのある方面を近似するだけだったため、研究者は、さまざまな条件下での操作をシミュレートすることを目的として、シミュレーションにさまざまな乱れをランダムに適用した。

研究チームによると、50回の試行から収集された8分間のデータを使用して、シミュレーションポリシーを実世界のロボットに適応させることができた。研究者は、実世界のロボットが、トロット、ターン、アラウンド、ホップ、ペースなどのさまざまな動きを模倣できることを実証した。アニメーションアーティストによって作成されたアニメーション、たとえばホップとターンの組み合わせも模倣できるようになった。

研究者は、論文で以下のようにまとめている。

「私たちは、参考動きデータを活用することで、単一の学習ベースアプローチが、四本足ロボットのための多様な動きのレパートリーを自動的に合成できることを示した。トレーニングプロセスにサンプル効率の良いドメイン適応テクニークを組み込むことで、シミュレーションで学習したポリシーを実世界に迅速に適応させることができる。」

強化学習プロセスで使用された制御ポリシーには、ハードウェアとアルゴリズムの制約によって、ロボットができないことがいくつかあった。たとえば、走ることや大きなジャンプをすることができなかった。学習したポリシーは、手動で設計された動きと比較して、安定性が低かった。研究チームは、コントローラーをよりロバストで、さまざまな種類のデータから学習できるようにすることで、研究をさらに進めたいと考えている。理想的には、将来のフレームワークバージョンは、ビデオデータから学習できるようになるだろう。