Minecraftのマシンラーニング競技会でAIが競争する

Natureによると、近々、新しいAI競技会であるMineRL競技会が開催される予定で、この競技会では、AIエンジニアやコーダーが、観察と例を通じて学習することができるプログラムを作成することが奨励される。このAIシステムのテストケースは、人気の高いクラフトとサバイバルビデオゲームであるMinecraftとなる。

人工知能システムは、ビデオゲームに関して最近、いくつかの印象的な成果を上げている。たとえば、最近、AIがストラテジーゲームStarCraft IIで世界最高のプレイヤーを破った。しかし、StarCraft IIには、AIが使用してトレーニングすることができる明確な目標がある。一方で、Minecraftのような大規模なオープンワールドサンドボックスゲームをナビゲートすることは、はるかに困難なタスクである。研究者は、観察と例を通じてAIプログラムを学習させることを目的としており、もし成功すれば、人工知能プログラムをトレーニングするために必要な処理能力を大幅に削減することができる。

この競技会に参加する者は、Minecraftを使用してAIを作成するために4日間の時間が与えられ、AIをトレーニングするために最大8百万ステップを使用することになる。AIの目的は、ゲーム内でダイヤモンドを見つけることである。8百万ステップのトレーニングは、現在の強力なAIモデルをトレーニングするために必要な時間よりもはるかに短いため、競技会の参加者は現在のトレーニング方法を大幅に改善する方法を設計する必要がある。

参加者が使用しているアプローチは、模倣学習と呼ばれるタイプの学習に基づいている。模倣学習は、強化学習と対比され、強化学習は、工場のロボットアームやStarCraft IIで人間のプレイヤーを破ったAIなどの複雑なシステムをトレーニングするための一般的な方法である。強化学習アルゴリズムの主な欠点は、トレーニングするために大量のコンピュータ処理能力を必要とすることである。模倣学習アルゴリズムは、人間が観察を通じて学習する方法を模倣しようとする。カーネギーメロン大学のディープラーニング理論のPh.D.候補生であるWilliam Gussは、Natureに、AIが環境を探索し、パターンを学習することは非常に困難なタスクであると説明したが、模倣学習はAIに環境に関する基礎知識または優れた事前仮定を提供することができ、トレーニングを大幅に迅速化することができる。

Minecraftは、複数の理由で特に有用なトレーニング環境である。1つの理由は、Minecraftがプレイヤーにシンプルなブロックを使用して複雑な構造やアイテムを作成することを許可し、これらの構造を作成するために必要な多くのステップは、研究者がメトリックとして使用できる有形な進捗マーカーとなる。Minecraftは非常に人気があり、そしてそのため、トレーニングデータを収集することは比較的容易である。MineRL競技会の主催者は、ツールを作成したりブロックを破壊したりするなどのタスクを実演するために多くのMinecraftプレイヤーを募集した。データの生成をクラウドソーシングすることで、研究者はゲーム内で取ることができる60百万のアクションの例を収集することができた。研究者は、約1000時間のビデオを競技会チームに提供した。

カリフォルニア大学バークレー校のコンピュータサイエンスのPh.D.候補生であるRohin Shahは、Natureに、この競技会は、AIのトレーニングを促進するために、人間がすでに生成した知識を使用することに焦点を当てた最初の競技会であると説明した。

Gussや他の研究者は、このコンテストがMinecraftを超えた結果をもたらし、より優れた模倣学習アルゴリズムの開発につながり、より多くの人に模倣学習をAIのトレーニング方法として検討させることができると期待している。この研究は、複雑で変化する環境で人間と交流することができるAIの作成に役立つ可能性がある。