AI が Minecraft 機械学習コンテストに出場

によって報告されるように 自然、新しい AI コンペティション、MineRL コンペティションが間もなく開催されます。これは、AI エンジニアやプログラマーが観察と例を通じて学習できるプログラムを作成することを奨励します。 これらの AI システムのテスト ケースは、非常に人気のあるクラフトおよびサバイバル ビデオ ゲーム Minecraft になります。

ビデオ ゲームに関しては、人工知能システムが最近いくつかの目覚ましい成果を上げています。 つい最近、AI が戦略ゲーム StarCraft II で世界最高の人間プレイヤーを破りました。 ただし、StarCraft II には、AI がトレーニングに使用できる一貫したステップに分割しやすい、定義可能な目標があります。 はるかに難しい課題は、AI が Minecraft のような大規模なオープンワールド サンドボックス ゲームの操作方法を学習することです。 研究者らは、AI プログラムが観察と例を通じて学習できるよう支援することを目指しており、これが成功すれば、人工知能プログラムのトレーニングに必要な処理能力を大幅に削減できる可能性がある。

コンテストの参加者は、Minecraft でテストされる AI を XNUMX 日間で作成し、AI をトレーニングするために最大 XNUMX 万ステップを要します。 AI の目標は、ゲーム内でダイヤモンドを掘って見つけることです。 XNUMX 万ステップのトレーニングは、最近の強力な AI モデルのトレーニングに必要な時間よりもはるかに短いため、コンテストの参加者は、現在のトレーニング方法よりも大幅に改善された方法を設計する必要があります。

参加者が使用しているアプローチは、模倣学習と呼ばれる一種の学習に基づいています。 模倣学習は、工場のロボット アームや StarCraft II で人間のプレイヤーに勝つことができる AI などの洗練されたシステムをトレーニングするための一般的な方法である強化学習とは対照的です。 強化学習アルゴリズムの主な欠点は、学習のために相互に接続された数百、場合によっては数千台のコンピューターに依存するため、学習に膨大なコンピューター処理能力を必要とするという事実です。 対照的に、模倣学習ははるかに効率的で、計算コストが低いトレーニング方法です。 模倣学習アルゴリズムは、人間が観察によって学習する方法を模倣しようとします。

カーネギーメロン大学の深層学習理論の博士号取得候補者であるウィリアム・ガス氏は、AIに環境内のパターンを探索して学習させるのは非常に困難な作業だが、模倣学習はAIに知識のベースライン、つまり優れた情報を提供するとNatureに説明した。環境に関する事前の仮定。 これにより、強化学習と比較して AI のトレーニングをはるかに迅速に行うことができます。

Minecraft は、さまざまな理由から特に便利なトレーニング環境として機能します。 その理由の 60 つは、Minecraft ではプレイヤーが単純なビルディング ブロックを使用して複雑な構造物やアイテムを作成できるためであり、これらの構造物を作成するために必要な多くの手順が、研究者が指標として使用できる進捗状況の具体的なマーカーとして機能するためです。 Minecraftも非常に人気があるため、学習データを集めるのは比較的簡単です。 MineRL コンテストの主催者は、ツールの作成やブロックの分解などのさまざまなタスクをデモンストレーションするために多くの Minecraft プレイヤーを募集しました。 データの生成をクラウドソーシングすることで、研究者はゲーム内で実行できるアクションの 1000 万例を収集することができました。 研究者らは競技チームに約XNUMX時間のビデオを提供した。

人間が蓄積してきた知識を活用せよ、とロヒン・シャー博士は言います。 カリフォルニア大学バークレー校のコンピューターサイエンスの候補者は、このコンテストはおそらく人間がすでに生成した知識を利用してAIのトレーニングを促進することに焦点を当てた最初のコンテストである可能性が高いとNatureに説明した。

ガス氏と他の研究者らは、このコンテストが Minecraft を超えた意味を持つ成果をもたらし、より優れた模倣学習アルゴリズムを生み出し、より多くの人に模倣学習を AI トレーニングの実行可能な形式として考えるよう促すことを期待している。 この研究は、複雑で変化する環境において人々とより適切に対話できるAIの開発に役立つ可能性がある。