ユービーアイソフトがAIエージェントをレーシングゲームで車を運転させるためにトレーニング

「AI」という用語は、ビデオゲームの議論で多く使用されますが、通常、コンピュータ科学者がAIと認識するものではなく、ビデオゲームの非プレイヤーキャラクターを制御するロジックを指すために使用されます。人工ニューラルネットワークを使用したAIの実際の応用は、ビデオゲーム業界では比較的まれですが、VentureBeatによると ゲーム会社ユービーアイソフトは、強化学習でトレーニングされたAIエージェントの可能な使用法を調査した論文を最近公開しました。

DeepMindやOpenAIのようなエンティティは、StarCraft 2、Dota 2、MinecraftなどのさまざまなビデオゲームでAIのパフォーマンスを調査してきましたが、ゲーム開発者が直面する特定の制約の下でのAIの使用に関する研究はほとんど行われていません。ユービーアイソフトのプロトタイピング部門であるユービーアイソフトLa Forgeは、商用ビデオゲーム内で予測可能なアクションを実行できるアルゴリズムの詳細をまとめた論文を最近公開しました。報告によると、AIアルゴリズムは現在のベンチマークに到達し、複雑なタスクを信頼性高く実行することができました。

論文の著者は、強化学習が特定のビデオゲームのコンテキストで大きな効果を発揮し、人間のプレイヤーと同等のパフォーマンスを達成していることが多いですが、OpenAIやDeepMindによって作成されたシステムは、ゲーム開発者にとってはあまり役に立たないと指摘しています。著者は、利用可能性の欠如が大きな問題であり、最も印象的な結果は、通常、ゲームスタジオでは利用できない大規模な計算リソースを持つ研究グループによって得られていると述べています。研究者は次のように書いています。

「これらのシステムは、ビデオゲーム業界では比較的少ない使用が見られます。私たちは、利用可能性の欠如がこれらのシステムがあまり使用されていない主な理由であると考えています。実際、非常に印象的な結果…は、通常、ゲームスタジオでは利用できない大規模な計算リソースを持つ大きな研究グループによって生み出されます。」

ユービーアイソフトの研究チームは、これらの問題を解決するために、データサンプルの収集やランタイム予算の制約などの問題を最適化する強化学習アプローチを作成しました。ユービーアイソフトの解決策は、カリフォルニア大学バークレー校での研究からアダプトされました。UCバークレーの研究者によって開発されたSoft Actor-Criticモデルは、新しい状況に効果的に一般化し、ほとんどのモデルよりもサンプル効率が高いモデルを作成できます。ユービーアイソフトのチームは、このアプローチを離散的および連続的なアクションの両方に適応させました。

ユービーアイソフトの研究チームは、3つの異なるゲームでアルゴリズムのパフォーマンスを評価しました。アルゴリズムをテストするために使用されたサッカーのゲームが2つあり、シンプルなプラットフォームスタイルのゲームもありました。这些ゲームの結果は、業界の最先端の結果よりも少し悪かったですが、別のテストも行われ、アルゴリズムははるかに良い結果を出しました。研究者は、AIエージェントが与えられたパスに従い、トレーニング中に目にしていなかった環境で障害物を交渉するように、ドライビングビデオゲームをテストケースとして使用しました。2つの連続的なアクション、ステアリングとアクセレーション、および1つの二値アクション（ブレーキ）がありました。

研究者は論文で結果を要約し、商用ビデオゲームで高速度で車を運転するようにAIエージェントをトレーニングするために、ハイブリッドSoft Actor-Criticアプローチが成功したと述べています。研究者によると、彼らのトレーニングアプローチは、さまざまな種類のインタラクションアプローチに効果的に機能する可能性があります。これには、AIエージェントがプレーヤーと同じ入力オプションを持つ場合も含まれ、アルゴリズムの「実用的有用性」を示しています。