ユービーアイソフトがレーシングゲームで自動運転車を開発するためのAIエージェントをトレーニング

「AI」という用語は、ビデオゲームの議論において頻繁に使用されますが、通常、ビデオゲームにおける非プレイヤーキャラクターを制御するロジックを指すために使用され、コンピュータ科学者がAIと認識するようなシステムを指すために使用されることは珍しいです。人工ニューラルネットワークを使用したAIの実際の応用は、ビデオゲーム業界ではまれですが、VentureBeatの報告によると、ゲーム会社ユービーアイソフトは最近、強化学習を使用したAIエージェントの可能な用途を調査した論文を公開しました。

DeepMindやOpenAIのようなエンティティは、StarCraft 2、Dota 2、MinecraftのようなビデオゲームでAIのパフォーマンスを調査してきましたが、ゲーム開発者が直面する特定の制約の下でのAIの使用に関する研究はほとんど行われていません。ユービーアイソフトのプロトタイピング部門であるユービーアイソフトLa Forgeは、商用ビデオゲーム内で予測可能なアクションを実行できるアルゴリズムに関する論文を最近公開しました。報告によると、AIアルゴリズムは現在のベンチマークを達成し、複雑なタスクを信頼性高く実行することができました。

論文の著者は、強化学習は特定のビデオゲームの文脈で大きな効果を発揮し、時にはそれらのゲームのベストプレイヤーと同等のパフォーマンスを達成していますが、OpenAIやDeepMindによって作成されたシステムは、ゲーム開発者にとってほとんど役に立たないと指摘しています。著者は、利用可能性の欠如が大きな問題であり、最も印象的な結果は、通常、ゲームスタジオでは利用できない大規模な計算リソースを備えた大きな研究グループによって達成されていると述べています。研究者は次のように書いています。

「これらのシステムは、ビデオゲーム業界内で比較的少ない使用例しか見られません。我々は、利用可能性の欠如がこれらのシステムが広く採用されていない主な理由であると考えています。実際、非常に印象的な結果…は、通常、ビデオゲームスタジオでは利用できない大規模な計算リソースを備えた大きな研究グループによって達成されています。」

ユービーアイソフトの研究チームは、これらの問題を解決するために、データサンプルの収集やランタイム予算の制約などの問題を最適化した強化学習アプローチを作成しました。ユービーアイソフトの解決策は、カリフォルニア大学バークレー校での研究に基づいています。UCバークレーの研究者によって開発されたSoft Actor-Criticモデルは、新しい状況に効果的に一般化し、ほとんどのモデルよりもサンプル効率が高いモデルを作成できます。ユービーアイソフトのチームは、このアプローチを離散的および連続的なアクションの両方に適応させました。

ユービーアイソフトの研究チームは、3つの異なるゲームでアルゴリズムのパフォーマンスを評価しました。アルゴリズムをテストするために使用された2つのサッカーゲームと、シンプルなプラットフォームスタイルのゲームがありました。这些ゲームの結果は、業界の最先端の結果よりも少し悪かったですが、別のテストも行われ、アルゴリズムのパフォーマンスは大幅に改善されました。研究者は、AIエージェントが与えられたパスを追跡し、トレーニング中に目にしたことのない環境で障害物を回避するようにするために、ドライビングビデオゲームをテストケースとして使用しました。2つの連続的なアクション（ステアリングとアクセレレーション）と1つの二値アクション（ブレーキング）がありました。

研究者は、論文で結果をまとめ、ハイブリッドSoft Actor-Criticアプローチが、商用的に利用可能なビデオゲームで高速で運転するAIエージェントをトレーニングする際に成功したと述べています。研究者によると、彼らのトレーニングアプローチは、AIエージェントがプレイヤーと同じ入力オプションを持ち、ビデオゲーム業界における「そのようなアルゴリズムの実用的な有用性」を示すような、幅広い可能なインタラクションアプローチに対して機能する可能性があると考えられています。