Ubisoft Trénuje AI Agenta K Řízení Vozy V Závodním Hře

Pojem „AI“ se často používá v diskusích o videohrách, ale obvykle se používá k označení logiky, která ovládá nehráčské postavy ve videohrách, spíše než k odkazování na jakýkoli systém poháněný tím, co by počítačoví vědci uznali jako AI. Skutečné aplikace AI využívající umělých neuronových sítí jsou poměrně vzácné ve videoherním průmyslu, ale jak VentureBeat uvádí herní společnost Ubisoft nedávno zveřejnila studii zkoumající možné použití AI agenta vyškoleného pomocí učení s posilováním.

Zatímco entity jako DeepMind a OpenAI prozkoumaly, jak AI fungují v různých videohrách, jako je StarCraft 2, Dota 2, a Minecraft, bylo provedeno velmi málo výzkumů o použití AI za specifických omezení, kterým čelí vývojáři her. Ubisoft La Forge, prototypovací část Ubisoftu, nedávno zveřejnila studii popisující algoritmus schopný provádět předvídatelné akce v komerční videohře. Podle zprávy byly algoritmy AI schopny dosáhnout aktuálních benchmarků a spolehlivě provádět složité úkoly.

Autoři studie uvádějí, že zatímco učení s posilováním bylo použito s velkým úspěchem v kontextu určitých videoher, často dosahující rovnocennosti s nejlepšími lidskými hráči těchto her, systémy vytvořené OpenAI a DeepMind jsou zřídka užitečné pro vývojáře her. Autoři uvádějí, že nedostatek přístupnosti je velkým problémem a že nejpozoruhodnější výsledky jsou dosaženy výzkumnými skupinami s přístupem k velkým výpočetním zdrojům, zdrojům, které obvykle překračují to, co má k dispozici průměrný vývojář her. Napsali výzkumníci:

„Tyto systémy byly ve videoherním průmyslu použity poměrně málo a věříme, že nedostatek přístupnosti je hlavní důvodem. Skutečně, opravdu působivé výsledky … jsou produkovány velkými výzkumnými skupinami s výpočetními zdroji, které jsou mnohem větší než ty, které jsou obvykle k dispozici ve videoherních studiích.“

Výzkumný tým z Ubisoftu se pokusil řešit některé z těchto problémů vytvořením přístupu k učení s posilováním, který optimalizoval problémy, jako je sběr vzorků dat a omezení rozpočtu běhu. Řešení Ubisoftu bylo adaptováno z výzkumu provedeného na University of California, Berkeley. Model Soft Actor-Critic vyvinutý výzkumníky z UC Berkeley je schopen vytvořit model, který může účinně zobecnit na nové podmínky a je mnohem více vzorkově efektivní než většina modelů. Tým Ubisoftu vzal tento přístup a adaptován jej pro diskrétní i kontinuální akce.

Výzkumný tým z Ubisoftu vyhodnotil výkon svého algoritmu ve třech různých hrách. Byly použity dvě fotbalové hry k otestování algoritmu, stejně jako jednoduchá platformová hra. Zatímco výsledky pro tyto hry byly slightly horší než výsledky průmyslových standardů, byl proveden další test, ve kterém algoritmy fungovaly mnohem lépe. Výzkumníci použili závodní videohru jako testovací případ, přičemž AI agent následoval danou cestu a zvládal překážky v prostředí, které agent neviděl během trénování. Byly dvě kontinuální akce, řízení a zrychlení, stejně jako jedna binární akce (brzdění).

Výzkumníci shrnuli své výsledky ve studii, prohlašujíce, že hybridní přístup Soft Actor-Critic byl úspěšný při trénování AI agenta k řízení na vysoké rychlosti v komerčně dostupné videohře. Podle výzkumníků může jejich přístup k trénování potenciálně fungovat pro širokou škálu možných interakčních přístupů. Tyto zahrnují instance, ve kterých má AI agent přesně stejné vstupní možnosti, jaké má hráč, demonstrující „praktickou užitečnost takového algoritmu pro videoherní průmysl“.