Ubisoft Trénuje AI Agenta K Řízení Vozu Ve Hře S Řízením

Termín „AI“ se často používá v diskusích o videohrách, ale obvykle se používá k označení logiky, která ovládá postavy, které nejsou hráči, ve videohrách, spíše než k odkazování na jakýkoli systém poháněný tím, co počítačoví vědci uznávají jako AI. Skutečné aplikace AI využívající umělou neuronovou síť jsou poměrně vzácné ve videoherním průmyslu, ale jak uvádí VentureBeat společnost Ubisoft nedávno zveřejnila článek zkoumající možné použití AI agenta školeného pomocí učení z posílení.

Zatímco subjekty, jako je DeepMind a OpenAI, prozkoumaly, jak AI fungují v různých videohrách, jako je StarCraft 2, Dota 2, a Minecraft, bylo provedeno velmi málo výzkumů o použití AI za specifických omezení, kterým čelí vývojáři her. Ubisoft La Forge, prototypovací část Ubisoftu, nedávno zveřejnila článek popisující algoritmus schopný provádět předvídatelné akce v komerční videohře. Podle zprávy byly algoritmy AI schopny dosáhnout aktuálních benchmarků a spolehlivě provádět složité úkoly.

Autoři článku uvádějí, že zatímco učení z posílení bylo použito s velkým úspěchem v kontextu určitých videoher, často dosahujícího parity s nejlepšími lidskými hráči těchto her, systémy vytvořené OpenAI a DeepMind jsou zřídka užitečné pro vývojáře her. Autoři uvádějí, že nedostatek přístupnosti je velkou otázkou a že nejpozoruhodnější výsledky jsou získány výzkumnými skupinami s přístupem k velkým výpočetním zdrojům, zdrojům, které obvykle daleko přesahují to, co má běžný vývojář her k dispozici. Výzkumníci napsali:

„Tyto systémy byly ve srovnání s tím málo použity ve videoherním průmyslu a věříme, že nedostatek přístupnosti je hlavní důvodem tohoto jevu. Skutečně, opravdu působivé výsledky … jsou produkovány velkými výzkumnými skupinami s výpočetními zdroji, které daleko přesahují to, co je obvykle k dispozici ve videoherních studiích.“

Výzkumný tým z Ubisoftu se snažil odstranit některé z těchto problémů vytvořením přístupu k učení z posílení, který optimalizoval problémy, jako je sběr vzorků dat a omezení rozpočtu běhu. Řešení Ubisoftu bylo adaptováno z výzkumu provedeného na University of California, Berkeley. Model Soft Actor-Critic vyvinutý výzkumníky z UC Berkely je schopen vytvořit model, který může účinně zobecnit na nové podmínky a je mnohem více vzorkově efektivnější než většina modelů. Tým Ubisoftu vzal tento přístup a adaptoval ho pro diskrétní a kontinuální akce.

Tým výzkumníků z Ubisoftu vyhodnotil výkon svého algoritmu ve třech různých hrách. Byly použity dvě fotbalové hry k otestování algoritmu, stejně jako jednoduchá platformová hra. Zatímco výsledky pro tyto hry byly slightly horší než výsledky průmyslových standardů, byl proveden další test, ve kterém algoritmy fungovaly mnohem lépe. Výzkumníci použili hru s řízením jako testovací případ, přičemž AI agent následoval stanovenou cestu a vyjednával s překážkami v prostředí, které agent neviděl během tréninku. Byly dvě kontinuální akce, řízení a zrychlení, stejně jako jedna binární akce (brzdění).

Výzkumníci shrnuli své výsledky v článku, prohlašují, že hybridní přístup Soft Actor-Critic byl úspěšný při školení AI agenta k řízení na vysoké rychlosti v komerčně dostupné videohře. Podle výzkumníků může jejich přístup k tréninku potenciálně fungovat pro širokou škálu možných interakčních přístupů. Tyto zahrnují instance, ve kterých má AI agent stejné vstupní možnosti, jaké má hráč, demonstrující „praktickou užitečnost takového algoritmu pro videoherní průmysl.“