„Ubisoft“ išmoko dirbtinio intelekto agentą vairuoti automobilį lenktynių žaidime

Terminas „AI“ dažnai vartojamas diskusijose apie vaizdo žaidimus, tačiau jis paprastai vartojamas kalbant apie logiką, kuri valdo ne žaidėjų personažus vaizdo žaidimuose, o ne apie bet kokią sistemą, kurią valdo tai, ką kompiuterių mokslininkai pripažintų AI. . Faktiniai AI pritaikymai, naudojantys dirbtinius neuroninius tinklus, yra gana reti vaizdo žaidimų pramonėje, tačiau kaip praneša „VentureBeat“. žaidimų bendrovė „Ubisoft“ neseniai paskelbė popierius tiria galimus AI agento, apmokyto sustiprinti mokymąsi, panaudojimo galimybes.

Nors tokie subjektai kaip DeepMind ir OpenAI ištyrė, kaip AI veikia įvairiuose vaizdo žaidimuose, pvz. StarCraft 2, Dota 2ir minecraft, buvo atlikta labai mažai AI naudojimo pagal specifinius apribojimus, su kuriais dažnai susiduria žaidimų kūrėjai, tyrimų. Ubisoft La Forge, Ubisoft prototipų kūrimo padalinys, neseniai paskelbė dokumentą, kuriame išsamiai aprašomas algoritmas, galintis atlikti nuspėjamus veiksmus komerciniame vaizdo žaidime. Remiantis ataskaita, AI algoritmai galėjo pasiekti dabartinius etalonus ir patikimai atlikti sudėtingas užduotis.

Straipsnio autoriai pažymi, kad nors sustiprinimo mokymasis buvo naudojamas tam tikrų vaizdo žaidimų kontekste, dažnai pasiekiant lygiavertiškumą su geriausiais šių žaidimų žaidėjais, OpenAI ir DeepMind sukurtos sistemos retai būna naudingos žaidimų kūrėjams. Autoriai pažymi, kad prieinamumo trūkumas yra didelė problema ir kad įspūdingiausius rezultatus pasiekia tyrimų grupės, turinčios prieigą prie didelio masto skaičiavimo išteklių – išteklių, kurie paprastai gerokai viršija tai, ką turi vidutinis žaidimų kūrėjas. Tyrėjai rašė:

„Šios sistemos buvo palyginti mažai naudojamos vaizdo žaidimų pramonėje, ir manome, kad prieinamumo trūkumas yra pagrindinė to priežastis. Iš tiesų, tikrai įspūdingus rezultatus... sukuria didelės tyrimų grupės, turinčios daug daugiau skaičiavimo išteklių, nei paprastai yra vaizdo žaidimų studijose.

„Ubisoft“ tyrimų grupė siekė išspręsti kai kurias iš šių problemų, sukurdama sustiprinto mokymosi metodą, kuris optimizuotas tokioms problemoms kaip duomenų pavyzdžių rinkimas ir vykdymo laiko biudžeto apribojimai. „Ubisoft“ sprendimas buvo pritaikytas iš Kalifornijos universiteto Berklyje atliktų tyrimų. UC Berkely tyrimų sukurtas „Soft Actor-Critic“ modelis gali sukurti modelį, kuris gali efektyviai apibendrinti naujas sąlygas ir yra daug efektyvesnis nei dauguma modelių. Ubisoft komanda pasinaudojo šiuo požiūriu ir pritaikė jį tiek atskiriems, tiek nuolatiniams veiksmams.

Ubisoft tyrimų komanda įvertino savo algoritmo veikimą trijuose skirtinguose žaidimuose. Algoritmui išbandyti buvo naudojami du futbolo žaidimai, taip pat paprastas platformingo stiliaus žaidimas. Nors šių žaidimų rezultatai buvo šiek tiek prastesni nei naujausių pramonės šakų rezultatai, buvo atliktas kitas testas, kurio metu algoritmai veikė daug geriau. Tyrėjai naudojo vairavimo vaizdo žaidimą kaip bandomąjį atvejį, kai dirbtinio intelekto agentas eina tam tikru keliu ir susidoroja su kliūtimis aplinkoje, kurios agentas nebuvo matęs treniruočių metu. Buvo du nuolatiniai veiksmai, vairavimas ir greitėjimas, taip pat vienas dvejetainis veiksmas (laužymas).

Tyrėjai apibendrino savo rezultatus darbe, pareiškę, kad hibridinis „Soft Actor-Critic“ metodas buvo sėkmingas mokant AI agentą važiuoti dideliu greičiu komerciškai prieinamame vaizdo žaidime. Pasak mokslininkų, jų mokymo metodas gali būti naudingas daugeliui galimų sąveikos metodų. Tai apima atvejus, kai AI agentas turi lygiai tas pačias įvesties parinktis, kurias turi žaidėjas, parodydamas „praktinį tokio algoritmo naudingumą vaizdo žaidimų pramonei“.