Ubisoft trenira AI agenta za vožnju automobila u trkaćoj igri

Izraz "AI" često se koristi u raspravama o video igrama, ali obično se koristi za označavanje logike koja kontrolira neigračke likove u video igrama, umjesto da se odnosi na bilo koji sustav vođen onim što bi računalni znanstvenici prepoznali kao AI . Stvarne primjene umjetne inteligencije koja koristi umjetne neuronske mreže prilično su rijetke u industriji videoigara, ali kako prenosi VentureBeat gaming tvrtka Ubisoft nedavno je objavila papir istraživanje mogućih upotreba agenta umjetne inteligencije obučenog za učenje s pojačanjem.

Iako su entiteti poput DeepMinda i OpenAI-ja istraživali kako umjetna inteligencija radi u raznim videoigrama, kao StarCraft 2, Dota 2i Minecraft, provedeno je vrlo malo istraživanja o korištenju umjetne inteligencije pod određenim ograničenjima s kojima se često susreću programeri igara. Ubisoft La Forge, ogranak Ubisofta za izradu prototipa, nedavno je objavio rad u kojem je detaljno opisan algoritam koji može izvesti predvidljive radnje unutar komercijalne video igre. Prema izvješću, algoritmi umjetne inteligencije bili su sposobni dostići trenutna mjerila i pouzdano obavljati složene zadatke.

Autori rada primjećuju da dok se učenje s potkrepljenjem koristilo s velikim učinkom u kontekstu određenih videoigara, često postižući ravnopravnost s najboljim ljudskim igračima navedenih igara, sustavi koje su stvorili OpenAI i DeepMind rijetko su korisni za programere igara. Autori primjećuju da je nedostatak pristupačnosti veliki problem i da su najimpresivnije rezultate postigle istraživačke grupe s pristupom računalnim resursima velikih razmjera, resursima koji obično nadilaze ono čemu prosječni programer igrica ima pristup. Istraživači su napisali:

“Ovi su sustavi relativno malo korišteni u industriji videoigara i vjerujemo da je nedostatak pristupačnosti glavni razlog tome. Uistinu, doista impresivne rezultate ... daju velike istraživačke grupe s računalnim resursima daleko većim od onoga što je obično dostupno u studijima za video igre.”

Istraživački tim iz Ubisofta namjeravao je riješiti neke od ovih problema stvaranjem pristupa učenju s pojačanjem koji je optimiziran za probleme poput prikupljanja uzoraka podataka i proračunskih ograničenja za vrijeme izvođenja. Ubisoftovo rješenje prilagođeno je istraživanju provedenom na Kalifornijskom sveučilištu Berkeley. Model Soft Actor-Critic koji su razvili istraživači UC Berkely može stvoriti model koji se može učinkovito generalizirati na nove uvjete i koji je mnogo učinkovitiji na uzorku od većine modela. Tim Ubisofta uzeo je ovaj pristup i prilagodio ga za diskretne i kontinuirane akcije.

Istraživački tim Ubisofta procijenio je izvedbu svog algoritma na tri različite igre. Za testiranje algoritma korištene su dvije nogometne igre, kao i jednostavna igrica u stilu platformera. Dok su rezultati za te igre bili malo lošiji od rezultata najsuvremenije industrije, proveden je još jedan test u kojem su algoritmi bili puno bolji. Istraživači su koristili videoigru vožnje kao svoj testni slučaj, a agent s umjetnom inteligencijom je slijedio zadanu putanju i prevladavao prepreke u okruženju kojem agent nije svjedočio tijekom obuke. Postojale su dvije kontinuirane radnje, upravljanje i ubrzanje, kao i jedna binarna radnja (kočenje).

Istraživači su saželi svoje rezultate u radu, izjavljujući da je hibridni pristup Soft Actor-Critic bio uspješan pri obučavanju AI agenta za vožnju pri velikim brzinama u komercijalno dostupnoj videoigri. Prema istraživačima, njihov pristup obuci potencijalno može funkcionirati za širok raspon mogućih pristupa interakciji. To uključuje slučajeve u kojima AI agent ima točno iste mogućnosti unosa koje ima igrač, što pokazuje "praktičnu korisnost takvog algoritma za industriju videoigara".