Ubisoft Kouluttaa Tekoälyagentin Ajoon Rallipeliin

“Tekoäly” termejä käytetään paljon videopelien keskusteluissa, mutta ne viittaavat yleensä ei-pelihahmojen logiikkaan videopelien ohjaamiseen, eikä mihinkään tietokoneen tieteen näkökulmasta todelliseen tekoälysovellukseen. Todelliset tekoälysovellukset, jotka hyödyntävät tekoälyverkkoja, ovat melko harvinaisia videopeliyrityksessä, mutta kuten VentureBeat raportoi peliyhtiö Ubisoft on julkaissut tutkimuksen mahdollisten tekoälysovellusten tutkimiseksi.

Entiteetit kuten DeepMind ja OpenAI ovat tutkineet, miten tekoäly toimii erilaisissa videopelissä, kuten StarCraft 2, Dota 2 ja Minecraft, mutta vain vähän tutkimusta on tehty tekoälyn käytöstä pelikehittäjien kohtaamien erityisten rajoitusten alla. Ubisoft La Forge, Ubisoftin prototyyppiosasto, on julkaissut tutkimuksen, jossa esitetään algoritmi, joka voi suorittaa ennustettavia toimintoja kaupallisessa videopelissä. Tutkimuksen mukaan tekoälyalgoritmit pystyivät saavuttamaan nykyiset mittapuut ja suorittamaan monimutkaisia tehtäviä luotettavasti.

Tutkimuksen kirjoittajat toteavat, että vaikka vahvistusoppiminen on osoittautunut hyvin toimivaksi tietyissä videopelien yhteydessä, saavuttaen usein vertaisuuden parhaiden ihmispelaajien kanssa, OpenAI:n ja DeepMindin luomat järjestelmät ovat harvoin hyödyllisiä pelikehittäjille. Kirjoittajat toteavat, että saatavuuden puute on suuri ongelma, ja että vaikuttavimmat tulokset saavutetaan suurten tutkimusryhmien toimesta, joilla on käytössään laajat laskentaresurssit, jotka ylittävät yleensä videopeliyritysten resurssit. Tutkijat kirjoittavat:

“Nämä järjestelmät ovat verrattain vähän käytettyjä videopeliyrityksessä, ja uskomme, että saatavuuden puute on suuri syy tähän. Todellakin, vaikuttavimmat tulokset … tuottavat suuret tutkimusryhmät, joilla on käytössään laskentaresurssit, jotka ylittävät yleensä videopeliyritysten resurssit.”

Tutkimusryhmä Ubisoftista pyrki korjaamaan joitain näistä ongelmista luomalla vahvistusoppimisen lähestymistavan, joka optimoi ongelmia kuten aineiston kerääminen ja suoritusaikaresurssit. Ubisoftin ratkaisu perustui tutkimukseen, jota tehtiin Kalifornian yliopistossa, Berkeleyssä. UC Berkeleyn tutkijoiden kehittämä Soft Actor-Critic -malli pystyy luomaan mallin, joka voi tehokkaasti yleistää uusiin olosuhteisiin ja on paljon näyte-tehokkaampi kuin useimmat mallit. Ubisoftin tiimi sovelsi tätä lähestymistapaa sekä diskreeteille että jatkuville toimille.

Ubisoftin tutkimusryhmä arvioi algoritmin suorituskykyä kolmessa eri pelissä. Käytössä oli kaksi jalkapallopeliä algoritmin testaamiseen, sekä yksinkertainen platformer-peli. Vaikka tulokset näissä peleissä olivat hieman heikompia kuin teollisuuden parhaat tulokset, tehtiin toinen testi, jossa algoritmi suoritti paljon paremmin. Tutkijat käyttivät ajopeliä testitapauksena, jossa tekoälyagentti seurasi annettua reittiä ja kiersi esteitä ympäristössä, jota se ei ollut nähnyt koulutuksen aikana. Käytössä oli kaksi jatkuvaan toimintaan liittyvää toimintaa, ohjaus ja kiihdytys, sekä yksi binääritoiminto (jarrutus).

Tutkijat yhteenvedon tuloksista tutkimuksessa, julistaen, että hybridinen Soft Actor-Critic -lähestymistapa oli onnistunut kouluttaessaan tekoälyagenttia ajamaan korkeilla nopeuksilla kaupallisessa videopelissä. Tutkijoiden mukaan heidän koulutuslähestymistapansa voi potentiaalisesti toimia laajasti erilaisissa vuorovaikutuslähestymistapoissa. Nämä sisältävät tapaukset, joissa tekoälyagentilla on samat syötevaihtoehdot kuin pelaajalla, osoittaen “praktilisen hyödyllisyyden sellaiselle algoritmille videopeliyritykselle”.