Ubisoft Kouluttaa Tekoälyagentin Ajoon Rallisimulaattoripeliin

Termi ”tekoäly” käytetään paljon videopelien keskusteluissa, mutta se viittaa yleensä logiikkaan, joka ohjaa ei-pelaajahahmoja videopelissä, eikä se viittaa mihinkään järjestelmään, jota tietokoneen tutkijat tunnistaisivat tekoälyksi. Tekoälyn soveltamiset, jotka hyödyntävät tekoälyverkkoja, ovat melko harvinaisia videopeli-alalla, mutta kuten VentureBeat raportoi peliyhtiö Ubisoft on julkaissut tutkimuksen mahdollisten tekoälyagentin käyttökohteiden tutkimiseksi vahvistusoppimisella koulutettuna.

Vaikka tahot kuten DeepMind ja OpenAI ovat tutkineet, miten tekoälyt suoriutuvat erilaisissa videopelissä, kuten StarCraft 2, Dota 2 ja Minecraft, on tehty vain vähän tutkimusta tekoälyn käytöstä erityisesti pelikehittäjien kohtaamien rajoitusten alla. Ubisoft La Forge, Ubisoftin prototyyppiosasto, on juuri julkaissut tutkimuksen, jossa esitellään algoritmi, joka pystyy suorittamaan ennustettavia toimia kaupallisessa videopelissä. Tutkimuksen mukaan tekoälyalgoritmit pystyivät saavuttamaan nykyiset mittarit ja suorittamaan monimutkaisia tehtäviä luotettavasti.

Tutkimuksen tekijät toteavat, että vaikka vahvistusoppimista on käytetty hyvin tiettyjen videopelien yhteydessä, saavuttaen usein tasapuolisuuden parhaiden ihmispelaajien kanssa, OpenAI:n ja DeepMindin luomat järjestelmät ovat harvoin hyödyllisiä pelikehittäjille. Tutkijat toteavat, että saatavuuden puute on suuri ongelma, ja että vaikuttavimmat tulokset saavutetaan suurten tutkimusryhmien toimesta, joilla on käytössään laajamittaiset laskentaresurssit, jotka ylittävät yleensä pelikehittäjien käytössä olevat resurssit. Tutkijat kirjoittavat:

”Nämä järjestelmät ovat verrattain vähän käytettyjä videopeli-alalla, ja uskomme, että saatavuuden puute on suuri syy tähän. Todella vaikuttavat tulokset … saavutetaan suurten tutkimusryhmien toimesta, joilla on käytössään laskentaresurssit, jotka ylittävät yleensä videopelien kehittäjien käytössä olevat resurssit.”

Ubisoftin tutkimusryhmä pyrki korjaamaan joitain näistä ongelmista luomalla vahvistusoppimismenetelmän, joka optimoi ongelmia kuten datanäytteiden kerääminen ja suoritusaikabudjettirajoitukset. Ubisoftin ratkaisu perustui Kalifornian yliopiston Berkeleyn tutkimukseen. UC Berkeleyn tutkijoiden kehittämä Soft Actor-Critic -malli pystyy luomaan mallin, joka pystyy tehokkaasti yleistämään uusiin olosuhteisiin ja on paljon näyte-tehokkaampi kuin useimmat mallit. Ubisoftin tiimi sovelsi tätä lähestymistapaa sekä diskreeteihin että jatkuviin toimiin.

Ubisoftin tutkimusryhmä arvioi algoritmin suorituskykyä kolmessa eri pelissä. Käytössä oli kaksi jalkapalloa peliä algoritmin testaamiseen, sekä yksinkertainen platformer-tyylinen peli. Vaikka tulokset näissä peleissä olivat hieman heikompia kuin alan parhaat tulokset, tehtiin toinen testi, jossa algoritmi suoriutui paljon paremmin. Tutkijat käyttivät ajopeliä testitapauksena, jossa tekoälyagentti seurasi annettua reittiä ja kiersi esteitä ympäristössä, jota agentti ei ollut nähnyt koulutuksen aikana. Käytössä oli kaksi jatkuvaan toimintaan liittyvää toimintaa, ohjaus ja kiihdytys, sekä yksi binääritoiminto (jarrutus).

Tutkijat yhteenvedon tuloksista tutkimuksessa, julistamalla, että hybridinen Soft Actor-Critic -lähestymistapa oli onnistunut kouluttamassa tekoälyagenttia ajamaan korkeilla nopeuksilla kaupallisessa videopelissä. Tutkijoiden mukaan heidän koulutuslähestymistapansa voi potentiaalisesti toimia laajalla valikoimalla mahdollisia vuorovaikutuslähestymistapoja. Nämä sisältävät tapaukset, joissa tekoälyllä on täsmälleen samat syötevaihtoehdot kuin pelaajalla, osoittaen ”sellaisen algoritmin käytännön hyödyllisyyttä videopeli-alalla.”