Tutkijat luovat 3D-pelihahmojen kasvomallit käyttäjien valokuvista tekoälyllä

Kiinalaisen peliyhtiön NetEasen tutkijaryhmä on kehittänyt järjestelmän, joka pystyy automaattisesti erottamaan kasvot valokuvista ja luomaan niiden avulla pelihahmojen malleja. Tutkimustulokset julkaistiin paperissa, jonka otsikko on Kasvojen muunnos parametreiksi pelihahmojen automaattisessa luomisessa, ja ne on tiivistetty Synced-sivustolla Mediumissa.

Yhä useammat pelinkehittäjät käyttävät tekoälyä automatisoidakseen työläät tehtävät. Esimerkiksi pelinkehittäjät ovat käyttäneet tekoälyalgoritmeja auttamaan hahmojen ja esineiden liikkeiden renderöinnissä. Toisena viimeaikaisena esimerkkinä tekoälyn käytöstä pelinkehittäjien parissa on hahmojen mukautusvälineiden kehittäminen.

Hahmojen mukautus on suosittu ominaisuus roolipeleissä, joka mahdollistaa pelaajien mukauttaa pelihahmojaan monin eri tavoilla. Monet pelaajat haluavat tehdä hahmoistaan omannäköisiä, mikä tulee mahdolliseksi, kun hahmojen mukautusjärjestelmien monimutkaisuus lisääntyy. Kuitenkin, kun nämä hahmonluontijärjestelmät tulevat monimutkaisemmiksi, ne tulevat myös paljon monimutkaisemmiksi. Hahmon luominen, joka muistuttaa itseään, voi vaatia useita tunteja sliderien säätämistä ja salaperäisten parametrejen muuttamista. NetEasen tutkijaryhmä pyrkii muuttamaan tämän luomalla järjestelmän, joka analysoi pelaajan valokuvan ja luo siitä hahmon kasvomallin.

Automaattinen hahmonluontijärjestelmä koostuu kahdesta osasta: jäljittävästä oppimisjärjestelmästä ja parametrinmuunnosjärjestelmästä. Parametrinmuunnosjärjestelmä erottaa ominaisuuksia syötekuvalta ja luo parametreja oppimisjärjestelmän käyttöön. Nämä parametriarvoja käytetään jäljittävän oppimismallin kanssa luomaan ja parantamaan jatkuvasti syötekuvan esitystapaa.

Jäljittävä oppimisjärjestelmä on suunniteltu jäljittelemään pelimoottorin tapaa luoda hahmomalleja jatkuvalla tyylillä. Jäljittävä malli on suunniteltu erottamaan kasvojen perustotuus, ottaen huomioon monimutkaiset muuttujat, kuten parta, huulipuna, kulmakarvat ja hiusten tyyli. Kasvon parametriarvoja päivitetään gradienttilaskennan prosessin kautta ja vertaamalla syöteominaisuuksia. Ero syöteominaisuuksien ja luodun mallin välillä tarkistetaan jatkuvasti, ja korjauksia tehdään malliin, kunnes pelin sisäinen malli vastaa syöteominaisuuksia.

Kun jäljittävä verkko on koulutettu, parametrinmuunnosjärjestelmä tarkistaa jäljittävän verkon tulokset syötekuvaominaisuuksia vasten ja päättää ominaisuusavaruudesta, joka mahdollistaa kasvojen optimaalisten parametriarvojen laskennan.

Suurin haaste oli varmistaa, että 3D-hahmomallit voisivat säilyttää yksityiskohdat ja ulkonäön perustuen ihmisten valokuvien. Tämä on eri alojen välinen ongelma, jossa 3D-mallien ja 2D-kuvien on verrattava ja niiden ydinominaisuuksien on oltava samat.

Tutkijat ratkaisivat tämän ongelman käyttämällä kahta eri tekniikkaa. Ensimmäinen tekniikka oli jakaa mallin koulutus kahteen eri oppimistehtävään: kasvojen sisällön tehtävään ja erottavan tehtävään. Henkilön kasvojen yleinen muoto ja rakenne määritetään minimoida ero/ menetys kahden globaalin ilmeen arvon välillä, kun taas erottavat/ hienot yksityiskohdat täydennetään minimoida menetys asioiden kuten varjojen välillä pienellä alueella. Kaksi eri oppimistehtävää yhdistetään saavuttamaan täydellinen esitys.

Toisena tekniikkana 3D-kasvojen rakennusjärjestelmää käytettiin, joka hyödyntää simuloitua luurankorakennetta, jossa otetaan huomioon luun muoto. Tämä mahdollisti tutkijoille luoda paljon monimutkaisempia ja tarkempia 3D-kuvia verrattuna muihin 3D-mallinnusjärjestelmiin, jotka riippuvat ruudukoista tai kasvomassoista.

Realististen 3D-mallien luominen 2D-kuvien perusteella on vaikuttavaa itsessään, mutta automaattinen luontijärjestelmä ei toimi ainoastaan 2D-valokuvilla. Järjestelmä pystyy myös ottamaan piirroksia ja karikatyyreja kasvoista ja renderöimään niistä 3D-malleja vaikuttavalla tarkkuudella. Tutkimusryhmä epäilee, että järjestelmä pystyy luomaan tarkkoja malleja 2D-hahmoista, koska se analysoi kasvojen semantiikkaa eikä tulkkaa raakapikseliarvoja.

Automaattinen hahmonluontijärjestelmä voidaan käyttää hahmojen luomiseen valokuvien perusteella, mutta tutkijat sanovat, että käyttäjien pitäisi myös voida käyttää sitä täydentävänä tekniikkana ja muokata luotua hahmoa omien mieltymyksiensä mukaan.