Tekoälytutkijat luovat 3D-videopelihahmojen kasvomalleja käyttäjien valokuvista

NetEasen, kiinalaisen peliyhtiön, tutkijaryhmä on luonut järjestelmän, joka voi automaattisesti poimia kasvot valokuvista ja luoda niiden avulla pelihahmoja kuvatiedon avulla. Tutkimustulokset, jotka on julkaistu tutkimuksessa Face-to-Parameter Translation for Game Character Auto-Creation, on tiivistetty Synced-sivustolla Mediumissa .

Yhä useammat pelinkehittäjät valitsevat tekoälyn avulla automatisoida aikaa vievät tehtävät. Esimerkiksi pelinkehittäjät ovat käyttäneet tekoälyalgoritmeja hahmojen ja objektien liikkeiden renderöintiin. Toinen viimeaikainen tekoälyn käyttö pelinkehittäjien keskuudessa on tehokkaampien hahmokustomoinityökalujen luominen.

Hahmokustomointi on rakastettu ominaisuus roolipeleissä, joka mahdollistaa pelaajien mukauttaa pelihahmojaan monin eri tavoin. Monet pelaajat valitsevat tehdä hahmoistaan omannäköisiä, mikä tulee mahdolliseksi, kun hahmokustomoinjärjestelmien monimutkaisuus lisääntyy. Kuitenkin, kun nämä hahmonluontityökalut tulevat monimutkaisemmiksi, ne tulevat myös monimutkaisemmiksi. Hahmon luominen, joka muistuttaa itseään, voi vaatia useita tunteja sliderien säätämistä ja salaperäisten parametrejen muuttamista. NetEasen tutkijaryhmä pyrkii muuttamaan tämän luomalla järjestelmän, joka analysoi pelaajan valokuvaa ja luo hahmon kasvomallin pelissä.

Automaattinen hahmonluontityökalu koostuu kahdesta osasta: jäljittämisoppimisjärjestelmästä ja parametrinmuunnosjärjestelmästä. Parametrinmuunnosjärjestelmä poimii ominaisuuksia syötteenä olevasta kuvasta ja luo oppimisjärjestelmän käyttämät parametrit. Nämä parametrit käytetään jäljittämisoppimismallissa luomaan ja parantamaan syötteenä olevan kasvon esitystä.

Jäljittämisoppimisjärjestelmällä on arkkitehtuuri, joka simuloii pelimoottorin luomaa hahmomallia vakio tyylissä. Jäljittäismalli on suunniteltu poimimaan kasvon perustiedot, ottaen huomioon monimutkaiset muuttujat, kuten parta, huulipuna, kulmakarvat ja hiustenmalli. Kasvon parametrit päivitetään gradientinlaskun kautta, verrattaen syötettä vastaan. Syötteen ja luodun mallin välinen ero tarkistetaan jatkuvasti, ja muutoksia tehdään malliin, kunnes pelin sisäinen malli vastaa syötteen ominaisuuksia.

Kun jäljittämisverkko on koulutettu, parametrinmuunnosjärjestelmä tarkistaa jäljittämisverkon tulokset syötteen kuvan ominaisuuksia vastaan, päättäen ominaisuustilasta, joka mahdollistaa kasvon optimaalisten parametrejen laskennan.

Suurin haaste oli varmistaa, että 3D-hahmomallit voivat säilyttää yksityiskohdat ja ulkonäön perustuen ihmisten valokuvista. Tämä on ristiriitainen ongelma, jossa 3D-mallien ja 2D-kuvien on verrattava ja ydinominaisuuksien on oltava samat.

Tutkijat ratkaisivat tämän ongelman kahdella eri tekniikalla. Ensimmäinen tekniikka oli jakaa mallin koulutus kahteen eri oppimistehtävään: kasvon sisällön tehtävään ja erottuvan tehtävään. Henkilön kasvon yleinen muoto ja rakenne määritetään vähentämällä eroa/heittoa kahden globaalin ulkonäön arvon välillä, kun taas erottuvat/yksityiskohdat täydentävät asioita, kuten varjoja pienellä alueella. Kaksi eri oppimistehtävää yhdistetään saavuttamaan täydellinen esitys.

Toinen tekniikka, jota käytettiin 3D-mallien luomiseen, oli 3D-kasvon rakennusjärjestelmä, joka käytti simuloitua luurankorakennetta, ottaen huomioon luun muodon. Tämä mahdollisti tutkijoiden luoda paljon monimutkaisempia ja tarkempia 3D-kuvia verrattuna muihin 3D-mallinnusjärjestelmiin, jotka riippuvat ruuduista tai kasvoverkoista.

Järjestelmän luominen, joka voi luoda realistisia 3D-malleja 2D-kuvista, on vaikuttava itsessään, mutta automaattinen mallinnusjärjestelmä ei toimi ainoastaan 2D-valokuvilla. Järjestelmä voi myös ottaa kasvojen piirroksia ja karikatyyreja ja renderöidä ne 3D-malleiksi vaikuttavalla tarkkuudella. Tutkijaryhmä epäilee, että järjestelmä pystyy luomaan tarkkoja malleja 2D-hahmoista, koska se analysoi kasvon semantiikkaa sen sijaan, että tulkitsee raakapikseliarvoja.

Vaikka automaattinen hahmonluontityökalu voidaan käyttää hahmojen luomiseen valokuvien perusteella, tutkijat sanovat, että käyttäjien pitäisi myös voida käyttää sitä täydentävänä tekniikkana ja muokata luotua hahmoa omien mieltymystensä mukaan.