Cercetătorii AI creează modele de fețe pentru jocuri video 3D din fotografii ale utilizatorilor

O echipă de cercetători de la NetEase, o companie chineză de jocuri, a creat un sistem care poate extrage automat fețele din fotografii și genera modele de personaje din joc cu datele de imagine. Rezultatele lucrării, intitulate Face-to-Parameter Translation for Game Character Auto-Creation, au fost rezumate de Synced pe Medium.

Tot mai mulți dezvoltatori de jocuri aleg să utilizeze inteligența artificială pentru a automatiza sarcinile care consumă mult timp. De exemplu, dezvoltatorii de jocuri au folosit algoritmi de inteligență artificială pentru a ajuta la renderizarea mișcărilor personajelor și obiectelor. O altă utilizare recentă a inteligenței artificiale de către dezvoltatorii de jocuri este crearea unor instrumente de personalizare a personajelor mai puternice.

Personalizarea personajelor este o funcție foarte iubită a jocurilor video de rol, care permite jucătorilor să-și personalizeze avatarurile în multe moduri diferite. Mulți jucători aleg să-și facă avatarurile să arate ca ei înșiși, ceea ce devine mai realizabil pe măsură ce sofisticarea sistemelor de personalizare a personajelor crește. Cu toate acestea, pe măsură ce aceste instrumente de creare a personajelor devin mai sofisticate, ele devin și mai complexe. Crearea unui personaj care să semene cu tine poate dura ore de ajustări ale slider-elor și modificări ale parametrilor criptici. Echipa de cercetare NetEase își propune să schimbe totul prin crearea unui sistem care analizează o fotografie a jucătorului și generează un model al feței jucătorului pe personajul din joc.

Instrumentul de creare automată a personajelor este alcătuit din două părți: un sistem de învățare prin imitație și un sistem de traducere a parametrilor. Sistemul de traducere a parametrilor extrage caracteristici din imaginea de intrare și creează parametri pentru sistemul de învățare să utilizeze. Acești parametri sunt apoi utilizați de modelul de învățare prin imitație pentru a genera și a îmbunătăți iterativ reprezentarea feței de intrare.

Sistemul de învățare prin imitație are o arhitectură care simulează modul în care motorul de joc creează modele de personaje cu un stil constant. Modelul de imitație este proiectat pentru a extrage adevărul fundamental al feței, ținând cont de variabile complexe precum barba, buzele, sprâncenele și coafura. Parametrii feței sunt actualizați prin procesul de coborâre a gradientului, comparat cu intrarea. Diferența dintre caracteristicile de intrare și modelul generat este verificată constant, și se fac ajustări la model până când modelul din joc se aliniază cu caracteristicile de intrare.

După ce rețeaua de imitație a fost antrenată, sistemul de traducere a parametrilor verifică ieșirile rețelei de imitație împotriva caracteristicilor imaginii de intrare, decidând asupra unui spațiu de caracteristici care permite calculul parametrilor faciali optimi.

Cea mai mare provocare a fost asigurarea faptului că modelele de personaje 3D pot păstra detalii și aspecte bazate pe fotografii ale oamenilor. Acesta este un problemă transversală, în care imaginile generate 3D și imaginile 2D ale oamenilor reali trebuie comparate și caracteristicile de bază ale ambelor trebuie să fie aceleași.

Cercetătorii au rezolvat această problemă cu două tehnici diferite. Prima tehnică a fost să împartă antrenamentul modelului în două sarcini de învățare diferite: o sarcină de conținut facial și o sarcină discriminativă. Forma generală și structura feței unei persoane sunt determinate prin minimizarea diferenței/pierderii dintre două valori de aspect global, în timp ce detaliile fine/discriminative sunt umplute prin minimizarea pierderii dintre lucruri precum umbrele într-o mică regiune. Cele două sarcini de învățare diferite sunt combinate pentru a obține o reprezentare completă.

A doua tehnică utilizată pentru a genera modele 3D a fost un sistem de construcție a feței 3D care utilizează o structură scheletică simulată, ținând cont de forma oaselor. Acest lucru a permis cercetătorilor să creeze imagini 3D mult mai sofisticate și precise în comparație cu alte sisteme de modelare 3D care se bazează pe grile sau rețele de fețe.

Crearea unui sistem care poate crea modele 3D realiste pe baza imaginilor 2D este suficient de impresionantă în sine, dar sistemul de generare automată nu funcționează doar cu fotografii 2D. Sistemul poate lua și schițe și caricaturi ale fețelor și le poate renderiza ca modele 3D cu o acuratețe impresionantă. Echipa de cercetare suspectează că sistemul poate genera modele precise pe baza caracterelor 2D pentru că sistemul analizează semanticile feței în loc de a interpreta valorile brute de pixeli.

În timp ce generatorul de personaje automat poate fi utilizat pentru a crea personaje pe baza fotografiei, cercetătorii spun că utilizatorii ar trebui să poată utiliza și această tehnică suplimentară și să editeze personajul generat în funcție de preferințele lor.