AI-forskere opretter 3D-videospils ansigtsmodeller fra brugerbilleder

Et team af forskere hos NetEase, et kinesisk spilfirma, har skabt et system, der automatisk kan udtrække ansigter fra fotos og generere in-game modeller med billeddataene. Resultaterne af papiret, med titlen Ansigt-til-parameter-oversættelse til automatisk oprettelse af spilkarakterer, var opsummeret af Synced on Medium.

Flere og flere spiludviklere vælger at gøre brug af AI til at automatisere tidskrævende opgaver. For eksempel har spiludviklere brugt AI-algoritmer til at hjælpe gengive bevægelserne af karakterer og genstande. En anden nylig brug af AI af spiludviklere er at skabe mere kraftfulde karaktertilpasningsværktøjer.

Karaktertilpasning er en meget elsket funktion ved rollespilsvideospil, der giver spillere i spillet mulighed for at tilpasse deres spilleravatarer på en lang række forskellige måder. Mange spillere vælger at få deres avatarer til at ligne sig selv, hvilket bliver mere opnåeligt, efterhånden som sofistikeringen af ​​karaktertilpasningssystemer øges. Men efterhånden som disse karakterskabelsesværktøjer bliver mere sofistikerede, bliver de også meget mere komplekse. At skabe en karakter, der ligner en selv, kan tage timer med at justere skyderne og ændre kryptiske parametre. NetEase-forskningsteamet har til formål at ændre alt det ved at skabe et system, der analyserer et billede af spilleren og genererer en model af spillerens ansigt på karakteren i spillet.

Det automatiske tegnoprettelsesværktøj består af to halvdele: et efterligningssystem og et parameteroversættelsessystem. Parameteroversættelsessystemet udtrækker funktioner fra inputbilledet og opretter parametre, som læringssystemet kan bruge. Disse parametre bruges derefter af imitationslæringsmodellen til iterativt at generere og forbedre repræsentationen af ​​inputfladen.

Imitationslæringssystemet har en arkitektur, der simulerer den måde, spilmotoren skaber karaktermodeller på med en konstant stil. Imitationsmodellen er designet til at udtrække grundsandheden i ansigtet under hensyntagen til komplekse variabler som skæg, læbestift, øjenbryn og frisure. Ansigtsparametrene opdateres gennem processen med gradientnedstigning sammenlignet med inputtet. Forskellen mellem input-funktionerne og den genererede model kontrolleres konstant, og der foretages tweaks til modellen, indtil in-game-modellen er på linje med input-funktionerne.

Efter at imitationsnetværket er blevet trænet, kontrollerer parameteroversættelsessystemet imitationsnetværkets output i forhold til input-billedegenskaberne, og beslutter sig for en funktionsplads, der tillader beregning af optimale ansigtsparametre.

Den største udfordring var at sikre, at 3D-karaktermodellerne kunne bevare detaljer og udseende baseret på billeder af mennesker. Dette er et problem på tværs af domæner, hvor 3D-genererede billeder og 2D-billeder af rigtige mennesker skal sammenlignes, og kernefunktionerne i begge skal være de samme.

Forskerne løste dette problem med to forskellige teknikker. Den første teknik var at dele deres modeltræning op i to forskellige læringsopgaver: en ansigtsopgave og en diskriminerende opgave. Den generelle form og struktur af en persons ansigt skelnes ved at minimere forskellen/tabet mellem to globale udseendeværdier, mens diskriminerende/fine detaljer udfyldes ved at minimere tabet mellem ting som skygger i et lille område. De to forskellige læringsopgaver flettes sammen for at opnå en komplet repræsentation.

Den anden teknik, der blev brugt til at generere 3D-modeller, var et 3D-ansigtskonstruktionssystem, der bruger en simuleret skeletstruktur under hensyntagen til knogleformen. Dette gjorde det muligt for forskerne at skabe meget mere sofistikerede og nøjagtige 3D-billeder i sammenligning med andre 3D-modelleringssystemer, der er afhængige af gitter eller ansigtsmasker.

Skabelsen af ​​et system, der kan skabe realistiske 3D-modeller baseret på 2D-billeder, er imponerende nok i sig selv, men det automatiske genereringssystem virker ikke kun på 2D-fotos. Systemet kan også tage skitser og karikaturer af ansigter og gengive dem som 3D-modeller med imponerende nøjagtighed. Forskerholdet har mistanke om, at systemet er i stand til at generere nøjagtige modeller baseret på 2D-tegn, fordi systemet analyserer ansigtssemantik i stedet for at fortolke rå pixelværdier.

Mens den automatiske tegngenerator kan bruges til at skabe karakterer baseret på fotos, siger forskerne, at brugere også skal kunne bruge den som en supplerende teknik og yderligere redigere den genererede karakter i henhold til deres præferencer.