AI-forskere skaber 3D-video-spil ansigtsmodeller fra brugerfotos

Et hold af forskere hos NetEase (NTES ), en kinesisk spilvirksomhed, har udviklet et system, der kan automatisk udtrække ansigter fra fotos og generere spilmodeller med billeddataen. Resultaterne af artiklen, der hedder Face-to-Parameter Translation for Game Character Auto-Creation, blev samlet af Synced på Medium.

Flere og flere spiludviklere vælger at bruge AI til at automatisere tidskrævende opgaver. For eksempel har spiludviklere brugt AI-algoritmer til at hjælpe med at generere karakter- og objektsbevægelser i spillet. En anden ny brug af AI af spiludviklere er at skabe mere avancerede karaktertilpasse-værktøjer.

Karaktertilpasning er en meget elsket funktion i rollespil, der giver spillere mulighed for at tilpasse deres spilkarakterer på mange forskellige måder. Mange spillere vælger at gøre deres karakterer til at se ud som dem selv, hvilket bliver mere opnåeligt, efterhånden som kompleksiteten af karaktertilpasse-systemerne øges. Men efterhånden som disse karakteroprettelsesværktøjer bliver mere avancerede, bliver de også meget mere komplekse. At skabe en karakter, der ligner en selv, kan tage timer med at justere skalaer og ændre kryptiske parametre. NetEase-forskningsholdet sigter mod at ændre dette ved at skabe et system, der analyserer et billede af spilleren og genererer en model af spillernes ansigt på spilkarakteren.

Det automatiske karakteroprettelsesværktøj består af to halvdele: et imitation-læringsystem og et parameter-oversættelsessystem. Parameter-oversættelsessystemet udtrækker funktioner fra inputbilledet og opretter parametre for læringsystemet at bruge. Disse parametre bruges derefter af imitation-læringsmodellen til at iterativt generere og forbedre repræsentationen af inputansigtet.

Imitation-læringsystemet har en arkitektur, der simulerer, hvordan spilmotoren opretter karaktermodeller med en konstant stil. Imitation-modellen er designet til at udtrække sandheden om ansigtet, hvor komplekse variabler som skæg, læbestift, øjenbryn og hårstyle tages i betragtning. Ansigtsparametrene opdateres gennem processen med gradienttilbageløb, sammenlignet med input. Forskellen mellem inputfunktionerne og den genererede model tjekkes konstant, og justeringer foretages på modellen, indtil spilkarakterens ansigt svarer til inputfunktionerne.

Efter at imitation-netværket er blevet trænet, tjekker parameter-oversættelsessystemet imitation-netværkets output mod inputbilledets funktioner og beslutter om et funktion-rum, der tillader beregning af optimale ansigtsparametre.

Den største udfordring var at sikre, at 3D-karaktermodellerne kunne bevare detaljer og udseende baseret på billeder af mennesker. Dette er et cross-domain-problem, hvor 3D-genererede billeder og 2D-billeder af rigtige mennesker skal sammenlignes, og kernen af begge skal være den samme.

Forskerne løste dette problem med to forskellige teknikker. Den første teknik var at splitte deres modeltræning op i to forskellige læringsopgaver: en ansigtsindhold-opgave og en diskriminerende opgave. Den generelle form og struktur af et menneskes ansigt bestemmes ved at minimere forskellen/tabet mellem to globale fremtrædelsesværdier, mens diskriminerende/fine detaljer udfyldes ved at minimere tabet mellem ting som skygger i en lille region. De to forskellige læringsopgaver kombineres for at opnå en komplet repræsentation.

Den anden teknik, der blev brugt til at generere 3D-modeller, var et 3D-ansigtskonstruktionssystem, der bruger en simuleret skeletstruktur, der tager knogleformen i betragtning. Dette gjorde det muligt for forskerne at skabe langt mere avancerede og nøjagtige 3D-billeder i forhold til andre 3D-modelsystemer, der afhænger af gitter eller ansigtsnet.

Skabelsen af et system, der kan oprette realistiske 3D-modeller baseret på 2D-billeder, er imponerende i sig selv, men det automatiske genereringssystem fungerer ikke kun på 2D-fotos. Systemet kan også tage skitser og karikaturer af ansigter og rendre dem som 3D-modeller med imponerende nøjagtighed. Forskningsholdet formoder, at systemet kan generere nøjagtige modeller baseret på 2D-karakterer, fordi systemet analyserer ansigtssemantik i stedet for at fortolke rå pixelværdier.

Mens det automatiske karaktergenereringsværktøj kan bruges til at oprette karakterer baseret på fotos, siger forskerne, at brugerne også skal kunne bruge det som en supplerende teknik og yderligere redigere den genererede karakter i overensstemmelse med deres præferencer.