AI-forskere lager 3D videospill ansiktsmodeller fra brukerfoto

Et team av forskere hos NetEase, et kinesisk spill-selskap, har utviklet et system som kan automatisk ekstrahere ansikter fra foto og generere spillmodeller med bilde-data. Resultatene av papiret, med tittelen Face-to-Parameter Translation for Game Character Auto-Creation, ble summeret av Synced på Medium.

Flere og flere spillutviklere velger å bruke AI til å automatisere tidskrevende oppgaver. For eksempel har spillutviklere brukt AI-algoritmer til å hjelpe å rendre bevegelsene til karakterer og objekter. En annen nylig bruk av AI av spillutviklere er å lage kraftigere karaktertilpassingsverktøy.

Karaktertilpassing er en svært elsket funksjon i rollespill, som tillater spillere å tilpasse sine spillere i en mengde forskjellige måter. Mange spillere velger å gjøre sine avatars likt seg selv, noe som blir mer oppnåelig etterhvert som sofistikasjonen av karaktertilpassingssystemer øker. Imidlertid, etterhvert som disse karakteropprettingssystemene blir mer sofistikerte, blir de også mye mer komplekse. Å lage en karakter som ligner på seg selv kan ta timer med å justere skli og endre kryptiske parametre. NetEase-forskingsteamets mål er å endre alt dette ved å lage et system som analyserer et bilde av spilleren og genererer en modell av spillernes ansikt på spillkarakteren.

Det automatiske karakteropprettingssystemet består av to halvdeler: et imitasjonslæringssystem og et parameteroversettelsessystem. Parameteroversettelsessystemet trekker ut egenskaper fra inndata-bildet og lager parametre for læringssystemet å bruke. Disse parameterne brukes deretter av imitasjonslæringmodellen til å iterativt generere og forbedre representasjonen av inndata-ansiktet.

Imitasjonslæringssystemet har en arkitektur som simulerer måten spillmotoren lager karaktermodeller med en konstant stil. Imitasjonsmodellen er designet til å trekke ut grunn-sannheten av ansiktet, med tanke på komplekse variable som skjegg, leppstift, øyenbryn og frisyr. Ansiktsparameterne oppdateres gjennom prosessen med gradient-forfall, sammenlignet med inndata. Forskjellen mellom inndata-egenskapene og den genererte modellen sjekkes konstant, og justeringer gjøres på modellen til spillmodellen stemmer overens med inndata-egenskapene.

Etter at imitasjonsnettverket er trent, sjekker parameteroversettelsessystemet imitasjonsnettverkets utdata mot inndata-bilde-egenskapene, og bestemmer en egenskapsrom som tillater beregning av optimale ansiktsparametre.

Den største utfordringen var å sikre at 3D-karaktermodellene kunne bevare detaljer og utseende basert på foto av mennesker. Dette er et tverrdomene-problem, der 3D-genererte bilder og 2D-bilder av virkelige mennesker må sammenlignes og de grunnleggende egenskapene til begge må være de samme.

Forskerne løste dette problemet med to forskjellige tekniker. Den første teknikken var å splitte opp deres modelltrening i to forskjellige læringoppgaver: en ansiktsinnhold-oppgave og en diskriminativ oppgave. Den generelle formen og strukturen til et menneskes ansikt bestemmes ved å minimere forskjellen/tap mellom to globale utseende-verdier, mens diskriminative/fine detaljer fylles inn ved å minimere tapet mellom ting som skygge i en liten region. De to forskjellige læringoppgavene slås sammen for å oppnå en fullstendig representasjon.

Den andre teknikken som ble brukt til å generere 3D-modeller var et 3D-ansiktskonstruksjonssystem som bruker en simulerings-skelettsstruktur, med tanke på bein-form. Dette tillot forskerne å lage mye mer sofistikerte og nøyaktige 3D-bilder i sammenligning med andre 3D-modelleringssystemer som avhenger av ruter eller ansikts-mesh.

Opprettelsen av et system som kan lage realistiske 3D-modeller basert på 2D-bilder er imponerende i seg selv, men det automatiske genereringssystemet fungerer ikke bare på 2D-foto. Systemet kan også ta tegninger og karikaturer av ansikter og rendre dem som 3D-modeller med imponerende nøyaktighet. Forskingsteamet mistenker at systemet kan generere nøyaktige modeller basert på 2D-karakterer fordi systemet analyserer ansikts-semantikk i stedet for å tolke rå piksverdier.

Mens det automatiske karakter-genereringssystemet kan brukes til å lage karakterer basert på foto, sier forskerne at brukerne også bør kunne bruke det som et supplementær teknikk og videre redigere den genererte karakteren i henhold til deres preferanser.