AI-forskere lager 3D videospillansikter fra brukerfotografier

Et team av forskere hos NetEase (NTES ), et kinesisk spillforetak, har utviklet et system som kan automatisk trekke ut ansikter fra fotografier og generere spillmodeller med bildeinformasjonen. Resultatene av artikkelen, med tittelen Face-to-Parameter Translation for Game Character Auto-Creation, ble samlet av Synced på Medium.

Flere og flere spillutviklere velger å bruke AI til å automatisere tidskrevende oppgaver. For eksempel har spillutviklere brukt AI-algoritmer til å hjelpe å rendre bevegelser av karakterer og objekter. En annen nylig bruk av AI av spillutviklere er å lage mer kraftfulle verktøy for karaktertilpassing.

Karaktertilpassing er en svært elsket funksjon i rollespill, som lar spillere tilpasse sine spillkarakterer på en mengde forskjellige måter. Mange spillere velger å gjøre sine karakterer lik seg selv, noe som blir mer oppnåelig ettersom kompleksiteten til karaktertilpassingssystemene øker. Men når disse karakteropprettingssystemene blir mer avanserte, blir de også mye mer komplekse. Å lage en karakter som ligner en selv kan ta timer med å justere skalaer og endre kryptiske parametre. NetEase-forskningsgruppen ønsker å endre dette ved å lage et system som analyserer et bilde av spilleren og genererer en modell av spillernes ansikt på spillkarakteren.

Verktøyet for automatisk karakteroppretting består av to halvdeler: et imitasjonslæringssystem og et parameteroversettelsessystem. Parameteroversettelsessystemet trekker ut egenskaper fra inndata-bildet og lager parametre for læringssystemet å bruke. Disse parameterne brukes deretter av imitasjonslæringmodellen til å iterativt generere og forbedre representasjonen av inndata-ansiktet.

Imitasjonslæringssystemet har en arkitektur som simulerer måten spillmotoren lager karaktermodeller med en konstant stil. Imitasjonsmodellen er designet til å trekke ut grunnfakta om ansiktet, med tanke på komplekse variabler som skjegg, leppstift, øyebryn og frisyre. Ansiktsparameterne oppdateres gjennom prosessen med gradient-forfall, sammenlignet med inndata. Forskjellen mellom inndata-egenskapene og den genererte modellen sjekkes konstant, og justeringer gjøres på modellen til spillmodellen stemmer overens med inndata-egenskapene.

Etter at imitasjonsnettverket er blitt trent, sjekker parameteroversettelsessystemet imitasjonsnettverkets utdata mot inndata-bilde-egenskapene, og bestemmer en egenskapsrom som tillater beregning av optimale ansiktsparametre.

Den største utfordringen var å sikre at 3D-karaktermodellene kunne bevare detaljer og utseende basert på menneskefotografier. Dette er et tverrdomæne-problem, der 3D-genererte bilder og 2D-bilder av virkelige mennesker må sammenlignes, og hvor de grunnleggende egenskapene til begge må være de samme.

Forskerne løste dette problemet med to forskjellige teknikker. Den første teknikken var å dele opp modelltreningen i to forskjellige læringoppgaver: en ansiktsinnhold-oppgave og en diskriminerende oppgave. Den generelle formen og strukturen til et menneskes ansikt bestemmes ved å minimere forskjellen/tapet mellom to globale utseende-verdier, mens diskriminerende/fine detaljer fylles inn ved å minimere tapet mellom ting som skygge i en liten region. De to forskjellige læringoppgavene kombineres for å oppnå en fullstendig representasjon.

Den andre teknikken som ble brukt til å generere 3D-modeller var et 3D-ansiktskonstruksjonssystem som bruker en simulerings-skelettsstruktur, som tar hensyn til bein-form. Dette tillot forskerne å lage mye mer avanserte og nøyaktige 3D-bilder sammenlignet med andre 3D-modelleringssystemer som avhenger av ruter eller ansiktsnett.

Opprettelsen av et system som kan lage realistiske 3D-modeller basert på 2D-bilder er imponerende i seg selv, men det automatiske genereringssystemet fungerer ikke bare med 2D-fotografier. Systemet kan også ta skisser og karikaturer av ansikter og rendre dem som 3D-modeller med imponerende nøyaktighet. Forskningsgruppen mistenker at systemet kan generere nøyaktige modeller basert på 2D-karakterer fordi systemet analyserer ansiktsemantikk i stedet for å tolke rå pikselverdier.

Mens det automatiske karaktergenereringssystemet kan brukes til å lage karakterer basert på fotografier, sier forskerne at brukerne også bør kunne bruke det som et supplementært verktøy og redigere den genererte karakteren i henhold til deres preferanser.