AI-forskare skapar 3D-videospelsansikten från användarbilder

Ett team av forskare på NetEase (NTES ), ett kinesiskt spelföretag, har skapat ett system som kan automatiskt extrahera ansikten från foton och generera spelmodeller med bilddata. Resultaten av artikeln, med titeln Face-to-Parameter Translation for Game Character Auto-Creation, sammanfattades av Synced på Medium.

Allt fler speltillverkare väljer att använda AI för att automatisera tidskrävande uppgifter. Till exempel har speltillverkare använt AI-algoritmer för att hjälpa till att återge rörelser för karaktärer och föremål. En annan nylig användning av AI av speltillverkare är att skapa kraftfullare verktyg för karaktärskustomisering.

Karaktärskustomisering är en mycket omtyckt funktion i rollspel, som tillåter spelare att anpassa sina spelaravatarer på många olika sätt. Många spelare väljer att göra sina avatarer lika sig själva, vilket blir mer möjligt allteftersom karaktärskustomiseringssystemens sofistikering ökar. Men när dessa karaktärsskapande verktyg blir mer avancerade, blir de också mycket mer komplexa. Att skapa en karaktär som liknar en själv kan ta timmar av att justera reglage och ändra kryptiska parametrar. NetEase-forskningsgruppen syftar till att ändra allt detta genom att skapa ett system som analyserar en bild av spelaren och genererar en modell av spelarens ansikte på spelkaraktären.

Verktyget för automatisk karaktärsskapande består av två delar: ett imitationslärande system och ett parametertölningsystem. Parametertölningsystemet extraherar funktioner från indata-bilden och skapar parametrar för lärandesystemet att använda. Dessa parametrar används sedan av imitationslärande-modellen för att iterativt generera och förbättra representationen av indata-ansiktet.

Imitationslärande-systemet har en arkitektur som simulerar hur spelmotorn skapar karaktärsmodeller med en konstant stil. Imitationsmodellen är utformad för att extrahera grund-sanningen om ansiktet, med hänsyn till komplexa variabler som skägg, läppstift, ögonbryn och frisyr. Ansiktsparametrarna uppdateras genom processen med gradient-förlust, jämfört med indata. Skillnaden mellan indata-funktionerna och den genererade modellen kontrolleras konstant, och justeringar görs i modellen tills spelkaraktären överensstämmer med indata-funktionerna.

Efter att imitationsnätverket har tränats, kontrollerar parametertölnings-systemet imitationsnätverkets utdata mot indata-bildens funktioner och bestämmer ett funktionellt utrymme som tillåter beräkning av optimala ansiktsparametrar.

Den största utmaningen var att säkerställa att 3D-karaktärsmodellerna kunde bevara detaljer och utseende baserat på foton av människor. Detta är ett tvärdomäns-problem, där 3D-genererade bilder och 2D-bilder av riktiga människor måste jämföras och de grundläggande funktionerna i båda måste vara desamma.

Forskarna löste detta problem med två olika tekniker. Den första tekniken var att dela upp sin modellträning i två olika lärande-uppgifter: en ansiktsinnehållsuppgift och en diskriminativ uppgift. Den allmänna formen och strukturen på en persons ansikte bestäms genom att minimera skillnaden/förlusten mellan två globala utseende-värden, medan diskriminativa/fina detaljer fylls i genom att minimera förlusten mellan saker som skuggor i en liten region. De två olika lärande-uppgifterna kombineras för att uppnå en fullständig representation.

Den andra tekniken som användes för att generera 3D-modeller var ett 3D-ansiktskonstruktionssystem som använder en simulerad skelett-struktur, med hänsyn till ben-form. Detta tillät forskarna att skapa mycket mer avancerade och precisa 3D-bilder i jämförelse med andra 3D-modelleringssystem som förlitar sig på galler eller ansiktsnät.

Skapandet av ett system som kan skapa realistiska 3D-modeller baserat på 2D-bilder är imponerande i sig, men det automatiska genereringssystemet fungerar inte bara med 2D-foton. Systemet kan också ta skisser och karikatyrer av ansikten och återge dem som 3D-modeller med imponerande noggrannhet. Forskningsgruppen misstänker att systemet kan generera precisa modeller baserat på 2D-karaktärer eftersom systemet analyserar ansiktssemantik istället för att tolka råa pixel-värden.

Medan det automatiska karaktärsgenereringssystemet kan användas för att skapa karaktärer baserat på foton, säger forskarna att användare också bör kunna använda det som en supplementär teknik och ytterligare redigera den genererade karaktären enligt deras önskemål.