AI-onderzoekers creëren 3D-videogame-gezichten uit gebruikersfoto’s

Een team van onderzoekers bij NetEase (NTES ), een Chinese gamemaatschappij, heeft een systeem ontwikkeld dat automatisch gezichten uit foto’s kan extraheren en in-game-modellen kan genereren met de beeldgegevens. De resultaten van het artikel, getiteld Face-to-Parameter Translation for Game Character Auto-Creation, werden samengevat door Synced op Medium.

Steeds meer gamemaatschappijen kiezen ervoor om AI te gebruiken om tijdrovende taken te automatiseren. Zo gebruiken gamemaatschappijen AI-algoritmen om de bewegingen van personages en objecten te renderen. Een andere recente toepassing van AI door gamemaatschappijen is het creëren van krachtigere karakteraanpassingstools.

Karakteraanpassing is een geliefde functie in rollenspellen, waarmee spelers hun spelersavatars op veel verschillende manieren kunnen aanpassen. Veel spelers kiezen ervoor om hun avatars eruit te laten zien als zichzelf, wat haalbaarder wordt naarmate de geavanceerdheid van de karakteraanpassingssystemen toeneemt. Echter, naarmate deze karaktercreatiemiddelen geavanceerder worden, worden ze ook veel complexer. Het creëren van een karakter dat op jezelf lijkt, kan uren duren van het aanpassen van schuifregelaars en het wijzigen van cryptische parameters. Het onderzoeksteam van NetEase wil hier verandering in brengen door een systeem te creëren dat een foto van de speler analyseert en een model van het gezicht van de speler op het personage in het spel genereert.

Het automatische karaktercreatiemiddel bestaat uit twee delen: een imitatiemiddel en een parametersysteem. Het parametersysteem haalt kenmerken uit de invoerbeeld en maakt parameters voor het imitatiemiddel. Deze parameters worden vervolgens door het imitatiemodel gebruikt om iteratief de weergave van het invoerbeeld te genereren en te verbeteren.

Het imitatiemiddel heeft een architectuur die de manier simuleert waarop de game-engine karaktermodellen met een constante stijl maakt. Het imitatiemodel is ontworpen om de grondwaarheid van het gezicht te extraheren, waarbij complexe variabelen zoals baarden, lippenstift, wenkbrauwen en haardracht in aanmerking worden genomen. De gezichtsparameters worden bijgewerkt via het proces van gradient descent, vergeleken met de invoer. Het verschil tussen de invoerkenmerken en het gegenereerde model wordt constant gecontroleerd en aangepast totdat het personage in het spel overeenkomt met de invoerkenmerken.

Nadat het imitatiemiddel is getraind, controleert het parametersysteem de uitvoer van het imitatiemiddel tegen de invoerbeeldkenmerken en besluit over een kenmerkruimte die de berekening van optimale gezichtsparameters mogelijk maakt.

De grootste uitdaging was ervoor te zorgen dat de 3D-karaktermodellen de details en uiterlijk van mensen op basis van foto’s konden behouden. Dit is een cross-domeinprobleem, waarbij 3D-gegenereerde beelden en 2D-beelden van echte mensen moeten worden vergeleken en de kernkenmerken van beide hetzelfde moeten zijn.

De onderzoekers losten dit probleem op met twee verschillende technieken. De eerste techniek was om hun modeltraining op te splitsen in twee verschillende leertaak: een gezichtsinhoudstaak en een discriminatieve taak. De algemene vorm en structuur van een persoonsgezicht worden bepaald door het minimaliseren van het verschil/verlies tussen twee globale verschijningswaarden, terwijl discriminatieve/fijne details worden ingevuld door het minimaliseren van het verlies tussen dingen zoals schaduwen in een kleine regio. De twee verschillende leertaak worden samengevoegd om een complete weergave te bereiken.

De tweede techniek die werd gebruikt om 3D-modellen te genereren, was een 3D-gezichtsconstructiesysteem dat een gesimuleerde skeletstructuur gebruikt, waarbij de vorm van de botten in aanmerking wordt genomen. Dit stelde de onderzoekers in staat om veel geavanceerdere en nauwkeurigere 3D-beelden te creëren in vergelijking met andere 3D-modelleringssystemen die op roosters of gezichtsmazen vertrouwen.

De creatie van een systeem dat realistische 3D-modellen op basis van 2D-beelden kan maken, is op zichzelf al indrukwekkend, maar het automatische generatiesysteem werkt niet alleen met 2D-foto’s. Het systeem kan ook schetsen en karikaturen van gezichten nemen en deze als 3D-modellen met indrukwekkende nauwkeurigheid renderen. Het onderzoeksteam vermoedt dat het systeem in staat is om nauwkeurige modellen te genereren op basis van 2D-karakters omdat het systeem gezichtssemantiek analyseert in plaats van ruwe pixelwaarden te interpreteren.

Terwijl het automatische karaktergeneratiemiddel kan worden gebruikt om karakters op basis van foto’s te maken, zeggen de onderzoekers dat gebruikers het ook moeten kunnen gebruiken als een aanvullende techniek en het gegenereerde karakter verder moeten kunnen bewerken volgens hun voorkeuren.