KI-Forscher erstellen 3D-Videospiel-Gesichtsmodelle aus Benutzerfotos

Ein Forscherteam von NetEase, einem chinesischen Spieleunternehmen, hat ein System entwickelt, das automatisch Gesichter aus Fotos extrahieren und mit den Bilddaten In-Game-Modelle generieren kann. Die Ergebnisse der Arbeit mit dem Titel Face-to-Parameter-Übersetzung für die automatische Erstellung von Spielcharakteren, wurden zusammengefasst von Synced on Medium.

Immer mehr Spieleentwickler entscheiden sich für den Einsatz von KI, um zeitaufwändige Aufgaben zu automatisieren. Beispielsweise nutzen Spieleentwickler KI-Algorithmen, um zu helfen die Bewegungen wiedergeben von Charakteren und Objekten. Ein weiterer neuer Einsatz von KI durch Spieleentwickler ist die Entwicklung leistungsfähigerer Tools zur Charakteranpassung.

Die Charakteranpassung ist eine beliebte Funktion von Rollenspiel-Videospielen, die es den Spielern des Spiels ermöglicht, ihre Spieler-Avatare auf vielfältige Weise anzupassen. Viele Spieler entscheiden sich dafür, ihre Avatare wie sie selbst aussehen zu lassen, was mit zunehmender Komplexität der Charakteranpassungssysteme immer einfacher zu erreichen ist. Je ausgefeilter diese Tools zur Charaktererstellung werden, desto komplexer werden sie jedoch auch. Das Erstellen eines Charakters, der einem selbst ähnelt, kann stundenlang dauern, indem man Schieberegler anpasst und kryptische Parameter ändert. Das Forschungsteam von NetEase möchte all dies ändern, indem es ein System entwickelt, das ein Foto des Spielers analysiert und ein Modell des Gesichts des Spielers auf dem Charakter im Spiel erstellt.

Das automatische Charaktererstellungstool besteht aus zwei Hälften: einem Nachahmungslernsystem und einem Parameterübersetzungssystem. Das Parameterübersetzungssystem extrahiert Merkmale aus dem Eingabebild und erstellt Parameter für die Verwendung durch das Lernsystem. Diese Parameter werden dann vom Nachahmungslernmodell verwendet, um die Darstellung des Eingabegesichts iterativ zu generieren und zu verbessern.

Das Imitationslernsystem verfügt über eine Architektur, die die Art und Weise simuliert, wie die Spiel-Engine Charaktermodelle mit einem konstanten Stil erstellt. Das Nachahmungsmodell soll die Grundwahrheit des Gesichts ermitteln und dabei komplexe Variablen wie Bärte, Lippenstift, Augenbrauen und Frisur berücksichtigen. Die Gesichtsparameter werden durch den Prozess des Gradientenabstiegs aktualisiert und mit der Eingabe verglichen. Der Unterschied zwischen den Eingabemerkmalen und dem generierten Modell wird ständig überprüft und es werden Optimierungen am Modell vorgenommen, bis das In-Game-Modell mit den Eingabemerkmalen übereinstimmt.

Nachdem das Imitationsnetzwerk trainiert wurde, vergleicht das Parameterübersetzungssystem die Ausgaben des Imitationsnetzwerks mit den Eingabebildmerkmalen und entscheidet über einen Merkmalsraum, der die Berechnung optimaler Gesichtsparameter ermöglicht.

Die größte Herausforderung bestand darin, sicherzustellen, dass die 3D-Charaktermodelle Details und Erscheinungsbilder basierend auf Fotos von Menschen bewahren konnten. Hierbei handelt es sich um ein domänenübergreifendes Problem, bei dem 3D-generierte Bilder und 2D-Bilder realer Menschen verglichen werden müssen und die Kernmerkmale beider identisch sein müssen.

Die Forscher lösten dieses Problem mit zwei verschiedenen Techniken. Die erste Technik bestand darin, ihr Modelltraining in zwei verschiedene Lernaufgaben aufzuteilen: eine Gesichtsinhaltsaufgabe und eine Unterscheidungsaufgabe. Die allgemeine Form und Struktur des Gesichts einer Person wird erkannt, indem der Unterschied/Verlust zwischen zwei globalen Erscheinungswerten minimiert wird, während diskriminierende/feine Details ausgefüllt werden, indem der Verlust zwischen Dingen wie Schatten in einem kleinen Bereich minimiert wird. Die beiden unterschiedlichen Lernaufgaben werden zu einer vollständigen Darstellung zusammengeführt.

Die zweite Technik zur Generierung von 3D-Modellen war ein 3D-Gesichtskonstruktionssystem, das eine simulierte Skelettstruktur unter Berücksichtigung der Knochenform verwendet. Dadurch konnten die Forscher im Vergleich zu anderen 3D-Modellierungssystemen, die auf Gittern oder Flächennetzen basieren, wesentlich ausgefeiltere und genauere 3D-Bilder erstellen.

Die Schaffung eines Systems, das realistische 3D-Modelle auf der Grundlage von 2D-Bildern erstellen kann, ist an sich schon beeindruckend genug, aber das automatische Generierungssystem funktioniert nicht nur bei 2D-Fotos. Das System kann auch Skizzen und Karikaturen von Gesichtern aufnehmen und diese mit beeindruckender Genauigkeit als 3D-Modelle rendern. Das Forschungsteam vermutet, dass das System in der Lage ist, genaue Modelle auf der Grundlage von 2D-Zeichen zu generieren, da das System die Gesichtssemantik analysiert, anstatt rohe Pixelwerte zu interpretieren.

Während sich mit dem automatischen Zeichengenerator Charaktere auf der Grundlage von Fotos erstellen lassen, sollen Nutzer ihn den Forschern zufolge auch als ergänzende Technik nutzen und die generierten Charaktere nach ihren Vorlieben weiter bearbeiten können.