KI-Forscher erstellen 3D-Videospiele-Gesichtsmodelle aus Benutzerfotos

Ein Team von Forschern bei NetEase, einem chinesischen Gaming-Unternehmen, hat ein System entwickelt, das automatisch Gesichter aus Fotos extrahieren und Spielmodelle mit den Bilddaten generieren kann. Die Ergebnisse des Papiers, betitelt Face-to-Parameter-Translation für die automatische Erstellung von Spielcharakteren, wurden von Synced auf Medium zusammengefasst.

Immer mehr Spieletwickler entscheiden sich dafür, KI zu nutzen, um zeitaufwändige Aufgaben zu automatisieren. So haben Spieletwickler beispielsweise KI-Algorithmen verwendet, um die Bewegungen von Charakteren und Objekten zu rendern. Ein weiterer jüngster Einsatz von KI durch Spieletwickler ist die Erstellung leistungsfähigerer Charakteranpassungstools.

Die Charakteranpassung ist eine sehr beliebte Funktion in Rollenspielen, die es den Spielern ermöglicht, ihre Spielcharaktere auf vielfältige Weise anzupassen. Viele Spieler entscheiden sich dafür, ihre Charaktere so anzupassen, dass sie ihnen selbst ähneln, was mit zunehmender Sophistikation der Charakteranpassungssysteme immer leichter wird. Allerdings werden diese Charaktererstellungstools auch komplexer, wenn sie fortschrittlicher werden. Die Erstellung eines Charakters, der dem Spieler ähnelt, kann Stunden des Anpassens von Reglern und Änderns von kryptischen Parametern erfordern. Das Forschungsteam von NetEase will dies ändern, indem es ein System entwickelt, das ein Foto des Spielers analysiert und ein Modell des Gesichts des Spielers auf dem Spielcharakter erstellt.

Das automatische Charaktererstellungstool besteht aus zwei Hälften: einem Imitationslernsystem und einem Parameterübersetzungssystem. Das Parameterübersetzungssystem extrahiert Merkmale aus dem Eingabebild und erstellt Parameter für das Lernsystem. Diese Parameter werden dann vom Imitationslernmodell verwendet, um die Darstellung des Eingabegesichts iterativ zu generieren und zu verbessern.

Das Imitationslernsystem hat eine Architektur, die die Art und Weise simuliert, wie die Spiel-Engine Charaktermodelle mit einem konstanten Stil erstellt. Das Imitationsmodell ist darauf ausgelegt, die Grundwahrheit des Gesichts zu extrahieren und dabei komplexe Variablen wie Bärte, Lippenstift, Augenbrauen und Haarstyling zu berücksichtigen. Die Gesichtsparameter werden durch den Prozess des Gradientenabstiegs aktualisiert und mit dem Eingabebild verglichen. Die Differenz zwischen den Eingabemerkmalen und dem generierten Modell wird ständig überprüft und angepasst, bis das Spielmodell mit den Eingabemerkmalen übereinstimmt.

Nachdem das Imitationsnetzwerk trainiert wurde, überprüft das Parameterübersetzungssystem die Ausgaben des Imitationsnetzwerks gegen die Eingabebildmerkmale und entscheidet über einen Merkmalsraum, der die Berechnung optimaler Gesichtsparameter ermöglicht.

Die größte Herausforderung bestand darin, sicherzustellen, dass die 3D-Charaktermodelle Details und Erscheinungsbilder basierend auf Fotos von Menschen erhalten können. Dies ist ein Cross-Domain-Problem, bei dem 3D-erzeugte Bilder und 2D-Bilder von realen Personen verglichen und die Kernmerkmale beider verglichen werden müssen.

Die Forscher lösten dieses Problem mit zwei verschiedenen Techniken. Die erste Technik bestand darin, ihre Modelltrainingsaufgabe in zwei verschiedene Lernaufgaben aufzuteilen: eine Gesichtsinhaltsaufgabe und eine diskriminative Aufgabe. Die allgemeine Form und Struktur eines Gesichts werden durch Minimieren der Differenz/Verlust zwischen zwei globalen Erscheinungswerten ermittelt, während diskriminative/feine Details durch Minimieren des Verlusts zwischen Dingen wie Schatten in einer kleinen Region ausgefüllt werden. Die beiden verschiedenen Lernaufgaben werden zusammengeführt, um eine vollständige Darstellung zu erreichen.

Die zweite Technik, die zur Erstellung von 3D-Modellen verwendet wurde, war ein 3D-Gesichtskonstruktionssystem, das eine simulierte Skelettstruktur verwendet und die Knochenform berücksichtigt. Dies ermöglichte es den Forschern, viel sophistischere und genauere 3D-Bilder im Vergleich zu anderen 3D-Modellierungssystemen zu erstellen, die auf Gittern oder Gesichtsmaschen basieren.

Die Erstellung eines Systems, das realistische 3D-Modelle auf der Grundlage von 2D-Bildern erstellen kann, ist an sich bereits beeindruckend, aber das automatische Generierungssystem funktioniert nicht nur mit 2D-Fotos. Das System kann auch Skizzen und Karikaturen von Gesichtern erkennen und sie als 3D-Modelle mit beeindruckender Genauigkeit rendern. Das Forschungsteam vermutet, dass das System in der Lage ist, genaue Modelle auf der Grundlage von 2D-Charakteren zu erstellen, weil das System Gesichtssemantik analysiert, anstatt rohe Pixelwerte zu interpretieren.

Während das automatische Charaktergenerierungssystem verwendet werden kann, um Charaktere basierend auf Fotos zu erstellen, sagen die Forscher, dass Benutzer es auch als ergänzende Technik verwenden und den generierten Charakter gemäß ihren Vorlieben weiter bearbeiten sollten.