KI-Forscher erstellen 3D-Videospiele-Gesichtsmodelle aus Benutzerfotos

Ein Team von Forschern bei NetEase (NTES ), einem chinesischen Gaming-Unternehmen, hat ein System entwickelt, das Gesichter aus Fotos automatisch extrahieren und Spiel-Modelle mit den Bilddaten generieren kann. Die Ergebnisse des Artikels, der den Titel Face-to-Parameter-Translation für die automatische Erstellung von Spielcharakteren trägt, wurden von Synced auf Medium zusammengefasst.

Immer mehr Spiele-Entwickler entscheiden sich dafür, KI zu nutzen, um zeitaufwändige Aufgaben zu automatisieren. Zum Beispiel nutzen Spiele-Entwickler KI-Algorithmen, um Bewegungen von Charakteren und Objekten zu rendern. Ein weiterer jüngster Einsatz von KI durch Spiele-Entwickler ist die Erstellung leistungsfähigerer Charakter-Anpassungstools.

Charakter-Anpassung ist ein sehr beliebtes Feature in Rollenspielen, das es Spielern ermöglicht, ihre Spieler-Avatare auf vielfältige Weise anzupassen. Viele Spieler entscheiden sich dafür, ihre Avatare so anzupassen, dass sie sich selbst ähneln, was mit zunehmender Komplexität der Charakter-Erstellungssysteme immer einfacher wird. Allerdings werden diese Charakter-Erstellungstools auch komplexer, wenn sie fortschrittlicher werden. Die Erstellung eines Charakters, der einem selbst ähnelt, kann Stunden dauern, in denen man Schieberegler anpasst und kryptische Parameter ändert. Das Forschungsteam von NetEase zielt darauf ab, dies zu ändern, indem es ein System entwickelt, das ein Foto des Spielers analysiert und ein Modell des Gesichts des Spielers auf dem Spiel-Charakter generiert.

Das automatische Charakter-Erstellungstool besteht aus zwei Hälften: einem Imitations-Lern-System und einem Parameter-Übersetzungs-System. Das Parameter-Übersetzungs-System extrahiert Merkmale aus dem Eingabe-Bild und erstellt Parameter für das Lern-System. Diese Parameter werden dann vom Imitations-Lern-Modell verwendet, um iterativ die Darstellung des Eingabe-Gesichts zu generieren und zu verbessern.

Das Imitations-Lern-System hat eine Architektur, die die Art und Weise simuliert, wie die Spiel-Engine Charakter-Modelle mit einem konstanten Stil erstellt. Das Imitations-Modell ist darauf ausgelegt, die Grundwahrheit des Gesichts zu extrahieren, wobei komplexe Variablen wie Bärte, Lippenstift, Augenbrauen und Haarstyling berücksichtigt werden. Die Gesichts-Parameter werden durch den Prozess des Gradienten-Abstiegs aktualisiert, der mit dem Eingabe-Bild verglichen wird. Der Unterschied zwischen den Eingabe-Merkmalen und dem generierten Modell wird ständig überprüft und angepasst, bis das Spiel-Modell mit den Eingabe-Merkmalen übereinstimmt.

Nachdem das Imitations-Netzwerk trainiert wurde, überprüft das Parameter-Übersetzungs-System die Ausgaben des Imitations-Netzwerks gegen die Eingabe-Bild-Merkmale und entscheidet über einen Merkmals-Raum, der die Berechnung optimaler Gesichts-Parameter ermöglicht.

Die größte Herausforderung bestand darin, sicherzustellen, dass die 3D-Charakter-Modelle Details und Erscheinungsbild basierend auf Fotos von Menschen erhalten konnten. Dies ist ein Cross-Domain-Problem, bei dem 3D-erzeugte Bilder und 2D-Bilder von realen Menschen verglichen und die Kernmerkmale beider verglichen werden müssen.

Die Forscher lösten dieses Problem mit zwei verschiedenen Techniken. Die erste Technik bestand darin, ihre Modell-Trainingsaufgabe in zwei verschiedene Lern-Aufgaben aufzuteilen: eine Gesichts-Inhalts-Aufgabe und eine diskriminative Aufgabe. Die allgemeine Form und Struktur eines Gesichts werden durch die Minimierung der Differenz/Verlust zwischen zwei globalen Erscheinungswerten ermittelt, während diskriminative/feine Details durch die Minimierung des Verlusts zwischen Dingen wie Schatten in einer kleinen Region aufgefüllt werden. Die beiden verschiedenen Lern-Aufgaben werden zusammengeführt, um eine vollständige Darstellung zu erreichen.

Die zweite Technik, die zur Generierung von 3D-Modellen verwendet wurde, war ein 3D-Gesichts-Konstruktionssystem, das eine simulierte Skelett-Struktur verwendet, wobei die Knochen-Form berücksichtigt wird. Dies ermöglichte es den Forschern, viel komplexere und genauere 3D-Bilder im Vergleich zu anderen 3D-Modellierungssystemen zu erstellen, die auf Gittern oder Gesichts-Netzen basieren.

Die Erstellung eines Systems, das realistische 3D-Modelle basierend auf 2D-Bildern erstellen kann, ist an sich bereits beeindruckend, aber das automatische Generierungssystem funktioniert nicht nur mit 2D-Fotos. Das System kann auch Skizzen und Karikaturen von Gesichtern rendern und sie als 3D-Modelle mit beeindruckender Genauigkeit darstellen. Das Forschungsteam vermutet, dass das System in der Lage ist, genaue Modelle basierend auf 2D-Charakteren zu erstellen, weil das System Gesichts-Semantik analysiert, anstatt rohe Pixel-Werte zu interpretieren.

Während das automatische Charakter-Generierungssystem verwendet werden kann, um Charaktere basierend auf Fotos zu erstellen, sagen die Forscher, dass Benutzer es auch als ergänzende Technik verwenden sollten und den generierten Charakter gemäß ihren Vorlieben weiter bearbeiten sollten.