SofGAN: Ein GAN-Gesichtsgenerator, der eine größere Kontrolle bietet

Forscher in Shanghai und den USA haben ein GAN-basiertes Porträtgenerierungssystem entwickelt, das es Benutzern ermöglicht, neue Gesichter mit einem bisher unverfügbaren Maß an Kontrolle über einzelne Aspekte wie Haare, Augen, Brillen, Texturen und Farben zu erstellen.

Um die Vielseitigkeit des Systems zu demonstrieren, haben die Ersteller eine Photoshop-ähnliche Oberfläche bereitgestellt, in der ein Benutzer direkt semantische Segmentierungselemente zeichnen kann, die in realistische Bilder umgesetzt werden können und sogar durch Zeichnen direkt auf bestehenden Fotografien erhalten werden können.

In dem folgenden Beispiel wird ein Bild des Schauspielers Daniel Radcliffe als Vorlage verwendet (und das Ziel ist nicht, eine Ähnlichkeit mit ihm zu erzeugen, sondern ein allgemein photorealistisches Bild). Wenn der Benutzer verschiedene Elemente ausfüllt, einschließlich diskreter Aspekte wie Brillen, werden diese identifiziert und in dem Ausgabebild interpretiert:

Verwendung eines Bildes als Vorlage für ein SofGAN-erzeugtes Porträt. Quelle: https://www.youtube.com/watch?v=xig8ZA3DVZ8

Die Studie trägt den Titel SofGAN: Ein Porträtbildgenerator mit dynamischer Stilierung und wird von Anpei Chen und Ruiyang Liu geleitet, zusammen mit zwei anderen Forschern von der ShanghaiTech University und einem von der University of California in San Diego.

Disentangling Features

Der primäre Beitrag der Arbeit liegt nicht so sehr in der Bereitstellung einer benutzerfreundlichen Oberfläche, sondern vielmehr in der “Entflechtung” von Merkmalen der erlernten Gesichtsmerkmale, wie Pose und Textur, was es SofGAN auch ermöglicht, Gesichter zu erzeugen, die indirekt zum Kamerasichtpunkt ausgerichtet sind.

Unüblich unter Gesichtsgeneratoren, die auf Generative Adversarial Networks basieren, kann SofGAN den Blickwinkel willkürlich ändern, innerhalb der Grenzen des Arrays von Winkeln, die in den Trainingsdaten vorhanden sind. Quelle: https://arxiv.org/pdf/2007.03780.pdf

Da Texturen nun von der Geometrie entflechtet sind, können Gesichtsform und Textur auch als separate Entitäten manipuliert werden. Dies ermöglicht es, die Rasse eines Quellgesichts zu ändern, eine skandalöse Praxis, die nun eine potenziell nützliche Anwendung für die Erstellung von rassisch ausgewogenen maschinellen Lern-Datensätzen hat.

SofGAN unterstützt auch künstliches Altern und attributkonsistente Stiländerung auf einer feinen Ebene, die in ähnlichen Segmentierung-Bild-Systemen wie NVIDIA’s GauGAN und Intel’s game-basiertem neuronalen Rendering-System nicht zu finden ist.

SofGAN kann Altern als iterative Stil umsetzen.

Ein weiterer Durchbruch für SofGANs Methodik ist, dass die Ausbildung nicht gepaarte Segmentierungs-/Echtbilder erfordert, sondern direkt auf unpaaren Echtbildern ausgebildet werden kann.

Die Forscher erklären, dass die “Entflechtungs”-Architektur von SofGAN von traditionellen Bildrendering-Systemen inspiriert wurde, die die einzelnen Aspekte eines Bildes zerlegen. In visuellen Effekt-Workflows werden die Elemente für eine Komposition routinemäßig in die kleinsten Komponenten zerlegt, mit Spezialisten, die sich auf jede Komponente konzentrieren.

Semantic Occupancy Field (SOF)

Um dies in einem maschinellen Lern-Bildsynthese-Rahmen zu erreichen, entwickelten die Forscher ein semantisches Belegungsfeld (SOF), eine Erweiterung des traditionellen Belegungsfelds, das die Komponenten-Elemente von Gesichtsporträts individuiert. Das SOF wurde auf kalibrierten multi-view-semantischen Segmentierungskarten ausgebildet, aber ohne Ground-Truth-Überwachung.

Mehrere Iterationen aus einer einzigen Segmentierungskarte (unten links).

Zusätzlich werden 2D-Segmentierungskarten durch Ray-Tracing der Ausgabe des SOF erhalten, bevor sie durch einen GAN-Generator texturiert werden. Die “synthetischen” semantischen Segmentierungskarten werden auch in einem niedrigdimensionalen Raum durch einen dreischichtigen Encoder kodiert, um die Kontinuität der Ausgabe zu gewährleisten, wenn der Blickwinkel geändert wird.

Das Trainingsverfahren mischt zwei zufällige Stile für jede semantische Region räumlich:

Die Architektur für SofGAN.

Die Forscher behaupten, dass SofGAN eine niedrigere Frechet-Inception-Distanz (FID) als die aktuellen alternativen State-of-the-Art-Ansätze erreicht, sowie einen höheren Learned-Perceptual-Image-Patch-Similarity- (LPIPS)-Wert.

Frühere StyleGAN-Ansätze wurden häufig durch Merkmalsverflechtung behindert, bei der die Elemente, die ein Bild komponieren, untrennbar mit einander verbunden sind, was unerwünschte Elemente verursacht, die neben einem gewünschten Element erscheinen (z. B. könnten Ohrringe erscheinen, wenn eine Ohrform gerendert wird, die während der Ausbildung durch ein Bild informiert wurde, das Ohrringe aufwies).

Ray-Marching wird verwendet, um das Volumen der semantischen Segmentierungskarten zu berechnen, was mehrere Blickwinkel ermöglicht.

Datensätze und Training

Drei Datensätze wurden für die Entwicklung verschiedener Implementierungen von SofGAN verwendet: CelebAMask-HQ, ein Repository von 30.000 hochauflösenden Bildern, die aus dem CelebA-HQ-Datensatz stammen; NVIDIA’s Flickr-Faces-HQ (FFHQ), das 70.000 Bilder enthält, die die Forscher mit einem vorgebildeten Gesichtsparser beschriftet haben; und eine selbst produzierte Gruppe von 122 Porträtscans mit manuell beschrifteten semantischen Regionen.

Das SOF besteht aus drei trainierbaren Submodulen – dem Hyper-Netz, einem Ray-Marcher (siehe Bild oben) und einem Klassifizierer. Der Semantic-Instance-Wised- (SIW)-StyleGAN-Generator des Projekts ist ähnlich wie StyleGAN2 in bestimmten Aspekten konfiguriert. Datenvergrößerung wird durch zufälliges Skalieren und Zuschneiden angewendet, und das Training umfasst Pfadregularisierung alle vier Schritte. Das gesamte Trainingsverfahren dauerte 22 Tage, um 800.000 Iterationen auf vier RTX-2080-Ti-GPUs über CUDA 10.1 zu erreichen.

Die Studie erwähnt nicht die Konfiguration der 2080-Karten, die zwischen 11 GB und 22 GB VRAM pro Karte aufnehmen können, was bedeutet, dass die gesamte für den größten Teil eines Monats für die Ausbildung von SofGAN verwendete VRAM irgendwo zwischen 44 GB und 88 GB liegt.

Die Forscher bemerken, dass akzeptable, verallgemeinerte, hochwertige Ergebnisse bereits früh in der Ausbildung, bei 1500 Iterationen, drei Tage nach Beginn der Ausbildung, auftraten. Der Rest der Ausbildung wurde mit dem vorhersehbaren, langsamen Kriechen zur Erzielung von Feinheiten wie Haaren und Augenfacetten verbracht.

SofGAN erreicht im Allgemeinen realistischere Ergebnisse aus einer einzigen Segmentierungskarte als konkurrierende Methoden wie NIVDIA’s SPADE und Pix2PixHD sowie SEAN.

Unten ist das von den Forschern veröffentlichte Video zu sehen. Weitere selbst gehostete Videos sind auf der Projektseite verfügbar.