Orchestrierung von Gesichtssynthese mit semantischer Segmentierung

Das Problem beim Erfinden von menschlichen Gesichtern mit einem Generative Adversarial Network (GAN) ist, dass die realen Daten, die die falschen Bilder speisen, unerwünschte und untrennbare Begleiter wie Haare auf dem Kopf (und/oder Gesicht), Hintergründe und verschiedene Arten von Gesichtsaccessoires wie Brillen, Hüte und Ohrringe mit sich bringen; und dass diese peripheren Aspekte der Persönlichkeit unvermeidlich in einer “verschmolzenen” Identität aufgehen.

Unter den meisten GAN-Architekturen sind diese Elemente nicht in ihrem eigenen dedizierten Raum ansprechbar, sondern sind sehr eng mit dem Gesicht verbunden, in (oder um) das sie eingebettet sind.

Es ist auch nicht usually möglich, die Erscheinung von Teilbereichen eines von einem GAN erstellten Gesichts zu diktieren oder zu beeinflussen, wie z.B. die Augen zu verengen, die Nase zu verlängern oder die Haarfarbe zu ändern, wie es ein Polizeizeichner könnte.

Die Bildsyntheseforschung arbeitet jedoch daran:

Neue Forschung zur GAN-basierten Gesichtsgenerierung hat die verschiedenen Bereiche eines Gesichts in separate Bereiche unterteilt, die jeweils ihren eigenen ‘Generator’ haben, der in Konzert mit anderen Generatoren für das Bild arbeitet. In der mittleren Reihe sehen wir die orchestrierende ‘Feature-Karte’, die zusätzliche Bereiche des Gesichts aufbaut. Quelle: https://arxiv.org/pdf/2112.02236.pdf

In einem neuen Paper haben Forscher des US-amerikanischen Arms des chinesischen Technologie-Konzerns ByteDance die semantische Segmentierung verwendet, um die konstitutiven Teile des Gesichts in separate Bereiche zu unterteilen, die jeweils ihren eigenen Generator haben, so dass es möglich ist, einen größeren Grad an Disentanglement zu erreichen. Oder zumindest wahrnehmbares Disentanglement.

Das Paper trägt den Titel SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing und wird von einer medienreichen Projektseite begleitet, die multiple Beispiele für die verschiedenen feinen Transformationen bietet, die erreicht werden können, wenn Gesichts- und Kopfelemente auf diese Weise isoliert werden.

Gesichtstextur, Haarstil und -farbe, Augenform und -farbe und viele andere Aspekte von einst untrennbaren GAN-erzeugten Merkmalen können jetzt de facto disentangled werden, obwohl die Qualität der Trennung und das Maß an Instrumentalität wahrscheinlich je nach Fall variieren wird. Quelle: https://semanticstylegan.github.io/

Der unregierbare latente Raum

Ein Generative Adversarial Network, das für die Generierung von Gesichtern trainiert wird – wie z.B. der StyleGan2-Generator, der die beliebte Website thispersondoesnotexist.com antreibt – bildet komplexe Beziehungen zwischen den “Merkmalen” (nicht im Gesichtssinn), die es durch die Analyse von Tausenden von realen Gesichtern ableitet, um zu lernen, wie man realistische menschliche Gesichter selbst erstellt.

Diese geheimen Prozesse sind “latente Codes”, kollektiv der latente Raum. Sie sind schwierig zu analysieren und daher schwierig zu instrumentalisieren.

Letzte Woche tauchte ein neues Bildsyntheseprojekt auf, das versucht, diesen nahezu okkulten Raum während des Trainingsprozesses selbst zu “kartieren” und dann diese Karten zu verwenden, um ihn interaktiv zu navigieren, und verschiedene andere Lösungen wurden vorgeschlagen, um eine tiefere Kontrolle über GAN-synthetisierten Inhalt zu erlangen.

Einige Fortschritte wurden gemacht, mit einer vielfältigen Auswahl an GAN-Architekturen, die versuchen, in den latenten Raum “einzudringen” und die Gesichtsgenerierung von dort aus zu kontrollieren. Solche Bemühungen umfassen InterFaceGAN, StyleFlow, GANSpace und StyleRig, unter anderen Angeboten in einem ständig produktiven Strom neuer Papiere.

Was sie alle gemeinsam haben, ist ein begrenzter Grad an Disentanglement; die genialen GUI-Schieberegler für verschiedene Aspekte (wie “Haare” oder “Ausdruck”) neigen dazu, den Hintergrund und/oder andere Elemente in den Transformationsprozess zu ziehen, und keines von ihnen (einschließlich des hier diskutierten Papiers) hat das Problem des temporalen neuronalen Haares gelöst.

Der latente Raum teilen und erobern

In jedem Fall verfolgt die ByteDance-Forschung einen anderen Ansatz: anstelle des Versuchs, die Geheimnisse eines einzelnen GAN zu entschlüsseln, der über ein ganzes generiertes Gesichtsbild operiert, formuliert SemanticStyleGAN einen layoutbasierten Ansatz, bei dem Gesichter durch separate Generatorprozesse “zusammengesetzt” werden.

Um diese Unterscheidung von (Gesichts-)Merkmalen zu erreichen, verwendet SemanticStyleGAN Fourier-Features, um eine semantische Segmentierungskarte (grobschlächtige, farbige Unterscheidungen der Gesichtstopographie, wie sie in der unteren rechten Ecke des Bildes unten zu sehen ist) zu generieren, um die Gesichtsbereiche zu isolieren, die individuelle, dedizierte Aufmerksamkeit erhalten werden.

Architektur des neuen Ansatzes, der eine Zwischenschicht der semantischen Segmentierung auf das Gesicht aufdrängt, was die Framework effektiv in einen Orchesterleiter von mehreren Generatoren für verschiedene Aspekte eines Bildes verwandelt.

Die Segmentierungskarten werden für die falschen Bilder generiert, die systematisch dem Diskriminator des GAN für die Bewertung vorgelegt werden, während das Modell verbessert wird, und für die (nicht-falschen) Quellbilder, die für das Training verwendet werden.

Am Anfang des Prozesses kartiert ein Multi-Layer-Perceptron (MLP) zunächst zufällig gewählte latente Codes, die dann verwendet werden, um die Gewichte der mehreren Generatoren zu kontrollieren, die jeweils einen Bereich des Gesichtsbilds produzieren werden, das erstellt werden soll.

Jeder Generator erzeugt eine Feature-Karte und eine simulierte Tiefen-Karte aus den Fourier-Features, die ihm upstream zugeführt werden. Diese Ausgabe ist die Grundlage für die Segmentierungsmasken.

Das downstream-Render-Netzwerk ist nur durch die vorherigen Feature-Karten bedingt und weiß jetzt, wie es eine höher auflösende Segmentierungsmaske generieren kann, was die endgültige Produktion des Bildes erleichtert.

Schließlich überwacht ein bifurzierter Diskriminator die konkatinierte Verteilung sowohl der RGB-Bilder (die für uns das endgültige Ergebnis sind) als auch der Segmentierungsmasken, die es ermöglicht haben, sie zu trennen.

Mit SemanticStyleGAN gibt es keine unerwünschten visuellen Störungen, wenn man “Gesichtsmerkmale ändert”, da jedes Gesichtsmerkmal innerhalb des Orchesterleiter-Frameworks separat trainiert wurde.

Hintergründe ersetzen

Da die Absicht des Projekts darin besteht, eine größere Kontrolle über die generierte Umgebung zu erlangen, umfasst der Rendering-/Zusammensetzungsprozess einen Hintergrundgenerator, der auf realen Bildern trainiert wurde.

Ein überzeugender Grund, warum die Hintergründe nicht in Gesichtsmanipulationen gezogen werden, ist, dass sie auf einer weiter entfernten Ebene sitzen und vollständig sind, wenn auch teilweise durch die überlagerten Gesichter verdeckt.

Da die Segmentierungskarten zu Gesichtern ohne Hintergründe führen, bieten diese “Drop-in”-Hintergründe nicht nur Kontext, sondern sind auch so konfiguriert, dass sie in Bezug auf Beleuchtung für die überlagerten Gesichter geeignet sind.

Training und Daten

Die “realistischen” Modelle wurden auf den ersten 28.000 Bildern in CelebAMask-HQ trainiert, die auf 256×256 Pixel verkleinert wurden, um den Trainingsraum (d.h. den verfügbaren VRAM, der eine maximale Batch-Größe pro Iteration diktiert) zu accommodieren.

Es wurden mehrere Modelle trainiert und diverse Werkzeuge, Daten und Architekturen während des Entwicklungsprozesses und verschiedener Ablations-Tests experimentiert. Das größte produktive Modell des Projekts hatte eine Auflösung von 512×512, wurde über 2,5 Tage auf acht NVIDIA-Tesla-V100-GPUs trainiert. Nach dem Training dauert die Generierung eines einzelnen Bildes 0,137 Sekunden auf einem Lobe-GPU ohne Parallelisierung.

Die cartoon/anime-ähnlichen Experimente, die in den vielen Videos auf der Projektseite (siehe Link oben) gezeigt werden, sind von verschiedenen beliebten Gesichtsdatensätzen abgeleitet, einschließlich Toonify, MetFaces und Bitmoji.

Ein Zwischenlösung?

Die Autoren behaupten, dass es keinen Grund gibt, warum SemanticStyleGAN nicht auf andere Bereiche wie Landschaften, Autos, Kirchen und alle anderen “Standard”-Testbereiche, auf die neue Architekturen routinemäßig früh in ihrer Karriere angewendet werden, angewendet werden könnte.

Das Paper räumt jedoch ein, dass, wenn die Anzahl der Klassen für einen Bereich (wie z.B. ‘Auto’, ‘Strassenlaterne’, ‘Fußgänger’, ‘Gebäude’, ‘Auto’ usw.) steigt, dieser Stückwerk-Ansatz auf verschiedene Weise unbrauchbar werden könnte, ohne weitere Arbeit an der Optimierung. Der CityScapes-Stadtdatensatz hat beispielsweise 30 Klassen über 8 Kategorien.

Es ist schwierig zu sagen, ob das aktuelle Interesse an der Eroberung des latenten Raums direkt als verurteilt ist wie die Alchemie; oder ob latente Codes letztendlich entschlüsselbar und kontrollierbar sein werden – eine Entwicklung, die diesen extern komplexeren Ansatz überflüssig machen könnte.