Adobe Research erweitert disentangled GAN-Gesichtsbearbeitung

Es ist nicht schwer zu verstehen, warum Verflechtung ein Problem in der Bildsynthese ist, weil es oft ein Problem in anderen Bereichen des Lebens ist; zum Beispiel ist es viel schwieriger, Kurkuma aus einem Curry zu entfernen, als eine Gurke aus einem Burger zu entfernen, und es ist praktisch unmöglich, einen Kaffee zu entsüßen. Manche Dinge kommen einfach im Paket.

Ebenso ist Verflechtung ein Hindernis für Bildsynthese-Architekturen, die idealerweise verschiedene Merkmale und Konzepte trennen möchten, wenn sie maschinelles Lernen verwenden, um Gesichter (oder Hunde, Boote oder andere Domänen) zu erstellen oder zu bearbeiten.

Wenn man Merkmale wie Alter, Geschlecht, Haarfarbe, Hautfarbe, Emotion und so weiter trennen könnte, hätte man den Anfang von echter Instrumentalität und Flexibilität in einem Framework, das Gesichtsbilder auf wirklich granularer Ebene erstellen und bearbeiten könnte, ohne unerwünschte “Mitfahrer” in diese Konversionen zu ziehen.

Bei maximaler Verflechtung (oben links) kann man nur das Bild eines erlernten GAN-Netzwerks in das Bild einer anderen Person ändern.

Das ist effektiv die Verwendung der neuesten AI-Computer-Vision-Technologie, um etwas zu erreichen, was vor über dreißig Jahren auf andere Weise gelöst wurde .

Bei einem gewissen Grad an Trennung (“Mittlere Trennung” in vorherigem Bild) ist es möglich, stylebasierte Änderungen wie Haarfarbe, Ausdruck, kosmetische Anwendung und begrenzte Kopfdrehung durchzuführen, unter anderem.

Quelle: FEAT: Face Editing with Attention, Februar 2022, https://arxiv.org/pdf/2202.02713.pdf

Es gab eine Reihe von Versuchen in den letzten zwei Jahren, interaktive Gesichtsbearbeitungsumgebungen zu erstellen, die es dem Benutzer ermöglichen, Gesichtsmerkmale mit Schiebereglern und anderen traditionellen UI-Interaktionen zu ändern, während die Kernmerkmale des Zielgesichts intakt bleiben, wenn Änderungen vorgenommen werden. Dies hat sich jedoch aufgrund der zugrunde liegenden Merkmals-/Stil-Verflechtung im Latentraum des GAN als Herausforderung erwiesen.

Beispielsweise ist das Brille-Merkmal oft mit dem gealtert-Merkmal verflochten, was bedeutet, dass das Hinzufügen von Brillen auch das “Altern” des Gesichts bewirken kann, während das Altern des Gesichts auch Brillen hinzufügen kann, abhängig vom Grad der angewendeten Trennung der Hochmerkmale (siehe “Testing” unten für Beispiele).

Am auffälligsten ist es fast unmöglich, die Haarfarbe und andere Haarfacetten zu ändern, ohne dass die Haarsträhnen und die Disposition neu berechnet werden, was einen “schnelllebigen”, übergangsartigen Effekt ergibt.

Quelle: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Latent-zu-Latent-GAN-Traversierung

Ein neues Adobe -geführtes Papier eingereicht für WACV 2022 bietet einen neuen Ansatz für diese zugrunde liegenden Probleme in einem Papier mit dem Titel Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Supplementalmaterial aus dem Papier Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Hier sehen wir, dass die Basismerkmale im erlernten Gesicht nicht in unabhängige Änderungen gezogen werden. Siehe vollständiges Video-Embed am Ende des Artikels für bessere Details und Auflösung. Quelle: https://www.youtube.com/watch?v=rf_61llRH0Q

Das Papier wird von Adobe Applied Scientist Siavash Khodadadeh geleitet, zusammen mit vier anderen Adobe-Forschern und einem Forscher der Abteilung für Informatik an der University of Central Florida.

Der Beitrag ist interessant, weil Adobe bereits seit einiger Zeit in diesem Bereich tätig ist, und es ist verlockend, sich diese Funktionalität in einem Creative-Suite-Projekt in den nächsten Jahren vorzustellen; aber hauptsächlich, weil die Architektur, die für das Projekt erstellt wurde, einen anderen Ansatz für die Aufrechterhaltung der visuellen Integrität in einem GAN-Gesichtseditor bei der Anwendung von Änderungen verfolgt.

Die Autoren erklären:

‘[Wir] trainieren ein neuronales Netzwerk, um eine latent-zu-latent-Transformation durchzuführen, die die latente Kodierung findet, die dem Bild mit dem geänderten Attribut entspricht. Da die Technik einzigartig ist, verlässt sie sich nicht auf eine lineare oder nicht-lineare Traektorie der allmählichen Änderung der Attribute.

‘Durch das Training des Netzwerks von Ende zu Ende über die gesamte Generierungspipeline kann das System an die latenten Räume von vorgefertigten Generator-Architekturen anpassen. Erhaltungseigenschaften, wie die Aufrechterhaltung der Identität der Person, können in Form von Trainingsverlusten kodifiziert werden.

‘Sobald das latent-zu-latent-Netzwerk trainiert wurde, kann es für beliebige Bilder ohne erneutes Training wiederverwendet werden.’

Dieser letzte Teil bedeutet, dass die vorgeschlagene Architektur mit dem Endbenutzer in einem abgeschlossenen Zustand eintrifft. Es muss immer noch ein neuronales Netzwerk auf lokalen Ressourcen ausgeführt werden, aber neue Bilder können “hereingezogen” und fast sofort für die Bearbeitung bereit sein, da das Framework abgekoppelt genug ist, um kein weiteres bildspezifisches Training zu benötigen.

Geschlecht und Gesichtsbehaarung geändert, während Schieberegler willkürliche und arbiträre Pfade durch den latenten Raum aufzeichnen, nicht nur ‘zwischen Endpunkten scrubben’. Siehe Video am Ende des Artikels für weitere Transformationen in besserer Auflösung.

Unter den wichtigsten Errungenschaften in der Arbeit ist die Fähigkeit des Netzwerks, “Identitäten im latenten Raum zu frieren”, indem es nur das Attribut in einem Zielvektor ändert und “Korrekturterme” bereitstellt, die die Identitäten, die transformiert werden, erhalten.

Im Wesentlichen ist das vorgeschlagene Netzwerk in einer umfassenderen Architektur eingebettet, die alle verarbeiteten Elemente orchestriert, die durch vorgefertigte Komponenten mit festen Gewichten verlaufen, die keine unerwünschten Nebeneffekte auf Transformationen erzeugen werden.

Da der Trainingsprozess auf Triplets basiert, die entweder durch ein Seed-Bild (unter GAN-Inversion) oder eine vorhandene anfängliche latente Kodierung generiert werden können, ist der gesamte Trainingsprozess unüberwacht, wobei die stillschweigenden Aktionen der üblichen Reihe von Markierungs- und Kurationssystemen in solchen Systemen effektiv in die Architektur integriert sind. Tatsächlich verwendet das neue System vorgefertigte Attribut-Regressoren:

‘[Die] Anzahl der Attribute, die unser Netzwerk unabhängig steuern kann, ist nur durch die Fähigkeiten des Recognizers (s) begrenzt – wenn man einen Recognizer für ein Attribut hat, kann man es zu beliebigen Gesichtern hinzufügen. In unseren Experimenten haben wir das latent-zu-latent-Netzwerk trainiert, um die Anpassung von 35 verschiedenen Gesichtsattributen zu ermöglichen, mehr als jeder andere Ansatz.’

Das System umfasst eine zusätzliche Sicherheitsvorkehrung gegen unerwünschte “Nebeneffekt”-Transformationen: In Abwesenheit einer Anfrage für eine Attributänderung wird das latent-zu-latent-Netzwerk einen latenten Vektor auf sich selbst abbilden, wodurch die stabile Persistenz der Zielidentität weiter erhöht wird.

Gesichtserkennung

Ein wiederkehrendes Problem mit GAN- und Encoder/Decoder-basierten Gesichtseditoren der letzten Jahre war, dass angewendete Transformationen tendenziell die Ähnlichkeit verschlechtern. Um dies zu bekämpfen, verwendet das Adobe-Projekt ein eingebettetes Gesichtserkennungsnetzwerk namens FaceNet als Diskriminator.

Projektarchitektur, siehe unten mittig links für die Einbindung von FaceNet. Quelle: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Auf eine persönliche Note, dies scheint ein ermutigender Schritt in Richtung der Integration von Standard-Gesichtserkennungs- und sogar Ausdrucksrecognitions-Systemen in generative Netzwerke, was wahrscheinlich der beste Weg vorwärts ist, um die blinde Pixel-zu-Pixel-Zuordnung zu überwinden, die die aktuellen Deepfake-Architekturen auf Kosten der Ausdruckstreuheit und anderer wichtiger Bereiche im Gesichtsgenerierungssektor dominiert.)

Zugang zu allen Bereichen im Latenten Raum

Eine weitere beeindruckende Funktion des Frameworks ist seine Fähigkeit, willkürlich zwischen potenziellen Transformationen im latenten Raum zu reisen, nach Belieben des Benutzers. Mehrere vorherige Systeme, die exploratorische Schnittstellen boten, ließen den Benutzer oft im Wesentlichen “zwischen festen Merkmalstransformations-Zeitachsen scrubben” – beeindruckend, aber oft eine lineare oder vorgeschriebene Erfahrung.

Von Improving GAN Equilibrium by Raising Spatial Awareness: Hier scrubbt der Benutzer durch eine Reihe von potenziellen Übergangspunkten zwischen zwei latenten Raumorten, aber innerhalb der Grenzen vorgefertigter Orte im latenten Raum. Um andere Arten von Transformationen auf der gleichen Grundlage anzuwenden, ist eine Neukonfiguration und/oder erneutes Training erforderlich. Quelle: https://genforce.github.io/eqgan/

Darüber hinaus kann der Benutzer auch manuell “Elemente frieren”, die er während des Transformationsprozesses erhalten möchte. Auf diese Weise kann der Benutzer sicherstellen, dass (zum Beispiel) Hintergründe nicht verschoben werden oder dass Augen geöffnet oder geschlossen bleiben.

Daten

Das Attribut-Regressionsnetzwerk wurde auf drei Netzwerken trainiert: FFHQ, CelebAMask-HQ und einem lokalen, GAN-generierten Netzwerk, das durch das Sampling von 400.000 Vektoren aus dem Z-Raum von StyleGAN-V2 erhalten wurde.

Bilder außerhalb der Verteilung (OOD) wurden gefiltert, und Attribute wurden unter Verwendung von Microsofts Face API extrahiert, wobei das resultierende Bild-Set 90/10 aufgeteilt wurde, was 721.218 Trainingsbilder und 72.172 Testbilder zum Vergleich übrig ließ.

Testen

Obwohl das experimentelle Netzwerk ursprünglich so konfiguriert war, dass es 35 potenzielle Transformationen aufnehmen konnte, wurden diese auf acht reduziert, um analoge Tests gegen die vergleichbaren Frameworks InterFaceGAN, GANSpace und StyleFlow durchzuführen.

Die acht ausgewählten Attribute waren Alter, Kahlheit, Bart, Ausdruck, Geschlecht, Brille, Pitch und Yaw. Es war notwendig, die konkurrierenden Frameworks für bestimmte der acht Attribute, die nicht in der ursprünglichen Verteilung bereitgestellt wurden, wie z.B. das Hinzufügen von Kahlheit und Bart zu InterFaceGAN, umzukonfigurieren.

Wie erwartet, trat in den konkurrierenden Architekturen ein höheres Maß an Verflechtung auf. Zum Beispiel änderten InterFaceGAN und StyleFlow in einem Test das Geschlecht des Subjekts, als sie aufgefordert wurden, Alter anzuwenden:

Zwei der konkurrierenden Frameworks rollten eine Geschlechtsänderung in die ‘Alter’-Transformation ein, änderten auch die Haarfarbe ohne direkte Aufforderung des Benutzers.

Darüber hinaus fanden zwei der Rivalen heraus, dass Brille und Alter untrennbare Aspekte sind:

Brille und Haarfarbe geändert, ohne dass der Benutzer extra bezahlt hat!

Es ist kein einheitlicher Sieg für die Forschung: Wie im begleitenden Video am Ende des Artikels zu sehen ist, ist das Framework am wenigsten effektiv, wenn es darum geht, diverse Winkel (Yaw) zu extrapolieren, während GANSpace ein besseres allgemeines Ergebnis für Alter und die Anwendung von Brille hat. Das latent-zu-latent-Netzwerk band mit GANSpace und StyleFlow in Bezug auf das Hinzufügen von Pitch (Kopfwinkel).

Ergebnisse berechnet auf der Grundlage einer Kalibrierung des MTCNN-Gesichtsdetektors. Niedrigere Ergebnisse sind besser.

Für weitere Details und bessere Auflösung der Beispiele können Sie das begleitende Video am Ende des Artikels ansehen.

Erstveröffentlicht am 16. Februar 2022.