Plastische Chirurgie für GAN-erzeugte Gesichter

Neue Forschung aus Südkorea verspricht, die Qualität von synthetischen Gesichtsdaten, die von Generative Adversarial Networks (GANs) erstellt werden, zu verbessern.

Das System ist in der Lage, Bildartefakte, die von GAN-Prozessen erzeugt werden, zu identifizieren und zu beheben, sogar bis zum Ersetzen von Haaren, die von einer Mütze verdeckt wurden, oder dem Ersetzen von Teilen des Gesichts, die im Original fehlten, und dem Entfernen von Verdeckungen wie Händen und Sonnenbrillen, und funktioniert auch gut bei landschaftlichen und architektonischen Ausgaben.

Links in jeder Spalte, die ursprüngliche GAN-Ausgabe mit Fehlern, gefolgt von zwei anderen Ansätzen für Artefakte und schließlich von der Methode, die von den südkoreanischen Forschern verwendet wurde. Quelle: https://arxiv.org/pdf/2104.06118.pdf

Die meisten aktuellen Ansätze zur Verbesserung der Qualität von GAN-erzeugten Bildern haben die Haltung eingenommen, dass Artefakte eine berufliche Gefahr des Prozesses sind, die Methode als “Naturgewalt” behandeln und die psychedelischen oder aberrationalen Ergebnisse, die sie produzieren kann, als unvermeidliche Nebenprodukte.

Stattdessen schlagen die südkoreanischen Forscher vor, betroffene Bilder tatsächlich “zu reparieren”, ohne die fortlaufende generative Kette zu stören, indem sie Facetten identifizieren, die Artefakte verursachen, und ihre Einflüsse im GAN-Netzwerk auf halbüberwachter Ebene reduzieren oder eliminieren, die die natürlichen Selbstkorrekturmechanismen in der GAN-Architektur übersteigen und erweitern.

Für das Projekt war es notwendig, eine weit verbreitete, handgelabelte Datensammlung von Bildern zu erstellen, die stark von GAN-Artefakten betroffen waren. Zunächst verwendeten die Forscher den Frechet-Inception-Abstand (FID), eine Metrik, die die Qualität von GAN-Ausgaben durch den Vergleich von Merkmalen in den Bildern bewertet, als Qualifizierungseinheit. Die 10.000 Bilder mit den höchsten FID-Scores unter einer Laufzeit von 200.000 Bildern wurden als separate “Artefakteinheiten” verwendet. Anschließend wurden 2.000 generierte Bilder von den Forschern handgelabelt und als “normal” oder von FID-Artefakten betroffen klassifiziert. Dann wurde ein Modell erstellt, um die Datensammlung in Artefakte, normale und zufällige Echtweltproben zu klassifizieren.

Danach wurde Gradient-weighted Class Activation Mapping (Grad-CAM) verwendet, um Masken für artefaktbetroffene Regionen zu generieren, was im Wesentlichen die automatische Kennzeichnung von Fehlern ermöglichte.

Im Bild oben wurden die Grad-CAM-Masken auf die Ausgabe des LSUN-Church-Außen-Datensatz und des CelebA-HQ-Datensatzes angewendet.

Indem die oberen 20 am stärksten betroffenen Ergebnisse aus einer Laufzeit von 20.000 Bildern analysiert wurden, werden Segmentierungsmasken generiert, in die repräsentative Ergebnisse über die Generationen (die wahrscheinlich genauer oder überzeugender sind als die Artefakte) durch die Verringerung der Aktivierung der artefaktproduzierenden Einheiten in nachfolgenden Generationen eingesetzt werden können.

Die menschliche Bewertung der Korrekturen ergab, dass 53 % der “reparierten” Bilder als “normal” gekennzeichnet wurden, während 97 % der ursprünglichen Bilder immer noch erhebliche Verbesserungen gegenüber den Originalen aufwiesen.

Die Forscher behaupten, dass diese Methode mit einigen geringen Anpassungen auch auf NVIDIA’s StyleGAN2 angewendet werden kann.

Die Vorteile von synthetischen Daten

Hauptsächlich in Bezug auf Gesichtsdaten ist die allgemeine Knappheit von Echtwelt-Datensätzen für die ComputerVision ein Hindernis für vielfältige Forschung in wichtigen Forschungsbereichen, wie Gesichtserkennung, Emotionserkennung, medizinische Forschung und Studien zur feineren Segmentierung der Topologie des Gesichts, unter anderem.

Der aktuelle Gegenwind gegen die kostenlose Verwendung von webfacing-Daten und die ad-hoc-Sammlung von Echtwelt-Gesichtsbildern für die Aufnahme in Gesichtsdatenbanken ist ein zusätzliches Hindernis für die Forschung, da eine wachsende Anzahl von Staaten und Nationen hart gegen das Web-Scraping und die Aneignung von sozialen Medienbildern für diese Zwecke vorgeht.

Im Laufe der letzten zehn Jahre haben eine begrenzte Anzahl von sorgfältig kuratierten Gesichtsdatensätzen Schutz vor dieser Art von Unsicherheit geboten, mit verschiedenen jährlichen öffentlichen Forschungsherausforderungen, die sich um sie ranken. Allerdings hat dies möglicherweise dazu geführt, dass Forschungsprojekte ihre Methoden speziell auf diese Datensätze ausgerichtet haben, mit konsistenten und vergleichbaren Ergebnissen von Jahr zu Jahr, die auf Kosten eines Mangels an Vielfalt im Quellenmaterial erzielt wurden – eine Situation, die jedes Jahr schlimmer wird, solange neue Forschung sich auf diese Grenzen beschränkt.

Zusätzlich sind einige dieser “traditionellen” Datensätze für mangelnde Rassenvielfalt kritisiert worden, was darauf hindeutet, dass diese Benchmarking-Standards möglicherweise nicht mehr als geeignete Ressourcen in naher Zukunft angesehen werden.

Dies zeigt den Bedarf an hochwertigen Gesichtsdaten, die realistisch sind, aber deren beitragende “Echtwelt”-Bilder weit über die Erkennung hinaus transformiert wurden. Selbst wenn diese Verwendung von Echtwelt-Gesichtsdaten “auf einmal” möglicherweise selbst zu Problemen über die Herkunft von GAN-erzeugten Gesichtern führen kann, ist es ein Hindernis, das nicht wahrscheinlich auftreten wird, bis die Einführung von rechtlichen und technischen Mechanismen für die Datenerfassung dieser Art etabliert wurde; und in Bezug auf mögliche Änderungen der rechtlichen Rahmenbedingungen zu diesem Thema ist es immer noch ein geringeres Risiko als die Verwendung von Bildern realer Menschen.

Weiterführende Literatur:

Verbesserung der Realistik von synthetischen Bildern
Automatische Korrektur von internen Einheiten in generativen neuronalen Netzen