Der ungewollte Vorteil der Kartierung des Latenten Raums eines GAN

Während sie versuchten, die Qualität und Treue von künstlich generierten Bildern zu verbessern, entdeckten eine Gruppe von Forschern aus China und Australien unbeabsichtigt eine Methode, um den Latenten Raum eines Generativen Adversarial Network (GAN) interaktiv zu kontrollieren – die geheimnisvolle berechnende Matrix hinter den neuen Bildsynthesetechniken, die den Film, das Gaming und die sozialen Medien revolutionieren werden, sowie viele andere Sektoren in der Unterhaltung und Forschung.

Ihre Entdeckung, ein Nebenprodukt des zentralen Ziels des Projekts, ermöglicht es einem Benutzer, den Latenten Raum eines GAN willkürlich und interaktiv mit einer Maus zu erkunden, als ob er durch ein Video scrollt oder durch ein Buch blättert.

Ein Auszug aus dem begleitenden Video der Forscher (siehe Embed am Ende des Artikels für viele weitere Beispiele). Beachten Sie, dass der Benutzer die Transformationen mit einem ‘Grab’-Cursor (oben links) manipuliert. Quelle: https://www.youtube.com/watch?v=k7sG4XY5rIc

Die Methode verwendet ‘Heatmaps’, um anzuzeigen, welche Bereiche eines Bildes verbessert werden sollten, während der GAN dieselben Daten Tausende (oder Hunderttausende) von Malen durchläuft. Die Heatmaps sollen die Bildqualität verbessern, indem sie dem GAN mitteilen, wo es falsch liegt, damit sein nächster Versuch besser wird; aber sie liefern auch eine ‘Karte’ des gesamten Latenten Raums, die durch Bewegen der Maus durchsucht werden kann.

Räumliche visuelle Aufmerksamkeit, die durch GradCAM hervorgehoben wird, die Bereiche anzeigt, die Aufmerksamkeit benötigen, indem sie helle Farben aufdrückt. Quelle: https://arxiv.org/pdf/2112.00718.pdf

Das Papier trägt den Titel Verbesserung des GAN-Gleichgewichts durch Erhöhung des räumlichen Bewusstseins und stammt von Forschern der Chinesischen Universität von Hongkong und der Australian National University. Neben dem Papier können Video und andere Materialien auf der Projektseite gefunden werden.

Die Arbeit ist noch im Anfangsstadium und derzeit auf Bildauflösungen von 256×256 begrenzt, aber sie ist ein Beweis des Konzepts, das das ‘Blackbox’-Geheimnis des Latenten Raums aufbrechen will, und kommt zu einem Zeitpunkt, an dem mehrere Forschungsprojekte an dieser Tür klopfen, um eine bessere Kontrolle über die Bildsynthese zu erlangen.

Obwohl solche Bilder ansprechend sind (und Sie weitere davon in besserer Auflösung im Video am Ende dieses Artikels sehen können), ist vielleicht noch bedeutender, dass das Projekt eine Möglichkeit gefunden hat, die Bildqualität zu verbessern und möglicherweise schneller zu machen, indem es dem GAN genau sagt, wo es während des Trainings falsch liegt.

Aber, wie Adversarial anzeigt, ist ein GAN keine einzelne Entität, sondern vielmehr ein ungleicher Konflikt zwischen Autorität und Plackerei. Um die Verbesserungen zu verstehen, die die Forscher in dieser Hinsicht gemacht haben, sollten wir uns ansehen, wie dieser Krieg bisher charakterisiert wurde.

Das jämmerliche Schicksal des Generators

Wenn Sie jemals von dem Gedanken heimgesucht wurden, dass ein großartiges neues Kleidungsstück, das Sie gekauft haben, in einer Sweatshop in einem ausgebeuteten Land hergestellt wurde oder einen Chef oder Kunden hatten, der Ihnen sagte, ‘Machen Sie es noch einmal!’ ohne Ihnen zu sagen, was falsch war an Ihrem letzten Versuch, dann sollten Sie dem Generator-Teil eines Generativen Adversarial Network ein bisschen Mitleid schenken.

Der Generator ist das Arbeitstier, das Ihnen in den letzten fünf Jahren geholfen hat, GANs zu erstellen, die photorealistische Menschen hervorbringen, die nicht existieren, alte Videospiele auf 4K-Auflösung hochskalieren und hundertjährige Aufnahmen in vollfarbige HD-Ausgabe bei 60 Bildern pro Sekunde umwandeln, unter anderem wunderbare künstliche Neuerungen.

Von der Erstellung photorealistischer Gesichter nicht existierender Menschen bis zur Wiederherstellung alter Aufnahmen und der Wiederbelebung von Archiv-Videospielen war GAN in den letzten Jahren beschäftigt.

Der Generator läuft durch alle Trainingsdaten wieder und wieder (wie Bilder von Gesichtern, um ein GAN zu erstellen, das Fotos von zufälligen, nicht existierenden Menschen erstellen kann), ein Bild nach dem anderen, für Tage oder sogar Wochen, bis er in der Lage ist, Bilder zu erstellen, die so überzeugend sind wie die echten Fotos, die er studiert hat.

Wie weiß der Generator also, dass er Fortschritte macht, jedes Mal, wenn er versucht, ein besseres Bild zu erstellen als sein vorheriger Versuch?

Der Generator hat einen Chef aus der Hölle.

Die gnadenlose Undurchsichtigkeit des Diskriminators

Die Aufgabe des Diskriminators ist es, dem Generator zu sagen, dass er nicht gut genug war, um ein authentisches Bild zu erstellen, und ihn zu erneut zu versuchen. Der Diskriminator sagt dem Generator nicht, was falsch war an seinem letzten Versuch; er nimmt nur einen privaten Blick darauf, vergleicht das generierte Bild mit den Quellbildern (wiederum privat) und weist dem Bild eine Punktzahl zu.

Die Punktzahl ist nie gut genug. Der Diskriminator wird nicht aufhören, ‘Versuchen Sie es noch einmal’ zu sagen, bis die Forscher ihn abschalten (wenn sie urteilen, dass weitere Trainings nicht die Ausgabe verbessern werden).

Auf diese Weise, ohne konstruktive Kritik und nur mit einer Punktzahl, deren Metrik ein Geheimnis ist, muss der Generator zufällig erraten, welche Teile oder Aspekte des Bildes eine höhere Punktzahl als zuvor verursacht haben. Dies wird ihn auf viele weitere unzureichende Wege führen, bevor er etwas positiv genug ändert, um eine höhere Punktzahl zu erhalten.

Der Diskriminator als Tutor und Mentor

Die Innovation, die durch die neue Forschung bereitgestellt wird, besteht im Wesentlichen darin, dass der Diskriminator dem Generator jetzt anzeigt, welche Teile des Bildes unzureichend waren, sodass der Generator sich auf diese Bereiche in seinem nächsten Versuch konzentrieren kann und nicht die Abschnitte wegwirft, die höher bewertet wurden. Die Natur der Beziehung hat sich von konfrontativ zu kooperativ verändert.

Um die Diskrepanz der Erkenntnisse zwischen dem Diskriminator und dem Generator zu beheben, verwendeten die Forscher GradCAM als Mechanismus, der in der Lage ist, die Erkenntnisse des Diskriminators in eine visuelle Rückmeldung für den nächsten Versuch des Generators umzusetzen.

Die neue ‘Gleichgewicht’-Trainingsmethode wird EqGAN genannt. Für maximale Reproduzierbarkeit integrierten die Forscher bestehende Techniken und Methoden mit Standard-Einstellungen, einschließlich der Verwendung der StyleGan2-Architektur.

Die Architektur von EqGAN. Die räumliche Kodierung des Generators ist auf die räumliche Wahrnehmung des Diskriminators ausgerichtet, mit zufälligen Proben von räumlichen Heatmaps (siehe vorheriges Bild) kodiert zurück in den Generator über die räumliche Kodierungsebene (SEL). GradCAM ist der Mechanismus, durch den die Aufmerksamkeitskarten des Diskriminators dem Generator zur Verfügung gestellt werden.

GradCAM produziert Heatmaps (siehe oben), die die Kritik des Diskriminators an dem letzten Versuch widerspiegeln und diese dem Generator zur Verfügung stellen.

Sobald das Modell trainiert ist, bleibt die Kartierung als Artefakt dieses kooperativen Prozesses bestehen, kann aber auch verwendet werden, um den endgültigen Latenten Code auf die interaktive Weise zu erkunden, die im Forschungsprojekt-Video demonstriert wird (siehe unten).

EqGAN

Das Projekt verwendete eine Reihe von populären Datensätzen, einschließlich des LSUN Cat- und Churches-Datensatzes sowie des FFHQ-Datensatzes. Das Video unten zeigt auch Beispiele für die Manipulation von Gesichtern und Katzen mit EqGAN.

Alle Bilder wurden vor dem Training von EqGAN auf der offiziellen Implementierung von StyleGAN2 auf 256×256 verkleinert. Das Modell wurde bei einer Batch-Größe von 64 über 8 GPUs trainiert, bis der Diskriminator über 25 Millionen Bilder gesehen hatte.

Bei der Überprüfung der Ergebnisse des Systems anhand ausgewählter Proben mit der Frechet-Inception-Distanz (FID) etablierten die Autoren einen Metrik-Wert namens Disequilibrium-Indikator (DI) – das Ausmaß, in dem der Diskriminator seinen Wissensvorsprung gegenüber dem Generator behält, mit dem Ziel, diese Lücke zu schließen.

Über die drei trainierten Datensätze zeigte die neue Metrik einen nützlichen Rückgang nach der Kodierung des räumlichen Bewusstseins in den Generator, mit verbesserter Gleichgewichtsdemonstration durch FID und DI.

Die Forscher folgern:

‘Wir hoffen, dass diese Arbeit weitere Arbeiten inspirieren kann, die das GAN-Gleichgewicht neu bewerten und neue Methoden entwickeln, um die Bildsynthesequalität durch Manipulation des GAN-Gleichgewichts zu verbessern. Wir werden auch weitere theoretische Untersuchungen zu diesem Thema in zukünftigen Arbeiten durchführen.’

Und fahren fort:

‘Qualitative Ergebnisse zeigen, dass unsere Methode erfolgreich [den Generator] dazu bringt, sich auf bestimmte Bereiche zu konzentrieren. Experimente mit verschiedenen Datensätzen bestätigen, dass unsere Methode die Ungleichgewichtung im GAN-Training mildert und die Gesamtbildsynthesequalität erheblich verbessert. Das resultierende Modell mit räumlichem Bewusstsein ermöglicht auch die interaktive Manipulation des Ausgabebildes.’

Schauen Sie sich das Video unten an, um mehr über das Projekt und weitere Beispiele für die dynamische und interaktive Erkundung des Latenten Raums in einem GAN zu erfahren.

11:12 Uhr, 4. Dezember 2021 – Korrigierte URL für GradCAM und aufgeräumte umgebende Referenz.