Die Bearbeitung des Latenten Raums eines GAN mit ‘Blobs’

Neue Forschungsergebnisse von der UC Berkeley und Adobe (ADBE ) bieten eine Möglichkeit, den hyperrealen Inhalt, der von einem Generativen Adversarial Network (GAN) erstellt werden kann, direkt zu bearbeiten, was normalerweise nicht möglich ist, da er nicht kontrolliert, animiert oder frei manipuliert werden kann, wie es bei Photoshop-Benutzern und CGI-Praktikern üblich ist.

Das Verfahren, das den Namen BlobGAN trägt, besteht darin, ein Raster von “Blobs” – mathematischen Konstrukten, die direkt mit dem Inhalt im Latenten Raum des GAN verknüpft sind – zu erstellen.

Indem die Blobs bewegt werden, können die “Objekte” in einer Szene darstellung in einer intuitiven Weise bewegt werden, die näher an CGI- und CAD-Methoden liegt als viele der aktuellen Ansätze, die den Latenten Raum des GAN kartieren und kontrollieren möchten:

Szene-Manipulation mit BlobGAN: Wenn die ‘Blobs’ vom Benutzer bewegt werden, werden die latenten Objekte und Stile im GAN entsprechend geändert. Weitere Beispiele finden Sie im Begleitvideo am Ende dieses Artikels oder unter https://www.youtube.com/watch?v=KpUv82VsU5k

Da die Blobs “Objekten” in der Szene entsprechen, die im Latenten Raum des GAN kartiert sind, sind alle Objekte a priori disentangled, was es ermöglicht, sie individuell zu ändern:

Objekte können vergrößert, verkleinert, geklont und entfernt werden, sowie weitere Operationen durchgeführt werden.

Wie bei jedem Objekt in Bildbearbeitungs- (oder sogar Textbearbeitungs-) Software kann ein Blob dupliziert und anschließend manipuliert werden:

Blobs können im Interface dupliziert werden, und ihre entsprechenden latenten Repräsentationen werden auch ‘kopiert und eingefügt’. Quelle: https://dave.ml/blobgan/#results

BlobGAN kann auch neue, vom Benutzer ausgewählte Bilder in seinen Latenten Raum parsen:

Mit BlobGAN müssen Sie Bilder, die Sie bearbeiten möchten, nicht direkt in die Trainingsdaten einbeziehen und dann ihre latenten Codes suchen, sondern können sie freiwillig eingeben und bearbeiten. Die hier bearbeiteten Fotos sind post-facto Benutzereingaben. Quelle: https://dave.ml/blobgan/#results

Weitere Ergebnisse können hier und im begleitenden YouTube-Video (am Ende dieses Artikels eingebettet) gesehen werden. Es gibt auch eine interaktive Colab- Demo*, und ein GitHub- Repo**.

Diese Art von Instrumentalität und Umfang mag im Zeitalter nach Photoshop naiv erscheinen, und parametrizierte Softwarepakete wie Cinema4D und Blender ermöglichen es Benutzern seit Jahrzehnten, 3D-Welten zu erstellen und anzupassen; jedoch stellt es einen vielversprechenden Ansatz dar, die Exzentrizitäten und die arkane Natur des Latenten Raums in einem Generativen Adversarial Network durch den Einsatz von Proxy-Entitäten, die mit latenten Codes verknüpft sind, zu zähmen.

Die Autoren behaupten:

‘In einem herausfordernden Multi-Kategorie-Datensatz von Innenräumen übertrifft BlobGAN Style-GAN2 in Bezug auf Bildqualität, gemessen am FID.’

Das Papier trägt den Titel BlobGAN: Räumlich disentangled Szene-Repräsentationen und wurde von zwei Forschern der UC Berkeley und drei von Adobe Research verfasst.

Middle-man

BlobGAN bringt ein neues Paradigma in die GAN-Bildsynthese. Frühere Ansätze zur Behandlung diskreter Entitäten im Latenten Raum, so das neue Papier, seien entweder “top-down” oder “bottom-up” gewesen.

Ein top-down-Ansatz in einem GAN oder Bildklassifizierer behandelt Bilder von Szenen als Klassen, wie z.B. “Schlafzimmer”, “Kirche”, “Gesicht” usw. Diese Art von Text-/Bild-Paarung ermöglicht eine neue Generation von multimodalen Bildsynthese-Frameworks, wie z.B. dem jüngsten DALL-E 2 von OpenAI.

Bottom-up-Ansätze kartieren jedes Pixel in einem Bild in eine Klasse, Bezeichnung oder Kategorie. Solche Ansätze verwenden diverse Techniken, obwohl semantische Segmentierung ein beliebter Forschungsstrang ist.

Die Autoren kommentieren:

‘Beide Wege scheinen unbefriedigend, da keiner von ihnen eine einfache Möglichkeit bietet, über Teile der Szene als Entitäten nachzudenken. Die Szene-Teile sind entweder in einem einzigen verknüpften latenten Vektor (top-down) oder müssen aus individuellen Pixel-Bezeichnungen gruppiert werden (bottom-up).’

Stattdessen bietet BlobGAN eine unbeaufsichtigte Mittel-Ebene-Repräsentation oder Proxy-Rahmenwerk für generative Modelle an.

Das Layout-Netz kartiert lokale (und kontrollierbare) ‘Blob’-Entitäten auf latente Codes. Die farbigen Kreise in der Mitte bilden eine ‘Blob-Karte’. Quelle: https://arxiv.org/pdf/2205.02837.pdf

Die gaußschen (d.h. auf Rauschen basierenden) Blobs sind tiefen geordnet und repräsentieren eine Engstelle in der Architektur, die eine Zuordnung zu jeder Entität zuweist, was das größte Hindernis für die Manipulation von GAN-Inhalten darstellt: Disentanglement (auch ein Problem für autoencoder-basierte Architekturen). Die resultierende ‘Blob-Karte’ wird verwendet, um den Decoder von BlobGAN zu manipulieren.

Die Autoren stellen mit einiger Überraschung fest, dass das System lernt, Szenen in Layouts und Entitäten durch einen Standard-Diskriminator zu zerlegen, der keine expliziten Bezeichnungen verwendet.

Architektur und Daten

Entitäten in der Blob-Karte werden in Bilder umgewandelt, indem ein überarbeiteter StyleGAN2-Netzwerk verwendet wird, der sich an früheren NVIDIA (NVDA ) -Forschungen orientiert.

Ein überarbeiteter StyleGAN 2 von NVIDIA Research. Einige der Prinzipien in dieser Arbeit wurden für BlobGAN übernommen oder adaptiert. Quelle: https://arxiv.org/pdf/1912.04958.pdf

StyleGAN 2 wird in BlobGAN so modifiziert, dass es Eingaben von der Blob-Karte anstelle eines einzigen globalen Vektors akzeptiert, wie es normalerweise der Fall ist.

Eine Reihe von Manipulationen, die durch BlobGAN ermöglicht werden, einschließlich der ‘Autovervollständigung’ eines leeren Schlafzimmers und der Größenänderung und Neupositionierung der Elemente im Raum. In der Reihe unten sehen wir die benutzerfreundliche Instrumentalität, die dies ermöglicht – die Blob-Karte.

Indem man die Blobs sendet, anstatt ein riesiges und komplexes Gebäude (den Latenten Raum) auf einmal zu erstellen und dann seine endlosen Wege zu erkunden, weiß BlobGAN immer, wo sie sind. Diese Disentanglement von Inhalt und Lage ist die wichtigste Innovation der Arbeit.

* Nicht funktional zum Zeitpunkt des Schreibens
** Code noch nicht veröffentlicht zum Zeitpunkt des Schreibens

Erstveröffentlicht am 8. Mai 2022.