NVIDIAs eDiffi-Diffusionsmodell ermöglicht “Malen mit Worten” und mehr

Das Erstellen präziser Kompositionen mit latenten Diffusions-Generativmodellen für Bilder wie Stable Diffusion kann wie das Herden von Katzen sein; die gleichen imaginativen und interpretativen Fähigkeiten, die es dem System ermöglichen, außergewöhnliche Details zu erstellen und außergewöhnliche Bilder aus relativ einfachen Text-Prompts zu generieren, sind auch schwierig zu deaktivieren, wenn man nach Photoshop-ähnlicher Kontrolle über die Bildgenerierung sucht.

Jetzt bietet ein neuer Ansatz von NVIDIA -Forschung, der als Ensemble-Diffusion für Bilder (eDiffi) bezeichnet wird, eine Mischung aus mehreren Einbettungs- und interpretativen Methoden (anstatt der gleichen Methode auf dem gesamten Pipeline), um ein viel höheres Maß an Kontrolle über den generierten Inhalt zu ermöglichen. Im folgenden Beispiel sehen wir, wie ein Benutzer Elemente malt, wobei jede Farbe ein einzelnes Wort aus einem Text-Prompt darstellt:

‘Malen mit Worten’ ist eine der beiden neuen Fähigkeiten in NVIDIAs eDiffi-Diffusionsmodell. Jede aufgetragene Farbe stellt ein Wort aus dem Prompt dar (siehe sie auf der linken Seite während der Generierung), und die Farbe, die aufgetragen wird, besteht nur aus diesem Element. Siehe Quelle (offizielles) Video für mehr Beispielen und besserer Auflösung bei https://www.youtube.com/watch?v=k6cOx9YjHJc

Effektiv ist dies “Malen mit Masken” und kehrt das Inpainting-Paradigma in Stable Diffusion um, das auf der Korrektur fehlerhafter oder unzureichender Bilder oder der Erweiterung von Bildern basiert, die ohnehin die gewünschte Größe haben könnten.

Stattdessen stellen die Ränder der gemalten Farbe die erlaubten ungefähren Grenzen eines einzigen einzigartigen Elements aus einem einzigen Konzept dar, wodurch der Benutzer die endgültige Canvas-Größe von Anfang an festlegen und dann diskret Elemente hinzufügen kann.

Beispiele aus dem neuen Paper. Quelle: https://arxiv.org/pdf/2211.01324.pdf

Die verschiedenen Methoden, die in eDiffi eingesetzt werden, bedeuten auch, dass das System eine viel bessere Arbeit leistet, wenn es darum geht, jedes Element in langen und detaillierten Prompts einzubeziehen, während Stable Diffusion und OpenAI’s DALL-E 2 bestimmte Teile des Prompts priorisieren, je nachdem, wie früh die Zielwörter im Prompt erscheinen oder aufgrund anderer Faktoren, wie der potenziellen Schwierigkeit, die verschiedenen Elemente zu entwirren, die für eine vollständige, aber umfassende (im Hinblick auf den Text-Prompt) Komposition erforderlich sind:

Aus dem Paper: eDiffi ist in der Lage, gründlicher durch den Prompt zu iterieren, bis die maximale mögliche Anzahl von Elementen gerendert wurde. Obwohl die verbesserten Ergebnisse für eDiffi (rechte Spalte) ausgewählt sind, sind auch die Vergleichsbilder von Stable Diffusion und DALL-E 2 ausgewählt.

Zusätzlich ermöglicht die Verwendung eines dedizierten T5-Text-zu-Text-Encoders, dass eDiffi in der Lage ist, verständlichen Englisch-Text zu rendern, entweder abstrakt aus einem Prompt angefordert (d. h. Bild enthält Text von [x]) oder explizit angefordert (d. h. Das T-Shirt sagt ‘Nvidia Rocks’):

Dedizierter Text-zu-Text-Verarbeitung in eDiffi bedeutet, dass Text wörtlich in Bildern gerendert werden kann, anstatt nur durch eine Text-zu-Bild-Interpretationsschicht, die die Ausgabe verfälscht.

Ein weiterer Vorteil des neuen Frameworks ist, dass es auch möglich ist, ein einzelnes Bild als Stil-Prompt bereitzustellen, anstatt ein DreamBooth-Modell oder eine textuelle Einbettung auf mehrere Beispiele eines Genres oder Stils trainieren zu müssen.

Stil-Transfer kann von einem Referenzbild auf einen Text-zu-Bild-Prompt oder sogar einen Bild-zu-Bild-Prompt angewendet werden.

Das neue Paper ist betitelt eDiffi: Text-zu-Bild-Diffusionsmodelle mit einem Ensemble von Experten-Entrauschern und

Der T5-Text-Encoder

Die Verwendung von Google’s Text-zu-Text-Transfer-Transformer (T5) ist das entscheidende Element in den verbesserten Ergebnissen, die in eDiffi demonstriert werden. Der durchschnittliche latente Diffusions-Pipeline konzentriert sich auf die Assoziation zwischen trainierten Bildern und den Begleittexten, die sie hatten, als sie aus dem Internet gesammelt wurden (oder später manuell angepasst wurden, obwohl dies ein teures und daher seltenes Eingreifen ist).

Aus dem Juli 2020-Paper für T5 – Text-basierte Transformationen, die den generativen Bild-Workflow in eDiffi (und potenziell anderen latenten Diffusionsmodellen) unterstützen können. Quelle: https://arxiv.org/pdf/1910.10683.pdf

Indem der Quelltext umformuliert und das T5-Modul ausgeführt wird, können genauere Assoziationen und Darstellungen erhalten werden als ursprünglich im Modell trainiert, fast ähnlich wie post facto manuelle Beschriftung, mit größerer Spezifität und Anwendbarkeit auf die Vorgaben des Text-Prompts.

Die Autoren erklären:

‘In den meisten bestehenden Arbeiten zu Diffusionsmodellen wird das Entrauschungsmodell über alle Rauschstufen hinweg geteilt, und die zeitliche Dynamik wird mithilfe einer einfachen Zeit-Einbettung dargestellt, die dem Entrauschungsmodell über ein MLP-Netzwerk zugeführt wird. Wir argumentieren, dass die komplexen zeitlichen Dynamiken der Entrauschungs-Diffusion möglicherweise nicht effektiv aus den Daten gelernt werden können, indem ein geteiltes Modell mit begrenzter Kapazität verwendet wird.

‘Stattdessen schlagen wir vor, die Kapazität des Entrauschungsmodells durch die Einführung eines Ensembles von Experten-Entrauschern zu erhöhen; jeder Experte-Entrauscher ist ein Entrauschungsmodell, das für einen bestimmten Bereich von Rauschstufen spezialisiert ist. Auf diese Weise können wir die Modellkapazität erhöhen, ohne die Komplexität des Samplings zu verlangsamen, da die Rechenkomplexität der Auswertung [des verarbeiteten Elements] bei jedem Rauschstufe gleich bleibt.’

Konzeptionelle Architektur für eDiffi.

Die bestehenden CLIP-Codierungs-Module, die in DALL-E 2 und Stable Diffusion enthalten sind, sind auch in der Lage, alternative Bild-Interpretationen für Texte in Bezug auf Benutzereingaben zu finden. Sie sind jedoch auf ähnlichen Informationen wie dem ursprünglichen Modell trainiert und werden nicht als separate interpretative Schicht in der gleichen Weise wie T5 in eDiffi verwendet.

Die Autoren stellen fest, dass eDiffi das erste Mal ist, dass sowohl ein T5- als auch ein CLIP-Encoder in eine einzelne Pipeline integriert wurden:

’Da diese beiden Encoder mit unterschiedlichen Zielen trainiert wurden, bevorzugen ihre Einbettungen die Bildung unterschiedlicher Bilder mit dem gleichen Eingabetext. Während CLIP-Text-Einbettungen helfen, das globale Aussehen der generierten Bilder zu bestimmen, neigen die Ausgaben dazu, die feinen Details im Text zu verpassen.

‘Im Gegensatz dazu spiegeln Bilder, die mit T5-Text-Einbettungen allein generiert werden, die einzelnen Objekte, die im Text beschrieben sind, besser wider, aber ihr globales Aussehen ist weniger genau. Die gemeinsame Verwendung beider ergibt die besten Bild-Generierungsergebnisse in unserem Modell.’

Unterbrechung und Ergänzung des Diffusionsprozesses

Das Paper weist darauf hin, dass ein typisches latentes Diffusionsmodell den Weg von reinem Rauschen zu einem Bild beginnt, indem es sich in den frühen Stadien der Generierung ausschließlich auf Text stützt.

Wenn das Rauschen in eine Art grobe Layout umgewandelt wird, das die Beschreibung im Text-Prompt darstellt, fällt die textgesteuerte Facette des Prozesses im Wesentlichen weg, und der Rest des Prozesses konzentriert sich auf die Ergänzung der visuellen Merkmale.

Das bedeutet, dass jedes Element, das nicht in der Keimzelle des textgesteuerten Rausch-Interpretationsprozesses aufgelöst wurde, schwierig zu injizieren ist, wenn das Bild später bearbeitet wird, da die beiden Prozesse (Text-zu-Layout und Layout-zu-Bild) relativ wenig Überschneidung haben und das grundlegende Layout ziemlich verflochten ist, wenn es den Bild-Ergänzungsprozess erreicht.

Aus dem Paper: Die Aufmerksamkeitskarten verschiedener Teile der Pipeline, während der Rauschen-Bild-Prozess reift. Wir können den steilen Abfall des CLIP-Einflusses des Bildes in der unteren Zeile sehen, während T5 den Einfluss auf das Bild viel weiter in den Renderprozess hinein aufrechterhält.

Professionelles Potenzial

Die Beispiele auf der Projektseite und im YouTube-Video konzentrieren sich auf PR-freundliche Generierung von meme-tastischen Bildern. Wie üblich spielt NVIDIA-Forschung die Möglichkeiten seiner neuesten Innovation herunter, die photorealistischen oder VFX-Workflows zu verbessern, sowie ihre Möglichkeiten zur Verbesserung von Deepfake-Bildern und -Videos.

In den Beispielen skizziert ein Anfänger oder Amateur-Benutzer grobe Umrisse der Platzierung für das spezifische Element, während in einem systematischeren VFX-Workflow es möglich wäre, eDiffi zu verwenden, um mehrere Frames eines Video-Elements mithilfe von Text-zu-Bild zu interpretieren, wobei die Umrisse sehr präzise sind und aufgrund von Figuren basieren, bei denen der Hintergrund durch Green-Screen oder algorithmische Methoden entfernt wurde.

Runway ML bietet bereits AI-basiertes Rotoskopieren. In diesem Beispiel stellt die ‘Green-Screen’ um den Gegenstand die Alpha-Schicht dar, während die Extraktion durch maschinelles Lernen und nicht durch algorithmische Entfernung eines realen Green-Screen-Hintergrunds erfolgt ist. Quelle: https://twitter.com/runwayml/status/1330978385028374529

Mit einem trainierten DreamBooth-Charakter und einer Bild-zu-Bild-Pipeline mit eDiffi könnte es möglich sein, eines der Hauptprobleme jedes latenten Diffusionsmodells zu lösen: temporale Stabilität. In einem solchen Fall würden sowohl die Ränder des aufgetragenen Bildes als auch der Inhalt des Bildes ‘vorab gegen den Benutzer-Canvas geflutet’, wobei die temporale Kontinuität des gerenderten Inhalts (d. h. die Umwandlung eines realen Tai-Chi-Praktikers in einen Roboter) durch die Verwendung eines gesperrten DreamBooth-Modells bereitgestellt würde, das seine Trainingsdaten ‘memorisiert’ hat – schlecht für Interpretierbarkeit, großartig für Reproduzierbarkeit, Treue und Kontinuität.

Methode, Daten und Tests

Das Paper besagt, dass das eDiffi-Modell auf ‘einer Sammlung von öffentlichen und proprietären Datensätzen’ trainiert wurde, die stark von einem vortrainierten CLIP-Modell gefiltert wurden, um Bilder zu entfernen, die den allgemeinen Ästhetik-Score der Ausgabe verringern könnten. Der endgültige gefilterte Bildsatz umfasst ‘etwa eine Milliarde’ Text-Bild-Paare. Die Größe der trainierten Bilder wird als ‘mit der kürzesten Seite größer als 64 Pixel’ beschrieben.

Es wurden mehrere Modelle für den Prozess trainiert, wobei sowohl das Basis- als auch das Super-Auflösungs-Modell auf AdamW-Optimizer bei einer Lernrate von 0,0001 und einem Gewichtsverfall von 0,01 trainiert wurden, bei einer beeindruckenden Batch-Größe von 2048.

Das Basis-Modell wurde auf 256 NVIDIA A100-GPUs trainiert, und die beiden Super-Auflösungs-Modelle auf 128 NVIDIA A100-GPUs für jedes Modell.

Das System basierte auf NVIDIAs eigener Imaginaire-PyTorch-Bibliothek. COCO– und Visual-Genome-Datensätze wurden für die Bewertung verwendet, obwohl sie nicht in den endgültigen Modellen enthalten waren, wobei MS-COCO die spezifische Variante für die Tests war. Die getesteten Vergleichssysteme waren GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, und Google’s zwei Bildsynthese-Systeme, Imagen und Parti.

Im Einklang mit ähnlichen früheren Arbeiten wurde Zero-Shot-FID-30K als Bewertungsmetrik verwendet. Bei FID-30K werden 30.000 Kapitel aus dem COCO-Validierungs-Set (d. h. nicht die Bilder oder Texte, die für die Trainings verwendet wurden) zufällig extrahiert und als Text-Prompts für die Bildsynthese verwendet.

Der Frechet-Inception-Abstand (FID) zwischen den generierten und den Ground-Truth-Bildern wurde dann berechnet, zusätzlich zu der Aufzeichnung des CLIP-Scores für die generierten Bilder.

Ergebnisse der Zero-Shot-FID-Tests gegen aktuelle State-of-the-Art-Ansätze auf dem COCO-2014-Validierungs-Set, wobei niedrigere Ergebnisse besser sind.

In den Ergebnissen konnte eDiffi den niedrigsten (besten) Score bei Zero-Shot-FID erzielen, sogar gegen Systeme mit einer viel höheren Anzahl von Parametern, wie den 20 Milliarden Parametern von Parti, im Vergleich zu den 9,1 Milliarden Parametern im höchstspezifizierten eDiffi-Modell, das für die Tests trainiert wurde.

Fazit

NVIDIAs eDiffi stellt eine willkommene Alternative dar, einfach mehr und mehr Daten und Komplexität zu bestehenden Systemen hinzuzufügen, sondern stattdessen einen intelligenteren und schichtweisen Ansatz für einige der schwierigsten Hindernisse in Bezug auf Verflechtung und Nicht-Editierbarkeit in latenten Diffusions-Generativbild-Systemen zu verwenden.

Es gibt bereits Diskussionen in den Stable-Diffusion-Subreddits und -Discords, entweder direkt Code für eDiffi zu integrieren, der möglicherweise verfügbar gemacht wird, oder die Prinzipien dahinter in einer separaten Implementierung neu zu inszenieren. Die neue Pipeline ist jedoch so radikal anders, dass sie eine gesamte Versionsnummer der Änderung für SD darstellen würde, einige Rückwärtskompatibilität aufgeben, aber die Möglichkeit bieten würde, die Kontrolle über die endgültig synthetisierten Bilder erheblich zu verbessern, ohne die faszinierenden imaginativen Kräfte der latenten Diffusion zu opfern.

Erstveröffentlicht am 3. November 2022.