KI-gestütztes Objektbearbeitung mit Googles Imagic und Runways “Erase and Replace”

Diese Woche bieten zwei neue, aber kontrastierende KI-gesteuerte Grafikalgorithmen innovative Möglichkeiten für Endbenutzer, um hochgranulare und effektive Änderungen an Objekten in Fotos vorzunehmen.

Das erste ist Imagic, von Google Research in Zusammenarbeit mit dem israelischen Technion und dem Weizmann-Institut für Wissenschaft. Imagic bietet textkonditionierte, feinkörnige Bearbeitung von Objekten durch die Feinabstimmung von Diffusionsmodellen.

Ändern Sie, was Sie möchten, und lassen Sie den Rest – Imagic verspricht granulare Bearbeitung nur der Teile, die Sie ändern möchten. Quelle: https://arxiv.org/pdf/2210.09276.pdf

Jeder, der jemals versucht hat, nur ein Element in einer stabilen Diffusions-Neuerstellung zu ändern, weiß nur allzu gut, dass für jeden erfolgreichen Edit die System fünf Dinge ändert, die Sie genau so mochten, wie sie waren. Es ist ein Mangel, der derzeit viele der talentiertesten SD-Enthusiasten dazu bringt, ständig zwischen Stable Diffusion und Photoshop zu wechseln, um diese Art von “Kollateralschaden” zu beheben. Aus dieser Perspektive allein scheinen Imagics Errungenschaften bemerkenswert.

Im Zeitpunkt des Schreibens fehlt Imagic noch immer ein Promotionsvideo, und angesichts von Googles vorsichtigem Verhalten bei der Veröffentlichung unbeschränkter Bildsynthesetools ist es ungewiss, in welchem Umfang wir die Möglichkeit haben werden, das System zu testen.

Das zweite Angebot ist Runway MLs eher zugänglichere Erase and Replace-Funktion, eine neue Funktion im “AI-Magic-Tools”-Bereich ihrer exklusiv online verfügbaren Suite von maschinellen Lernalgorithmen-basierten visuellen Effekt-Utilities.

Runway MLs Erase and Replace-Funktion, bereits in einer Vorschau für ein Text-zu-Video-Editingsystem gesehen. Quelle: https://www.youtube.com/watch?v=41Qb58ZPO60

Lassen Sie uns zunächst einen Blick auf Runways Ausgabe werfen.

Erase and Replace

Wie Imagic beschäftigt sich Erase and Replace ausschließlich mit stillen Bildern, obwohl Runway eine Vorschau der gleichen Funktionalität in einem Text-zu-Video-Editingsystem gezeigt hat, das noch nicht veröffentlicht wurde:

Obwohl jeder das neue Erase and Replace auf Bildern testen kann, ist die Videoversion noch nicht öffentlich verfügbar. Quelle: https://twitter.com/runwayml/status/1568220303808991232

Obwohl Runway ML keine Details über die Technologien hinter Erase and Replace veröffentlicht hat, lässt die Geschwindigkeit, mit der Sie ein Hauspflanzen mit einem vernünftig überzeugenden Buste von Ronald Reagan ersetzen können, darauf schließen, dass ein Diffusionsmodell wie Stable Diffusion (oder, weit weniger wahrscheinlich, ein lizenzierter DALL-E 2) der Motor ist, der das Objekt Ihrer Wahl in Erase and Replace neu erfindet.

Das Ersetzen eines Hauspflanzen mit einem Buste von The Gipper ist nicht ganz so schnell, aber es ist ziemlich schnell. Quelle: https://app.runwayml.com/

Das System hat einige DALL-E-2-ähnliche Einschränkungen – Bilder oder Text, die die Erase-and-Replace-Filter auslösen, lösen eine Warnung über mögliche Kontosperrung bei weiteren Verstößen aus – praktisch ein Klon der laufenden Richtlinien von OpenAI für DALL-E 2.

Viele der Ergebnisse haben nicht die typischen rauen Kanten von Stable Diffusion. Runway ML sind Investoren und Forschungspartner in SD, und es ist möglich, dass sie ein proprietäres Modell trainiert haben, das dem offenen 1.4-Checkpoint-Gewicht, mit dem wir derzeit ringen, überlegen ist (wie viele andere Entwicklungsteams, Hobbyisten und Profis, die derzeit Stable-Diffusions-Modelle trainieren oder feinabstimmen).

Das Ersetzen eines Haustisches durch einen ‘Tisch aus Eis’ in Runway MLs Erase and Replace.

Wie Imagic (siehe unten) ist Erase and Replace “objektorientiert” – Sie können nicht einfach ein “leeres” Teil des Bildes löschen und es mit dem Ergebnis Ihres Textprompts nachmalen; in diesem Szenario wird das System einfach die nächste sichtbare Objekt entlang der Linie des Sichtfelds (wie eine Wand oder ein Fernseher) nachzeichnen und die Transformation dort anwenden.

Wie der Name bereits andeutet, können Sie in Erase and Replace keine Objekte in leeren Räumen einfügen. Hier wird der Versuch, den berühmtesten der Sith-Lords heraufzubeschwören, in einem seltsamen Vader-ähnlichen Gemälde auf dem Fernseher resultieren, ungefähr dort, wo die ‘Ersetz’-Fläche gezeichnet wurde.

Es ist schwierig zu sagen, ob Erase and Replace in Bezug auf die Verwendung von urheberrechtlich geschützten Bildern (die immer noch weitgehend behindert sind, wenn auch mit unterschiedlichem Erfolg, in DALL-E 2) ausweicht oder ob das im Hintergrund verwendete Modell einfach nicht für diese Art von Dingen optimiert ist.

Das leicht unanständige ‘Gemälde von Nicole Kidman’ zeigt an, dass das (vermutlich) diffusionsbasierte Modell, das hier verwendet wird, DALL-E 2s frühere systematische Ablehnung von realistischen Gesichtern oder anstößigen Inhalten nicht hat, während die Ergebnisse für Versuche, urheberrechtlich geschützte Werke hervorzubringen, von ‘ambivalent’ (‘Xenomorph’) bis ‘absurd’ (‘der eiserne Thron’) reichen. Eingefügt unten rechts, das Quellbild.

Es wäre interessant zu wissen, welche Methoden Erase and Replace verwendet, um die Objekte zu isolieren, die es ersetzen kann. Vermutlich wird das Bild durch eine Ableitung von CLIP verarbeitet, wobei die diskreten Elemente durch Objekterkennung und semantische Segmentierung individuiert werden. Keine dieser Operationen funktioniert annähernd so gut in einer herkömmlichen Installation von Stable Diffusion.

Aber nichts ist perfekt – manchmal scheint das System zu löschen und nicht zu ersetzen, selbst wenn (wie wir im Bild oben gesehen haben) das zugrunde liegende Renderingmechanismus definitiv weiß, was ein Textprompt bedeutet. In diesem Fall ist es unmöglich, einen Couchtisch in einen Xenomorph zu verwandeln – stattdessen verschwindet der Tisch einfach.

Eine beunruhigende Iteration von ‘Wo ist Waldo’, da Erase and Replace es nicht schafft, einen Alien hervorzubringen.

Erase and Replace scheint ein effektives Objektsubstitutions-System zu sein, mit exzellenter Nachmalung. Es kann jedoch keine bestehenden wahrgenommenen Objekte bearbeiten, sondern nur ersetzen. Die tatsächliche Änderung bestehender Bildinhalte ohne Kompromisse ist eine weitaus schwierigere Aufgabe, die eng mit dem langen Kampf der Computer-Vision-Forschung zur Disentanglement in den verschiedenen latenten Räumen der beliebten Frameworks verbunden ist.

Imagic

Es ist eine Aufgabe, die Imagic angeht. Der neue Artikel bietet zahlreiche Beispiele für Edits, die erfolgreich einzelne Aspekte eines Fotos ändern, während der Rest des Bildes unberührt bleibt.

In Imagic leiden die geänderten Bilder nicht unter der charakteristischen Dehnung, Verzerrung und ‘Occlusion-Guessing’, die für Deepfake-Puppen typisch sind und die auf begrenzten Priors aus einer einzelnen Bildquelle basieren.

Das System verwendet einen dreistufigen Prozess – Text-Embedding-Optimierung; Modell-Feinabstimmung; und schließlich die Generierung des geänderten Bildes.

Imagic codiert den Ziel-Textprompt, um die anfängliche Text-Embedding zu erhalten, und optimiert dann das Ergebnis, um das Eingabebild zu erhalten. Danach wird das generative Modell auf das Quellbild feinabgestimmt, wobei eine Reihe von Parametern hinzugefügt wird, bevor es der angeforderten Interpolation unterzogen wird.

Unerwarteterweise basiert das Framework auf Googles Imagen-Text-zu-Video-Architektur, obwohl die Forscher angeben, dass die Prinzipien des Systems allgemein auf latente Diffusionsmodelle anwendbar sind.

Imagen verwendet eine dreistufige Architektur, anstatt der siebenstufigen Anordnung, die für die jüngste Text-zu-Video-Iteration der Software verwendet wird. Die drei unterschiedlichen Module bestehen aus einem generativen Diffusionsmodell, das bei einer Auflösung von 64x64px arbeitet; einem Super-Auflösungsmodell, das diese Ausgabe auf 256x256px auflöst; und einem zusätzlichen Super-Auflösungsmodell, das die Ausgabe bis zu einer Auflösung von 1024×1024 aufbereitet.

Imagic greift in das früheste Stadium dieses Prozesses ein, indem es die angeforderte Text-Embedding bei der 64px-Stufe auf einem Adam-Optimizer mit einer statischen Lernrate von 0,0001 optimiert.

Ein Meisterkurs in Disentanglement: Diejenigen, die versucht haben, etwas so Einfaches wie die Farbe eines gerenderten Objekts in einem Diffusions-, GAN- oder NeRF-Modell zu ändern, wissen, wie bedeutend es ist, dass Imagic solche Transformationen ohne ‘Zerreißen’ der Konsistenz des Restes des Bildes durchführen kann.

Die Feinabstimmung erfolgt dann auf Imagens Basismodell, für 1500 Schritte pro Eingabebild, bedingt auf der überarbeiteten Embedding. Gleichzeitig wird die sekundäre 64px-256px-Schicht parallel auf dem bedingten Bild optimiert. Die Forscher bemerken, dass eine ähnliche Optimierung für die endgültige 256px-1024px-Schicht “wenig bis gar keinen” Effekt auf die endgültigen Ergebnisse hat und daher nicht implementiert wurde.

Der Artikel besagt, dass der Optimierungsprozess etwa acht Minuten pro Bild auf doppelten TPUV4-Chips dauert. Die endgültige Rendern erfolgt in Core Imagen unter dem DDIM-Sampling-Schema.

In Übereinstimmung mit ähnlichen Feinabstimmungsprozessen für Googles DreamBooth können die resultierenden Embeddings zusätzlich zur Steuerung von Stilisierungen sowie photorealistischen Edits verwendet werden, die Informationen aus der umfassenderen zugrunde liegenden Datenbank enthalten, die Imagen antreibt (da, wie die erste Spalte unten zeigt, die Quellbilder keine der notwendigen Inhalte haben, um diese Transformationen durchzuführen).

Flexible photorealistische Bewegungen und Edits können durch Imagic erzielt werden, während die abgeleiteten und disentangulierten Codes, die während des Prozesses erhalten werden, genauso gut für stilisierte Ausgaben verwendet werden können.

Die Forscher verglichen Imagic mit vorherigen Arbeiten SDEdit, einem GAN-basierten Ansatz aus dem Jahr 2021, einer Zusammenarbeit zwischen der Stanford-Universität und der Carnegie-Mellon-Universität; und Text2Live, einer Zusammenarbeit zwischen dem Weizmann-Institut für Wissenschaft und NVIDIA aus April 2022.

Ein visueller Vergleich zwischen Imagic, SDEdit und Text2Live.

Es ist klar, dass die früheren Ansätze Schwierigkeiten haben, aber in der unteren Reihe, die das Einfügen einer massiven Änderung der Pose beinhaltet, scheitern die etablierten Systeme völlig, die Quellmaterial zu rekonfigurieren, im Gegensatz zu einem bemerkenswerten Erfolg von Imagic.

Imagics Ressourcenanforderungen und Trainingszeit pro Bild machen es unwahrscheinlich, dass es in eine lokale Bildbearbeitungsanwendung auf persönlichen Computern aufgenommen wird – und es ist unklar, in welchem Umfang der Prozess der Feinabstimmung auf Verbraucherlevel heruntergeskaliert werden könnte.

Wie es steht, ist Imagic ein beeindruckendes Angebot, das eher für APIs geeignet ist – eine Umgebung, in der Google Research, die sich vor Kritik an der Förderung von Deepfakes scheut, möglicherweise am meisten wohl fühlt.

Erstveröffentlicht am 18. Oktober 2022.