UniTune: Googles Alternative für neuronale Bildbearbeitungstechniken

Google Research geht offensichtlich mit mehreren Ansätzen auf die textbasierte Bildbearbeitung zu und wartet ab, was “ankommt”. Kurz nach der Veröffentlichung seiner Imagic-Studie hat der Suchriese einen weiteren latenten Diffusionsansatz für die Durchführung von ansonsten unmöglichen AI-basierten Bildbearbeitungen über Textbefehle vorgeschlagen, diesmal unter dem Namen UniTune.

Basierend auf den in der Projektstudie angegebenen Beispielen neuen Papiers hat UniTune einen außergewöhnlichen Grad an Disentanglement von semantischer Pose und Idee aus tatsächlichem Bildinhalt erreicht:

UniTunes Befehl über semantische Zusammensetzung ist hervorragend. Beachten Sie, wie in der obersten Bildreihe die Gesichter der beiden Personen durch die außergewöhnliche Transformation des Restbildes (rechts) nicht verzerrt werden. Quelle: https://arxiv.org/pdf/2210.09477.pdf

Wie Fans von Stable Diffusion inzwischen gelernt haben, kann die Anwendung von Bearbeitungen auf Teile eines Bildes ohne negative Auswirkungen auf den Rest des Bildes eine schwierige, manchmal unmögliche Operation sein. Obwohl beliebte Distributionen wie AUTOMATIC1111 Masken für lokale und eingeschränkte Bearbeitungen erstellen können, ist der Prozess mühsam und oft unvorhersehbar.

Die offensichtliche Antwort, zumindest für einen Computer-Vision-Praktiker, ist, eine Schicht semantischer Segmentierung einzufügen, die in der Lage ist, Objekte in einem Bild ohne Benutzereingriff zu erkennen und zu isolieren, und tatsächlich gab es in letzter Zeit mehrere neue Initiativen in diese Richtung.

Eine weitere Möglichkeit zur Vermeidung von chaotischen und verwickelten neuronalen Bildbearbeitungsoperationen besteht darin, OpenAIs einflussreiches Contrastive Language-Image Pre-training- (CLIP)-Modul zu nutzen, das im Herzen von latenten Diffusionsmodellen wie DALL-E 2 und Stable Diffusion liegt, um als Filter zu fungieren, wenn ein Text-Bild-Modell bereit ist, eine interpretierte Renderung an den Benutzer zurückzusenden. In diesem Zusammenhang sollte CLIP als Wächter und Qualitätskontrollmodul fungieren und fehlerhafte oder ungeeignete Renderungen ablehnen. Dies wird instituiert (Discord-Link) bei Stability.aus DreamStudio API-Portal.

Allerdings ist CLIP in einem solchen Szenario sowohl der Schuldige als auch die Lösung (da es im Wesentlichen auch die Art und Weise beeinflusst hat, wie das Bild entwickelt wurde), und da die Hardware-Anforderungen die verfügbaren Ressourcen eines Endbenutzers übersteigen können, ist dieser Ansatz möglicherweise nicht ideal.

Komprimierte Sprache

Das vorgeschlagene UniTune “feinabstimmt” ein vorhandenes Diffusionsmodell – in diesem Fall Googles eigenes Imagen, obwohl die Forscher angeben, dass die Methode mit anderen latenten Diffusionsarchitekturen kompatibel ist – so dass ein einzigartiger Token injiziert wird, der durch die Einbeziehung in einen Textbefehl aufgerufen werden kann.

Bei oberflächlicher Betrachtung klingt dies wie Googles DreamBooth, das derzeit bei Stable-Diffusion-Fans und -Entwicklern beliebt ist und in weniger als einer Stunde basierend auf einer Handvoll Quellbilder neue Charaktere oder Objekte in ein vorhandenes Checkpoint injizieren kann; oder wie Textual Inversion, das “Sidecar”-Dateien für ein Checkpoint erstellt, die dann so behandelt werden, als wären sie ursprünglich im Modell trainiert worden, und die Vorteile der eigenen umfangreichen Ressourcen des Modells nutzen kann, indem es den Textklassifizierer modifiziert, was zu einer winzigen Datei (im Vergleich zu den mindestens 2 GB geschnittenen Checkpoints von DreamBooth) führt.

Tatsächlich behaupten die Forscher, dass UniTune beide Ansätze abgelehnt hat. Sie fanden heraus, dass Textual Inversion zu viele wichtige Details ausließ, während DreamBooth ‘schlechter abschnitt und länger dauerte’ als die Lösung, die sie schließlich auswählten.

Trotzdem nutzt UniTune den gleichen einkapselten semantischen “Metaprompt”-Ansatz wie DreamBooth, mit trainierten Änderungen, die durch eindeutige Wörter aufgerufen werden, die vom Trainer ausgewählt werden und nicht mit Begriffen kollidieren, die derzeit in einem sorgfältig trainierten öffentlichen Modell existieren.

Um die Bearbeitungsoperation durchzuführen, sampeln wir die feinabgestimmten Modelle mit dem Befehl “[rare_tokens] edit_prompt” (z. B. “beikkpic zwei Hunde in einem Restaurant” oder “beikkpic ein Minion”).

Der Prozess

Obwohl es verwirrend ist, warum zwei fast identische Papiere mit ähnlicher Endfunktion von Google in derselben Woche veröffentlicht werden sollten, gibt es trotz einer großen Anzahl von Ähnlichkeiten zwischen den beiden Initiativen mindestens einen klaren Unterschied zwischen UniTune und Imagic – Letztere verwendet “unkomprimierte” natürliche Sprachbefehle zur Steuerung von Bildbearbeitungsoperationen, während UniTune in der Art von DreamBooth einzigartige Token trainiert.

Wenn Sie also mit Imagic bearbeiten und eine solche Transformation vornehmen möchten…

Aus dem UniTune-Papier – UniTune setzt sich gegen Googles bevorzugtes rivales neuronales Bearbeitungsframework, SDEdit, durch. UniTunes Ergebnisse sind rechts, während die geschätzte Maske in der zweiten Bildreihe von links zu sehen ist.

… würden Sie in Imagic ‘die dritte Person, im Hintergrund, als süßen pelzigen Monster’ eingeben.

Der entsprechende UniTune-Befehl wäre ‘Mann im Hintergrund als [x]’, wobei x das ist, was auch immer das einzigartige Wort ist, das an den feinabgestimmten Begriff des pelzigen Monster-Charakters gebunden ist.

Während mehrere Bilder in DreamBooth oder Textual Inversion eingegeben werden, um eine deepfake-ähnliche Abstraktion zu erstellen, die in viele Posen befehligt werden kann, geben UniTune und Imagic stattdessen ein einzelnes Bild in das System ein – das ursprüngliche, unveränderte Bild.

Dies ist ähnlich wie die Art und Weise, wie viele der GAN-basierten Bearbeitungstools der letzten Jahre funktioniert haben – indem sie ein Eingabebild in Latentcodes im Latentraum des GAN umwandeln und diese Codes dann an andere Teile des Latentraums für die Modifizierung senden (z. B. Eingabe eines Bildes einer jungen dunkelhaarigen Person und Projektion durch Latentcodes, die mit “alt” oder “blond” assoziiert sind).

Die Ergebnisse sind jedoch in einem Diffusionsmodell und mit dieser Methode erstaunlich genau im Vergleich und viel weniger mehrdeutig:

Das Feinabstimmungsprozess

Die UniTune-Methode sendet im Wesentlichen das ursprüngliche Bild durch ein Diffusionsmodell mit einer Reihe von Anweisungen, wie es modifiziert werden soll, unter Verwendung der umfangreichen Repositorien verfügbarer Daten, die im Modell trainiert wurden. In der Tat können Sie dies jetzt mit der img2img-Funktion von Stable Diffusion durchführen – aber nicht ohne das Verzerren oder Ändern der Teile des Bildes, die Sie beibehalten möchten.

Während des UniTune-Prozesses wird das System feinabgestimmt, was bedeutet, dass UniTune das Modell zwingt, das Training wieder aufzunehmen, wobei die meisten seiner Schichten unfrozen sind (siehe unten). In den meisten Fällen wird die Feinabstimmung die allgemeinen Verlustwerte eines hart erarbeiteten Hochleistungsmodells zugunsten der Einschleusung oder Verfeinerung eines anderen Aspekts, der erstellt oder verbessert werden soll, senken.

Die Forscher haben auch mit SDEdits “late start”-Technik experimentiert, bei der das System dazu ermutigt wird, ursprüngliche Details zu erhalten, indem es nur teilweise “Lärm” von Anfang an ist, sondern seine wesentlichen Merkmale beibehält. Obwohl die Forscher dies nur auf der unteren Schicht (64px) verwendet haben, glauben sie, dass es eine nützliche Ergänzungstechnik für die Zukunft sein könnte.

Die Forscher haben auch prompt-to-prompt als zusätzliche textbasierte Technik genutzt, um das Modell zu konditionieren:

‘In der “prompt-to-prompt”-Einstellung fanden wir, dass eine Technik, die wir Prompt-Guidance nennen, besonders hilfreich ist, um Treue und Ausdrucksvermögen zu justieren.’

‘Prompt-Guidance ist ähnlich wie Classifier-Free-Guidance, außer dass die Basis ein anderer Befehl und nicht das unbedingte Modell ist. Dies leitet das Modell in Richtung der Differenz zwischen den beiden Befehlen.’

Prompt-to-prompt in UniTune, effektiv Bereiche zur Änderung isolierend.

Die Forscher haben auch eine neue Sampling-Technik namens Interpolation entwickelt, bei der Bereiche des Bildes ausreichend unterschiedlich sind, sodass sowohl das ursprüngliche als auch das geänderte Bild sehr ähnlich in der Zusammensetzung sind und eine naivere Interpolation verwendet werden kann.

Interpolation kann die höheren Anstrengungen von UniTune redundant machen, wenn die zu transformierenden Bereiche diskret und gut abgegrenzt sind.

Die Autoren schlagen vor, dass Interpolation so gut funktionieren könnte, dass sie als Standard-Einstellung verwendet werden könnte, und bemerken auch, dass sie die Kraft hat, außergewöhnliche Transformationen in Fällen zu bewirken, in denen komplexe Überlappungen nicht von intensiveren Methoden verhandelt werden müssen.

UniTune kann lokale Bearbeitungen mit oder ohne Bearbeitungsmasken durchführen und kann auch unilaterally entscheiden, wo Bearbeitungen platziert werden, mit einer ungewöhnlichen Kombination aus interpretativer Kraft und robuster Verwurzelung der ursprünglichen Eingabedaten:

In der obersten Bildreihe der zweiten Spalte hat UniTune, das mit der Aufgabe betraut wurde, einen “roten Zug im Hintergrund” einzufügen, diesen an einer angemessenen und authentischen Position platziert. Beachten Sie in den anderen Beispielen, wie die semantische Integrität des Quellbildes erhalten bleibt, selbst inmitten außergewöhnlicher Änderungen im Pixelinhalt und in den Kernstilen der Bilder.

Latenz

Obwohl die erste Iteration eines neuen Systems langsam sein wird und es möglich ist, dass entweder die Beteiligung der Community oder die Unterstützung durch ein Unternehmen (es ist normalerweise nicht beides) das Ressourcen-intensive Verfahren letztendlich beschleunigen und optimieren wird, führen sowohl UniTune als auch Imagic einige ziemlich große maschinelle Lernmanöver durch, um diese erstaunlichen Bearbeitungen zu erstellen, und es ist fraglich, inwieweit ein solcher ressourcenintensiver Prozess jemals auf den häuslichen Gebrauch heruntergeskaliert werden könnte, anstatt auf API-getriebenen Zugriff (obwohl Letzterer für Google möglicherweise wünschenswerter ist).

Im Moment beträgt die Round-Trip-Zeit von der Eingabe zum Ergebnis etwa 3 Minuten auf einem T4-GPU, mit etwa 30 Sekunden extra für die Inferenz (wie bei jedem Inferenzverfahren). Die Autoren räumen ein, dass dies eine hohe Latenz ist und kaum als “interaktiv” qualifiziert, aber sie bemerken auch, dass das Modell nach der ersten Feinabstimmung für weitere Bearbeitungen verfügbar bleibt, bis der Benutzer mit dem Prozess fertig ist, was die pro-Bearbeitungszeit verkürzt.

Erstveröffentlichung: 21. Oktober 2022.