Die Verbesserung der Genauigkeit von AI-Bildbearbeitung

Obwohl Adobes Firefly Latent-Diffusions-Modell (LDM) wahrscheinlich eines der besten derzeit verfügbaren ist, werden Photoshop-Benutzer, die seine generativen Funktionen ausprobiert haben, feststellen, dass es nicht in der Lage ist, bestehende Bilder leicht zu bearbeiten – stattdessen ersetzt es die vom Benutzer ausgewählte Fläche vollständig durch Bildinhalte, die auf die Textanweisung des Benutzers basieren (obwohl Firefly sehr gut darin ist, die generierte Sektion in den Kontext des Bildes zu integrieren).

In der aktuellen Beta-Version kann Photoshop zumindest ein Referenzbild als teilweises Bildanweisung verwenden, was Adobes Flaggschiff-Produkt auf das Funktionsniveau bringt, das Stable-Diffusion-Benutzer seit über zwei Jahren genießen, dank Drittanbieter-Frameworks wie ControlNet:

Die aktuelle Beta von Adobe Photoshop ermöglicht die Verwendung von Referenzbildern bei der Generierung neuer Inhalte innerhalb einer Auswahl – obwohl es derzeit ein Glücksfall ist.

Dies verdeutlicht ein offenes Problem in der Bildsynthese-Forschung – die Schwierigkeit, die Diffusionsmodelle haben, bestehende Bilder zu bearbeiten, ohne eine vollständige “Neuvorstellung” der vom Benutzer angegebenen Auswahl zu implementieren.

Obwohl diese diffusionsbasierte Inpainting der Anweisung des Benutzers folgt, erfindet sie das Quellthema vollständig neu, ohne die ursprüngliche Bildinhalte zu berücksichtigen (außer durch das Mischen der neuen Generation mit der Umgebung). Quelle: https://arxiv.org/pdf/2502.20376

Dieses Problem tritt auf, weil LDMs Bilder durch iteratives Rauschunterdrücken generieren, wobei jeder Schritt des Prozesses von der Textanweisung des Benutzers abhängt. Wenn die Textanweisungsinhalte in Einbettungstoken umgewandelt werden und ein Hyperskalenmodell wie Stable Diffusion oder Flux Hunderttausende (oder Millionen) von nahezu übereinstimmenden Einbettungen in Bezug auf die Anweisung enthält, hat der Prozess eine berechnete bedingte Verteilung, auf die er abzielt; und jeder Schritt, der unternommen wird, ist ein Schritt in Richtung dieser “bedingten Verteilungszielsetzung”.

So ist es bei Text-zu-Bild – einem Szenario, in dem der Benutzer “das Beste hofft”, da es keine Möglichkeit gibt, genau vorherzusagen, wie die Generierung aussehen wird.

Stattdessen haben viele versucht, die leistungsfähige generative Kapazität eines LDMs zu nutzen, um bestehende Bilder zu bearbeiten – aber dies erfordert ein Gleichgewicht zwischen Treue und Flexibilität.

Wenn ein Bild in den Latentraum des Modells durch Methoden wie DDIM-Inversion projiziert wird, besteht das Ziel darin, das Original so genau wie möglich wiederherzustellen, während gleichzeitig sinnvolle Bearbeitungen ermöglicht werden. Das Problem ist, dass das Modell, je genauer ein Bild rekonstruiert wird, desto mehr es seiner ursprünglichen Struktur folgt, was größere Änderungen schwierig macht.

Ebenso wie viele andere diffusionsbasierte Bildbearbeitungs-Frameworks, die in den letzten Jahren vorgeschlagen wurden, hat die Renoise-Architektur Schwierigkeiten, irgendeine echte Änderung am Bildaussehen vorzunehmen, mit nur einer oberflächlichen Andeutung einer Fliege am Hals des Katzen.

Andererseits, wenn der Prozess die Bearbeitbarkeit priorisiert, lockert das Modell seinen Griff auf das Original, was es einfacher macht, Änderungen einzuführen – aber auf Kosten der Gesamtkonsistenz mit dem Quellbild:

Mission erfüllt – aber es ist eine Transformation und keine Anpassung, für die meisten AI-basierten Bildbearbeitungs-Frameworks.

Da es ein Problem ist, das sogar Adobes erhebliche Ressourcen Schwierigkeiten bereitet, können wir vernünftigerweise annehmen, dass die Herausforderung bemerkenswert ist und möglicherweise keine leichten Lösungen zulässt, wenn sie auf ihre eigene Weise angegangen wird.

Enges Umkehren

Daher haben mich die Beispiele in einer neuen Veröffentlichung, die diese Woche erschienen ist, aufmerksam gemacht, da die Arbeit eine wertvolle und bemerkenswerte Verbesserung des aktuellen Standes der Technik in diesem Bereich bietet, indem sie in der Lage ist, subtile und feine Bearbeitungen auf Bilder anzuwenden, die in den Latentraum eines Modells projiziert werden – ohne dass die Bearbeitungen entweder unbedeutend oder das Original überschreiben:

Mit Engem Umkehren, das auf bestehende Inversionsmethoden angewendet wird, wird die Quellauswahl auf viel feinere Weise berücksichtigt, und die Transformationen entsprechen dem Originalmaterial, anstatt es zu überschreiben.

LDM-Hobbyisten und -Praktiker können diese Art von Ergebnis erkennen, da viel davon in einem komplexen Workflow mit externen Systemen wie Controlnet und IP-Adapter erstellt werden kann.

Tatsächlich nutzt die neue Methode – genannt Enges Umkehren – IP-Adapter sowie ein dediziertes face-basiertes Modell für menschliche Darstellungen.

Aus dem ursprünglichen IP-Adapter-Papier von 2023, Beispiele für die Erstellung geeigneter Bearbeitungen des Quellmaterials. Quelle: https://arxiv.org/pdf/2308.06721

Die bemerkenswerte Leistung von Engem Umkehren besteht darin, komplexe Techniken in eine einzelne Drop-in-Modus zu verfahren, die auf bestehende Systeme angewendet werden kann, einschließlich vieler der beliebtesten LDM-Verteilungen.

Natürlich bedeutet dies, dass Enges Umkehren (TI), ähnlich wie die Hilfssysteme, die es nutzt, das Quellbild als Bedingungsfaktor für seine eigene bearbeitete Version verwendet, anstatt sich ausschließlich auf genaue Textanweisungen zu verlassen:

Weitere Beispiele für die Fähigkeit von Engem Umkehren, tatsächlich gemischte Bearbeitungen auf Quellmaterial anzuwenden.

Obwohl die Autoren zugeben, dass ihr Ansatz nicht frei von der traditionellen und anhaltenden Spannung zwischen Treue und Bearbeitbarkeit in diffusionsbasierten Bildbearbeitungstechniken ist, berichten sie über Spitzenleistungen, wenn sie TI in bestehende Systeme einsetzen, im Vergleich zur Baseline-Leistung.

Die neue Arbeit trägt den Titel Enges Umkehren: Bildbedingte Inversion für reale Bildbearbeitung und stammt von fünf Forschern der Universität Tel Aviv und Snap Research.

Methode

Zunächst wird ein großes Sprachmodell (LLM) verwendet, um eine Reihe von verschiedenen Textanweisungen zu generieren, aus denen ein Bild erstellt wird. Dann wird die oben genannte DDIM-Inversion auf jedes Bild mit drei Textbedingungen angewendet: die Textanweisung, die zum Erstellen des Bildes verwendet wurde; eine verkürzte Version derselben; und eine leere (leere) Anweisung.

Mit dem invertierten Rauschen, das aus diesen Prozessen zurückgegeben wird, werden die Bilder erneut mit der gleichen Bedingung und ohne Klassifizierungsanweisung (CFG) generiert.

DDIM-Inversionsbewertungen über verschiedene Metriken bei variierenden Anweisungseinstellungen.

Wie wir aus dem obigen Diagramm erkennen können, verbessern sich die Bewertungen über verschiedene Metriken mit zunehmender Textlänge. Die verwendeten Metriken waren Peak-Signal-Rausch-Verhältnis (PSNR); L2-Abstand; Strukturelle Ähnlichkeitsindex (SSIM); und Gelernte Wahrnehmungs-Ähnlichkeit von Bild-Patches (LPIPS).

Bildbewusst

Effektiv ändert Enges Umkehren, wie ein Host-Diffusionsmodell reale Bilder bearbeitet, indem es den Inversionsprozess auf das Bild selbst und nicht nur auf die Textanweisung bedingt.

Normalerweise erfordert die Inversion eines Bildes in den Rauschraum eines Diffusionsmodells die Schätzung des Startrauschens, das, wenn es entrauscht wird, das Eingabebild rekonstruiert. Standardmethoden verwenden eine Textanweisung, um diesen Prozess zu steuern; aber eine unvollkommene Anweisung kann zu Fehlern führen, Details verlieren oder Strukturen ändern.

Enges Umkehren verwendet stattdessen IP-Adapter, um visuelle Informationen in das Modell zu übergeben, sodass es das Bild mit größerer Genauigkeit rekonstruiert, die Quellbilder in Bedingungstoken umwandelt und sie in die Inversions-Pipeline projiziert.

Diese Parameter sind bearbeitbar: Die Erhöhung des Einflusses des Quellbildes macht die Rekonstruktion fast perfekt, während die Verringerung es ermöglicht, kreativere Änderungen vorzunehmen. Dies macht Enges Umkehren nützlich für sowohl subtile Änderungen, wie z.B. die Änderung der Farbe eines Hemdes, als auch für größere Bearbeitungen, wie z.B. das Austauschen von Objekten – ohne die üblichen Nebenwirkungen anderer Inversionsmethoden, wie z.B. den Verlust feiner Details oder unerwartete Aberrationen im Hintergrund.

Die Autoren stellen fest:

‘Wir stellen fest, dass Enges Umkehren leicht in vorherige Inversionsmethoden (z.B. Edit Friendly DDPM, ReNoise) integriert werden kann, indem man den natürlichen Diffusionskern durch den IP-Adapter-Modell ersetzt, und Enges Umkehren verbessert diese Methoden konsistent in Bezug auf Rekonstruktion und Bearbeitbarkeit.’

Daten und Tests

Die Forscher bewerteten TI auf seine Fähigkeit, reale Quellbilder zu rekonstruieren und zu bearbeiten. Alle Experimente verwendeten Stable Diffusion XL mit einem DDIM-Planer, wie im ursprünglichen Stable-Diffusion-Papier beschrieben; und alle Tests verwendeten 50 Ent-rausch-Schritte bei einem Standard-Anweisungsskala von 7,5.

Für die Bildbedingung wurde IP-Adapter-plus sdxl vit-h verwendet. Für Few-Step-Tests verwendeten die Forscher SDXL-Turbo mit einem Euler-Planer und führten auch Experimente mit FLUX.1-dev durch, wobei sie das Modell in diesem Fall auf PuLID-Flux bedingten, unter Verwendung von RF-Inversion bei 28 Schritten.

PulID wurde nur in Fällen verwendet, die menschliche Gesichter enthielten, da dies der Bereich ist, auf den PulID trainiert wurde – und obwohl es bemerkenswert ist, dass ein spezielles Subsystem für diese eine mögliche Anweisungsart verwendet wird, deutet unser übermäßiges Interesse an der Generierung von menschlichen Gesichtern darauf hin, dass die alleinige Verwendung der breiteren Gewichte eines Grundmodells wie Stable Diffusion möglicherweise nicht ausreicht, um die Standards zu erfüllen, die wir für diese spezielle Aufgabe fordern.

Rekonstruktions-Tests wurden für qualitative und quantitative Bewertung durchgeführt. Im folgenden Bild sehen wir qualitative Beispiele für DDIM-Inversion:

Qualitative Ergebnisse für DDIM-Inversion. Jede Zeile zeigt ein sehr detailliertes Bild neben seinen rekonstruierten Versionen, wobei jeder Schritt bei der Inversion und Ent-Rauschung fortschrittlich genauere Bedingungen verwendet.

Das Papier besagt:

‘Diese Beispiele verdeutlichen, dass die Bedingung des Inversionsprozesses auf einem Bild die Rekonstruktion in hochdetaillierten Bereichen erheblich verbessert.

‘Insbesondere im dritten Beispiel [des Bildes unten] rekonstruiert unsere Methode erfolgreich das Tattoo auf dem Rücken des rechten Boxers. Darüber hinaus wird die Pose des Boxers genauer erhalten, und das Tattoo auf dem Bein wird sichtbar.’

Weitere qualitative Ergebnisse für DDIM-Inversion. Deskriptive Bedingungen verbessern DDIM-Inversion, wobei Bildbedingung Text übertrifft, insbesondere bei komplexen Bildern.

Die Autoren testeten Enges Umkehren auch als Drop-in-Modul für bestehende Systeme, indem sie die modifizierten Versionen gegen ihre Baseline-Leistung verglichen.

Die drei getesteten Systeme waren die oben genannte DDIM-Inversion und RF-Inversion; und auch ReNoise, die einige Autoren mit dem vorliegenden Papier teilt. Da DDIM-Ergebnisse keine Schwierigkeiten haben, 100%ige Rekonstruktion zu erreichen, konzentrierten sich die Forscher ausschließlich auf die Bearbeitbarkeit.

(Die qualitativen Ergebnisbilder sind in einer Weise formatiert, die schwierig zu reproduzieren ist, daher verweisen wir den Leser auf die Quelldokumentation für bessere Auflösung und Klarheit, ungeachtet dessen, dass einige Auswahlmöglichkeiten unten aufgeführt sind)

Links, qualitative Rekonstruktions-Ergebnisse für Enges Umkehren mit SDXL. Rechts, Rekonstruktion mit Flux.

Hier kommentieren die Autoren:

‘Wie gezeigt, verbessert die Integration von Engem Umkehren mit bestehenden Methoden konsistent die Rekonstruktion. Zum Beispiel rekonstruiert unsere Methode den Handlauf im linken Beispiel und den Mann mit dem blauen Hemd im rechten Beispiel [in Abbildung 5 des Papiers] genau.’

Die Autoren testeten das System auch quantitativ. In Übereinstimmung mit vorherigen Arbeiten verwendeten sie den Validierungsdatensatz von MS-COCO und bemerken, dass die Ergebnisse (siehe unten) die Rekonstruktion über alle Metriken für alle Methoden verbesserten.

Vergleich der Metriken für die Leistung der Systeme mit und ohne Enges Umkehren.

Als nächstes testeten die Autoren die Fähigkeit des Systems, Bilder zu bearbeiten, indem sie es gegen Baseline-Versionen vorheriger Ansätze wie Prompt2Prompt; Edit Friendly DDPM; LED-ITS++; und RF-Inversion verglichen.

Unten sind einige der qualitativen Ergebnisse des Papiers für SDXL und Flux aufgeführt (und wir verweisen den Leser auf die ziemlich komprimierte Anordnung der ursprünglichen Arbeit für weitere Beispiele).

Auswahl aus den umfangreichen qualitativen Ergebnissen (ziemlich verwirrend) über die gesamte Arbeit verteilt.

Die Autoren behaupten, dass Enges Umkehren konsistent besser als bestehende Inversions-Techniken abschneidet, indem es ein besseres Gleichgewicht zwischen Rekonstruktion und Bearbeitbarkeit findet. Standardmethoden wie DDIM-Inversion und ReNoise können ein Bild gut rekonstruieren, aber die Arbeit besagt, dass sie oft Schwierigkeiten haben, feine Details zu erhalten, wenn Bearbeitungen angewendet werden.

Im Gegensatz dazu nutzt Enges Umkehren Bildbedingung, um die Ausgabe des Modells enger an das Original zu binden, wodurch unerwünschte Verzerrungen verhindert werden. Die Autoren behaupten, dass selbst wenn konkurrierende Ansätze Rekonstruktionen erzeugen, die aussehen, als seien sie genau, die Einführung von Bearbeitungen oft zu Artefakten oder strukturellen Inkonsistenzen führt und dass Enges Umkehren diese Probleme mildert.

Schließlich wurden quantitative Ergebnisse durch die Bewertung von Engem Umkehren gegen den MagicBrush-Benchmark unter Verwendung von DDIM-Inversion und LEDITS++ mit CLIP-Sim erzielt.

Quantitative Vergleiche von Engem Umkehren gegen den MagicBrush-Benchmark.

Die Autoren schlussfolgern:

‘In beiden Grafiken ist der Kompromiss zwischen Bildbewahrung und Anpassung an die Zielbearbeitung klar zu erkennen. Enges Umkehren bietet eine bessere Kontrolle über diesen Kompromiss und bewahrt das Eingabebild besser, während es sich gleichzeitig an die Bearbeitung [Anweisung] anpasst.

‘Beachten Sie, dass eine CLIP-Ähnlichkeit von über 0,3 zwischen einem Bild und einer Textanweisung eine plausible Anpassung zwischen dem Bild und der Anweisung anzeigt.’

Schlussfolgerung

Obwohl es keinen “Durchbruch” in einer der schwierigsten Herausforderungen der LDM-basierten Bildsynthese darstellt, konsolidiert Enges Umkehren eine Reihe von mühsamen Nebenansätzen in eine einheitliche Methode der AI-basierten Bildbearbeitung.

Obwohl die Spannung zwischen Bearbeitbarkeit und Treue unter dieser Methode nicht verschwunden ist, ist sie deutlich reduziert, laut den präsentierten Ergebnissen. Da die zentrale Herausforderung, die diese Arbeit angeht, möglicherweise letztendlich unüberwindbar ist, wenn sie auf ihre eigene Weise angegangen wird (anstatt über LDM-basierte Architekturen in zukünftigen Systemen hinauszugehen), stellt Enges Umkehren eine willkommene inkrementelle Verbesserung des aktuellen Standes der Technik dar.

Erstveröffentlichung am Freitag, 28. Februar 2025