Verbesserung der Green-Screen-Generierung für Stable Diffusion

Trotz der Begeisterung der Community und der Investoren für visuelle generative KI ist die Ausgabe solcher Systeme nicht immer für den Einsatz in der realen Welt bereit; ein Beispiel dafür ist, dass Gen-Systeme tendenziell ganze Bilder (oder eine Reihe von Bildern, im Falle von Videos) ausgeben, anstatt der einzelnen, isolierten Elemente, die für diverse Anwendungen in Multimedia und für visuelle Effekte-Praktiker typischerweise erforderlich sind.

Ein einfaches Beispiel dafür ist Clip-Art, das darauf ausgelegt ist, über einem beliebigen Hintergrund zu “schweben”, den der Benutzer ausgewählt hat:

Der hellgraue karierte Hintergrund, der vielleicht am meisten Photoshop-Benutzern vertraut ist, hat sich zu einem Symbol für den Alpha-Kanal oder den Transparenzkanal entwickelt, sogar in einfachen Verbraucherartikeln wie Stockbildern.

Transparenz dieser Art ist bereits seit über 30 Jahren verfügbar; seit der digitalen Revolution der frühen 1990er Jahre können Benutzer Elemente aus Videos und Bildern durch eine immer komplexere Reihe von Werkzeugen und Techniken extrahieren.

Beispielsweise war die Herausforderung, blaue und grüne Hintergründe in Videoaufnahmen zu “entfernen”, einst das Vorrecht teurer chemischer Prozesse und optischer Drucker (sowie handgefertigter Matten), würde jedoch in Systemen wie Adobe’s After Effects und Photoshop-Anwendungen (unter vielen anderen kostenlosen und proprietären Programmen und Systemen) zu einer Arbeit von Minuten werden.

Sobald ein Element isoliert wurde, ermöglicht ein Alpha-Kanal (effektiv eine Maske, die nicht relevante Inhalte verdeckt) es, jedes Element im Video mühelos über neue Hintergründe zu legen oder mit anderen isolierten Elementen zu komponieren.

Beispiele für Alpha-Kanäle, mit ihren Effekten in der unteren Reihe dargestellt. Quelle: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

Ausblenden

In der Computer-Vision fällt die Erstellung von Alpha-Kanälen unter die Kategorie der semantischen Segmentierung, mit Open-Source-Projekten wie Meta’s Segment Anything, die eine text-promptbare Methode zur Isolierung/Extraktion von Zielobjekten durch semantisch verbesserte Objekterkennung bieten.

Das Segment-Anything-Framework wurde in einer Vielzahl von visuellen Effekten-Extraktions- und Isolierungs-Workflows verwendet, wie z.B. dem Alpha-CLIP-Projekt.

Beispiele für Extraktionen mit Segment Anything im Alpha-CLIP-Framework: Quelle: https://arxiv.org/pdf/2312.03818

Es gibt viele alternative semantische Segmentierungsmethoden, die für die Aufgabe der Zuweisung von Alpha-Kanälen adaptiert werden können.

Die semantische Segmentierung basiert jedoch auf trainierten Daten, die möglicherweise nicht alle Kategorien von Objekten enthalten, die extrahiert werden müssen. Obwohl Modelle, die auf sehr großen Datenmengen trainiert werden, eine breitere Palette von Objekten erkennen können (effektiv zu grundlegenden Modellen oder Weltmodellen werden), sind sie dennoch durch die Klassen begrenzt, die sie am effektivsten erkennen.

Semantische Segmentierungssysteme wie Segment Anything können Schwierigkeiten haben, bestimmte Objekte oder Teile von Objekten zu identifizieren, wie hier in der Ausgabe von mehrdeutigen Prompts gezeigt. Quelle: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

In jedem Fall ist die semantische Segmentierung ebenso sehr ein post facto-Prozess wie ein Green-Screen-Verfahren und muss Elemente ohne den Vorteil eines einzigen Hintergrundfarbbereichs isolieren, der effektiv erkannt und entfernt werden kann.

Deswegen kam es dem Benutzercommunity gelegentlich in den Sinn, dass Bilder und Videos generiert werden könnten, die tatsächlich grüne Hintergründe enthalten, die durch herkömmliche Methoden sofort entfernt werden könnten.

Leider haben beliebte latente Diffusionsmodelle wie Stable Diffusion oft Schwierigkeiten, ein wirklich lebendiges grünes Bild zu rendern. Dies liegt daran, dass die Trainingsdaten der Modelle nicht typischerweise viele Beispiele für diese spezielle Szene enthalten. Selbst wenn das System erfolgreich ist, neigt die Idee von “grün” dazu, sich unerwünscht auf das Vordergrundobjekt auszubreiten, aufgrund von Konzept-Verknüpfung:

Das Stanford-LayerDiffuse-Projekt wurde auf einer Million geeigneten Bildern trainiert, die dem Modell Transparenzkapazitäten verleihen konnten. Quelle: https://arxiv.org/pdf/2402.17113

Leider ist das Dataset, das für LayerDiffuse verwendet wurde, nicht öffentlich verfügbar, was die Verwendung von auf ihm trainierten Modellen einschränkt. Selbst wenn diese Einschränkung nicht existieren würde, ist dieser Ansatz schwierig anzupassen oder für spezifische Anwendungsfälle zu entwickeln.

Ein wenig später im Jahr 2024 kollaborierte Adobe Research mit der Stonybrook University, um MAGICK zu produzieren, einem KI-Extraktionsansatz, der auf benutzerdefinierten Diffusionsbildern trainiert wurde.

Aus dem Paper von 2024, ein Beispiel für die fein abgestimmte Alpha-Kanal-Extraktion in MAGICK. Quelle: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150.000 extrahierte, KI-generierte Objekte wurden verwendet, um MAGICK zu trainieren, damit das System eine intuitive Verständnis für die Extraktion entwickeln konnte:

Beispiele aus dem MAGICK-Trainingsdataset.

Dieses Dataset, wie es im Quellenpaper angegeben ist, war sehr schwierig zu generieren, da Diffusionsmethoden Schwierigkeiten haben, feste, keybare Farbflächen zu erstellen. Deshalb war eine manuelle Auswahl der generierten Matten notwendig.

Diese logistische Flaschenhals führt erneut zu einem System, das nicht leicht entwickelt oder angepasst werden kann, sondern innerhalb seiner anfänglich trainierten Fähigkeiten verwendet werden muss.

TKG-DM – ‘Native’ Chroma-Extraktion für ein latentes Diffusionsmodell

Eine neue Kollaboration zwischen deutschen und japanischen Forschern hat eine Alternative zu solchen trainierten Methoden vorgeschlagen, die – wie das Paper angibt – bessere Ergebnisse als die oben genannten Methoden liefern kann, ohne die Notwendigkeit, auf speziell kuratierten Datensätzen zu trainieren.

TKG-DM ändert das zufällige Rauschen, das ein generiertes Bild initialisiert, so dass es besser in der Lage ist, einen festen, keybaren Hintergrund in jeder Farbe zu produzieren. Quelle: https://arxiv.org/pdf/2411.15580

Der neue Ansatz geht das Problem auf der Generierungsebene an, indem er das zufällige Rauschen optimiert, aus dem ein Bild in einem latenten Diffusionsmodell (LDM) wie Stable Diffusion generiert wird.

Der Ansatz baut auf einer früheren Untersuchung zur Farbschema einer Stable-Diffusion-Verteilung auf und ist in der Lage, Hintergrundfarben jeder Art zu produzieren, mit weniger (oder keinem) Verknüpfen der Hintergrundfarbe mit dem Vordergrundinhalt im Vergleich zu anderen Methoden.

Das anfängliche Rauschen wird durch eine Kanal-Mittelverschiebung konditioniert, die in der Lage ist, Aspekte des Entrauschungsprozesses zu beeinflussen, ohne das Farbsignal in den Vordergrundinhalt zu verknüpfen.

Das Paper besagt:

‘Unsere umfangreichen Experimente zeigen, dass TKG-DM die FID- und mask-FID-Scores um 33,7% bzw. 35,9% verbessert.

‘Somit übertrifft unser trainingsfreies Modell fein abgestimmte Modelle und bietet eine effiziente und vielseitige Lösung für verschiedene visuelle Inhalts-Erstellungsaufgaben, die präzise Vordergrund- und Hintergrundkontrolle erfordern. ‘

Das neue Paper trägt den Titel TKG-DM: Trainingsfreies Chroma-Schlüssel-Inhalts-Generierungs-Diffusionsmodell und stammt von sieben Forschern aus der Hosei-Universität in Tokio und der RPTU Kaiserslautern-Landau & DFKI GmbH in Kaiserslautern.

Methode

Der neue Ansatz erweitert die Architektur von Stable Diffusion, indem er das anfängliche Gauß-Rauschen durch eine Kanal-Mittelverschiebung (CMS) konditioniert, die Rauschmuster produziert, die darauf abzielen, die gewünschte Hintergrund-/Vordergrund-Trennung im generierten Ergebnis zu fördern.

Schema für das vorgeschlagene System.

CMS passt den Mittelwert jedes Farbkanals an, während es die allgemeine Entwicklung des Entrauschungsprozesses beibehält.

Die Autoren erklären:

‘Um das Vordergrundobjekt auf dem Chroma-Schlüssel-Hintergrund zu generieren, wenden wir eine Init-Rauschen-Auswahlstrategie an, die das anfängliche [Rauschen] und das Init-Farben-[Rauschen] mithilfe einer 2D-Gauß-[Maske] selektiv kombiniert.

‘Diese Maske erzeugt einen allmählichen Übergang, indem sie das ursprüngliche Rauschen im Vordergrundbereich bewahrt und das farbverschobene Rauschen im Hintergrundbereich anwendet.’

Der Farbkanal, der für die Hintergrund-Chroma-Farbe gewünscht wird, wird mit einem Null-Text-Prompt initialisiert, während der tatsächliche Vordergrundinhalt semantisch aus der Benutzertextanweisung erstellt wird.

Selbst-Aufmerksamkeit und Kreuz-Aufmerksamkeit werden verwendet, um die beiden Aspekte des Bildes (den Chroma-Hintergrund und den Vordergrundinhalt) zu trennen. Selbst-Aufmerksamkeit hilft bei der internen Konsistenz des Vordergrundobjekts, während Kreuz-Aufmerksamkeit die Treue zum Text-Prompt aufrechterhält. Das Paper weist darauf hin, dass da Hintergrundbilder normalerweise weniger detailliert und betont sind, ihre schwächere Einflussnahme relativ leicht zu überwinden und durch eine Fläche reiner Farbe zu ersetzen ist.

<emEine Visualisierung des Einflusses von Selbst-Aufmerksamkeit und Kreuz-Aufmerksamkeit im Chroma-Stil-Generierungsprozess.

Daten und Tests

TKG-DM wurde mit Stable Diffusion V1.5 und Stable Diffusion SDXL getestet. Bilder wurden bei 512x512px und 1024x1024px generiert.

Bilder wurden mit dem DDIM-Planer von Stable Diffusion erstellt, bei einem Führungsmaßstab von 7,5, mit 50 Entrauschungsschritten. Die Ziel-Hintergrundfarbe war Grün, jetzt die dominante Ausblendmethode.

Der neue Ansatz wurde mit DeepFloyd unter den Einstellungen, die für MAGICK verwendet wurden, verglichen; mit dem fein abgestimmten Low-Rank-Diffusionsmodell GreenBack LoRA; und auch mit dem oben genannten LayerDiffuse.

Für die Daten wurden 3000 Bilder aus dem MAGICK-Datensatz verwendet.

Beispiele aus dem MAGICK-Datensatz, aus dem 3000 Bilder für die Tests des neuen Systems ausgewählt wurden. Quelle: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

Für die Metriken verwendeten die Autoren die Fréchet-Inception-Distanz (FID), um die Vordergrundqualität zu bewerten. Sie entwickelten auch eine projektspezifische Metrik namens m-FID, die das BiRefNet-System verwendet, um die Qualität der resultierenden Maske zu bewerten.

Visuelle Vergleiche des BiRefNet-Systems mit vorherigen Methoden. Quelle: https://arxiv.org/pdf/2401.03407

Um die semantische Ausrichtung mit den Eingabe-Prompts zu testen, wurden die CLIP-Satz (CLIP-S) und CLIP-Bild (CLIP-I)-Methoden verwendet. CLIP-S bewertet die Prompt-Treue, und CLIP-I die visuelle Ähnlichkeit mit der Grundwahrheit.

Erster Satz qualitativer Ergebnisse für den neuen Ansatz, diesmal für Stable Diffusion V1.5. Bitte auf die Quell-PDF für eine bessere Auflösung verweisen.

Die Autoren behaupten, dass die Ergebnisse (oben und unten, SD1.5 und SDXL, jeweils) zeigen, dass TKG-DM bessere Ergebnisse ohne Prompt-Engineering oder die Notwendigkeit, ein Modell zu trainieren oder fein abzustimmen, liefert.

SDXL qualitative Ergebnisse. Bitte auf die Quell-PDF für eine bessere Auflösung verweisen.

Sie bemerken, dass bei einem Prompt, der einen grünen Hintergrund in den generierten Ergebnissen hervorrufen soll, Stable Diffusion 1.5 Schwierigkeiten hat, einen sauberen Hintergrund zu generieren, während SDXL (obwohl es ein bisschen besser abschneidet) instabile hellgrüne Töne produziert, die die Trennung in einem Chroma-Prozess stören können.

Sie stellen weiter fest, dass LayerDiffuse gut getrennte Hintergründe generiert, aber gelegentlich Details wie präzise Zahlen oder Buchstaben verliert und dies den Einschränkungen des Datensatzes zuschreiben. Sie fügen hinzu, dass die Maskenerstellung gelegentlich auch fehlschlägt, was zu “nicht geschnittenen” Bildern führt.

Bei quantitativen Tests scheint LayerDiffuse zwar in SDXL einen Vorteil bei der FID zu haben, aber die Autoren betonen, dass dies das Ergebnis eines speziell kuratierten Datensatzes ist, der effektiv ein “gebackenes” und nicht flexibles Produkt darstellt. Wie bereits erwähnt, können Objekte oder Klassen, die nicht in diesem Datensatz enthalten sind oder nicht ausreichend abgedeckt sind, möglicherweise nicht so gut funktionieren, und eine weitere Feinabstimmung, um neue Klassen zu berücksichtigen, stellt den Benutzer vor eine Kurations- und Trainingslast.

Quantitative Ergebnisse für die Vergleiche. Der scheinbare Vorteil von LayerDiffuse, so das Paper, kommt auf Kosten von Flexibilität und der Last der Datenauswahl und des Trainings.

Das Paper besagt:

‘DeepFloyds hohe FID-, m-FID- und CLIP-I-Scores spiegeln ihre Ähnlichkeit mit der Grundwahrheit aufgrund von DeepFloyds Ausgaben wider. Allerdings gibt diese Ausrichtung ihm einen inhärenten Vorteil, was es zu einem unfairen Benchmark für die Bildqualität macht. Sein niedrigerer CLIP-S-Score weist außerdem auf eine schwächere Textausrichtung im Vergleich zu anderen Modellen hin.

‘Insgesamt unterstreichen diese Ergebnisse die Fähigkeit unseres Modells, hochwertige, textausgerichtete Vordergründe ohne Feinabstimmung zu generieren, und bieten eine effiziente Chroma-Schlüssel-Inhalts-Generierungslösung.’

Schließlich führten die Forscher eine Benutzerstudie durch, um die Prompt-Adhärenz über die verschiedenen Methoden hinweg zu bewerten. Einhundert Teilnehmer wurden gebeten, 30 Bildpaare von jeder Methode zu bewerten, wobei die Objekte mit BiRefNet und manuellen Verfeinerungen über alle Beispiele extrahiert wurden. Der trainingsfreie Ansatz der Autoren wurde in dieser Studie bevorzugt.

Ergebnisse der Benutzerstudie.

TKG-DM ist mit dem beliebten ControlNet-Drittanbietersystem für Stable Diffusion kompatibel, und die Autoren behaupten, dass es bessere Ergebnisse als die native Fähigkeit von ControlNet liefert, diese Art von Trennung zu erreichen.

Schlussfolgerung

Vielleicht der bemerkenswerteste Aspekt dieses neuen Papers ist das Ausmaß, in dem latente Diffusionsmodelle verknüpft sind, im Gegensatz zur populären öffentlichen Wahrnehmung, dass sie mühelos Aspekte von Bildern und Videos trennen können, wenn sie neue Inhalte generieren.

Die Studie betont außerdem, in welchem Umfang die Forschungs- und Hobby-Community auf Feinabstimmung als post facto-Lösung für die Mängel von Modellen zurückgegriffen hat – eine Lösung, die immer spezifische Klassen und Arten von Objekten ansprechen wird. In einem solchen Szenario wird ein fein abgestimmtes Modell entweder sehr gut auf eine begrenzte Anzahl von Klassen funktionieren oder erträglich gut auf eine viel größere Anzahl möglicher Klassen und Objekte, je nach höherer Menge an Daten in den Trainingssets.

Daher ist es erfrischend, zumindest eine Lösung zu sehen, die nicht auf solche mühsamen und fragwürdigen Lösungen angewiesen ist.

* Bei den Dreharbeiten zum Film Superman von 1978 musste Schauspieler Christopher Reeve einen türkisen Superman-Anzug für Bluescreen-Aufnahmen tragen, um den ikonischen blauen Anzug zu vermeiden, der gelöscht werden würde. Die blaue Farbe des Anzugs wurde später durch Farbkorrektur wiederhergestellt.