Die Nutzung von menschlicher Aufmerksamkeit kann AI-generierte Bilder verbessern

Neue Forschung aus China hat eine Methode vorgeschlagen, um die Qualität von Bildern zu verbessern, die von Latent Diffusion Models (LDMs) wie Stable Diffusion generiert werden.

Die Methode konzentriert sich auf die Optimierung der salienten Regionen eines Bildes – Bereiche, die am wahrscheinlichsten die menschliche Aufmerksamkeit auf sich ziehen.

Die neue Forschung hat herausgefunden, dass Saliency-Karten (vierte Spalte von links) als Filter oder “Maske” für die Steuerung des Fokus der Aufmerksamkeit in Denoising-Prozessen auf Bereiche des Bildes verwendet werden können, die Menschen am wahrscheinlichsten beachten. Quelle: https://arxiv.org/pdf/2410.10257

Traditionelle Methoden optimieren das gesamte Bild gleichmäßig, während die neue Methode einen Saliency-Detektor verwendet, um wichtigere Regionen zu identifizieren und zu priorisieren, wie es Menschen tun.

In quantitativen und qualitativen Tests konnte die Methode der Forscher vorherige Diffusions-basierte Modelle sowohl in Bezug auf Bildqualität als auch auf Treue zu Text-Prompts überbieten.

Die neue Methode erzielte auch das beste Ergebnis in einem menschlichen Wahrnehmungstest mit 100 Teilnehmern.

Natürliche Selektion

Saliency, die Fähigkeit, Informationen in der realen Welt und in Bildern zu priorisieren, ist ein wesentlicher Teil der menschlichen Wahrnehmung.

Ein einfaches Beispiel dafür ist die erhöhte Aufmerksamkeit für Details, die klassische Kunst wichtigen Bereichen eines Gemäldes zuweist, wie dem Gesicht in einem Porträt oder den Masten eines Schiffes in einem Meeres-Thema; in solchen Beispielen konvergiert die Aufmerksamkeit des Künstlers auf das zentrale Thema, was bedeutet, dass breite Details wie ein Hintergrund oder ferne Wellen eines Sturms skizzenhafter und repräsentativer sind als detaillierte.

Informiert durch menschliche Studien, sind maschinelle Lernmethoden in den letzten zehn Jahren entstanden, die diese menschliche Aufmerksamkeitsachse in jedem Bild replizieren oder zumindest approximieren können.

Objekt-Segmentierung (semantische Segmentierung) kann eine Hilfe sein, um Aspekte eines Bildes zu individuieren und entsprechende Saliency-Karten zu entwickeln. Quelle: https://arxiv.org/pdf/1312.6034

In der Forschungsliteratur ist der beliebteste Saliency-Karten-Detektor der letzten fünf Jahre der 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) gewesen, der später zum verbesserten Grad-CAM++ system weiterentwickelt wurde, sowie andere Varianten und Verfeinerungen.

Grad-CAM verwendet die Gradient-Aktivierung eines semantischen Tokens (wie “Hund” oder “Katze”) um eine visuelle Karte zu erstellen, die zeigt, wo das Konzept oder die Annotation wahrscheinlich im Bild repräsentiert ist.

Beispiele aus dem ursprünglichen Grad-CAM-Papier. In der zweiten Spalte werden durch guided Backpropagation alle beitragenden Merkmale individuiert. In der dritten Spalte werden die semantischen Karten für die beiden Konzepte “Hund” und “Katze” gezeichnet. Quelle: https://arxiv.org/pdf/1610.02391

Menschliche Umfragen zu den Ergebnissen, die mit diesen Methoden erzielt wurden, haben eine Korrespondenz zwischen diesen mathematischen Individuationen von Schlüsselinteressenpunkten in einem Bild und der menschlichen Aufmerksamkeit (bei der Scannung des Bildes) gezeigt.

SGOOL

Das neue Papier betrachtet, was Saliency für Text-Bild- (und potenziell Text-Video-) Systeme wie Stable Diffusion und Flux bringen kann.

Wenn ein Benutzertext-Prompt interpretiert wird, erkunden Latent-Diffusions-Modelle ihren trainierten latenten Raum nach gelernten visuellen Konzepten, die mit den verwendeten Wörtern oder Phrasen übereinstimmen. Sie parsen diese gefundenen Datenpunkte dann durch einen Denoising-Prozess, bei dem zufälliges Rauschen allmählich in eine kreative Interpretation des Benutzertext-Prompts entwickelt wird.

Zu diesem Zeitpunkt gibt das Modell jedoch gleich viel Aufmerksamkeit jedem Teil des Bildes. Seit der Popularisierung von Diffusions-Modellen im Jahr 2022, mit dem Launch von OpenAIs verfügbarem Dall-E Bild-Generatoren und der anschließenden Open-Source-Veröffentlichung von Stability.aus Stable Diffusion Framework, haben Benutzer festgestellt, dass “wichtige” Abschnitte eines Bildes oft unterversorgt sind.

Wenn man bedenkt, dass in einer typischen Darstellung eines Menschen das Gesicht des Menschen (das für den Betrachter von maximaler Bedeutung ist) wahrscheinlich nicht mehr als 10-35% des gesamten Bildes einnimmt, arbeitet diese demokratische Methode der Aufmerksamkeitsverteilung gegen die Natur der menschlichen Wahrnehmung und die Geschichte der Kunst und Fotografie.

Wenn die Knöpfe auf den Jeans eines Menschen die gleiche Rechenleistung erhalten wie seine Augen, kann die Ressourcenverteilung als nicht optimal bezeichnet werden.

Daher verwendet die neue Methode, die von den Autoren vorgeschlagen wird und Saliency-Guided Optimization of Diffusion Latents (SGOOL) genannt wird, einen Saliency-Mapper, um die Aufmerksamkeit auf vernachlässigte Bereiche eines Bildes zu erhöhen und weniger Ressourcen für Abschnitte zu verwenden, die wahrscheinlich am Rande der Aufmerksamkeit des Betrachters bleiben.

Methode

Die SGOOL-Pipeline umfasst Bildgenerierung, Saliency-Mapping und Optimierung, wobei das gesamte Bild und das saliency-raffinierte Bild gemeinsam verarbeitet werden.

Konzeptuelles Schema für SGOOL.

Die latenten Einbettungen des Diffusionsmodells werden direkt mit Feinabstimmung optimiert, wodurch die Notwendigkeit entfällt, ein spezifisches Modell zu trainieren. Die Denoising-Diffusion-Implicit-Model-(DDIM)-Methode der Stanford-Universität, die den Benutzern von Stable Diffusion vertraut ist, wird angepasst, um die sekundäre Information zu berücksichtigen, die durch Saliency-Karten bereitgestellt wird.

Das Papier besagt:

‘Wir verwenden zunächst einen Saliency-Detektor, um das menschliche visuelle Aufmerksamkeitssystem zu imitieren und die salienten Regionen zu markieren. Um ein zusätzliches Modell zu trainieren, optimieren wir unsere Methode direkt die Diffusions-Latenten.

‘Unsere Methode nutzt außerdem einen invertierbaren Diffusionsprozess und verleiht ihm die Vorzüge einer konstanten Speicherimplementierung. Daher wird unsere Methode zu einer parameter-effizienten und plug-and-play-Feinabstimmungsmethode. Umfangreiche Experimente wurden mit mehreren Metriken und menschlicher Bewertung durchgeführt.’

Da diese Methode mehrere Iterationen des Denoising-Prozesses erfordert, haben die Autoren das Direct Optimization Of Diffusion Latents (DOODL)-Framework verwendet, das einen invertierbaren Diffusionsprozess bereitstellt – obwohl es immer noch die gesamte Aufmerksamkeit auf das Bild richtet.

Um Bereiche des menschlichen Interesses zu definieren, haben die Forscher das TransalNet-Framework der Universität Dundee aus dem Jahr 2022 verwendet.

Beispiele für Saliency-Erkennung aus dem TransalNet-Projekt 2022. Quelle: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Die salienten Regionen, die durch TransalNet verarbeitet wurden, wurden dann beschnitten, um schlüssige Saliency-Abschnitte zu erzeugen, die für tatsächliche Menschen von größtem Interesse sein könnten.

Der Unterschied zwischen dem Benutzertext und dem Bild muss berücksichtigt werden, um eine Verlustfunktion zu definieren, die bestimmen kann, ob der Prozess funktioniert. Dazu wurde eine Version von OpenAIs Contrastive Language–Image Pre-training (CLIP) verwendet – ein fester Bestandteil des Bildsynthese-Forschungssektors – sowie die geschätzte semantische Distanz zwischen dem Text-Prompt und der globalen (nicht-saliency) Bildausgabe.

Die Autoren behaupten:

‘[Die] endgültige Verlustfunktion betrifft die Beziehungen zwischen Saliency-Teilen und dem globalen Bild gleichzeitig, was hilft, lokale Details und globale Konsistenz im Generierungsprozess auszugleichen.

‘Diese saliency-bewusste Verlustfunktion wird verwendet, um die Bild-Latenten zu optimieren. Die Gradienten werden auf dem geräuschvollen [Latenten] berechnet und verwendet, um die Konditionierungswirkung des Eingabe-Prompts auf sowohl saliente als auch globale Aspekte des ursprünglichen generierten Bildes zu verstärken.’

Daten und Tests

Um SGOOL zu testen, verwendeten die Autoren eine “Vanilla”-Distribution von Stable Diffusion V1.4 (bezeichnet als “SD” in den Testergebnissen) und Stable Diffusion mit CLIP-Leitung (bezeichnet als “Baseline” in den Ergebnissen).

Das System wurde gegen drei öffentliche Datensätze getestet: CommonSyntacticProcesses (CSP), DrawBench und DailyDallE*.

Letztere enthält 99 detaillierte Prompts von einem Künstler, der in einem der Blog-Beiträge von OpenAI vorgestellt wurde, während DrawBench 200 Prompts über 11 Kategorien anbietet. CSP besteht aus 52 Prompts, die auf acht verschiedene grammatische Fälle basieren.

Für SD, Baseline und SGOOL wurde in den Tests das CLIP-Modell über ViT/B-32 verwendet, um die Bild- und Text-Einbettungen zu generieren. Der gleiche Prompt und Zufallsseed wurde verwendet. Die Ausgabegröße betrug 256×256, und die Standardgewichte und -einstellungen von TransalNet wurden verwendet.

Neben der CLIP-Score-Metrik wurde ein geschätzter Human Preference Score (HPS) verwendet, sowie eine reale Studie mit 100 Teilnehmern.

Quantitative Ergebnisse im Vergleich zu vorherigen Konfigurationen.

In Bezug auf die quantitativen Ergebnisse, die in der obigen Tabelle dargestellt sind, besagt das Papier:

‘Unser Modell übertrifft SD und Baseline in allen Datensätzen unter beiden CLIP-Score- und HPS-Metriken deutlich. Die durchschnittlichen Ergebnisse unseres Modells für CLIP-Score und HPS sind 3,05 bzw. 0,0029 höher als der zweite Platz.’

Die Autoren haben die Box-Plots der HPS- und CLIP-Scores in Bezug auf die vorherigen Ansätze wie folgt geschätzt:

Box-Plots für die HPS- und CLIP-Scores, die in den Tests erhalten wurden.

Sie kommentieren:

‘Es ist ersichtlich, dass unser Modell die anderen Modelle übertrifft, was darauf hinweist, dass unser Modell besser in der Lage ist, Bilder zu generieren, die mit den Prompts übereinstimmen.

‘Allerdings ist es in der Box-Plot-Darstellung nicht leicht, den Vergleich aufgrund der Größe dieser Bewertungsmetrik bei [0, 1] zu visualisieren. Daher gehen wir dazu über, die entsprechenden Balken-Plots zu erstellen.

‘Es ist ersichtlich, dass SGOOL SD und Baseline in allen Datensätzen unter beiden CLIP-Score- und HPS-Metriken übertrifft. Die quantitativen Ergebnisse zeigen, dass unser Modell semantisch konsistentere und menschlich bevorzugte Bilder generieren kann.’

Die Forscher bemerken, dass das Baseline-Modell zwar die Bildqualität verbessern kann, aber die salienten Bereiche des Bildes nicht berücksichtigt. Sie behaupten, dass SGOOL, indem es einen Kompromiss zwischen globaler und salienter Bildbewertung erreicht, bessere Bilder erhält.

In qualitativen (automatischen) Vergleichen wurde die Anzahl der Optimierungen auf 50 für SGOOL und DOODL festgelegt.

Qualitative Ergebnisse für die Tests. Bitte beachten Sie die Quelle für bessere Definition.

Hier bemerken die Autoren:

‘In der ersten Zeile sind die Themen des Prompts “eine Katze, die singt” und “ein Barbershop-Quartett”. Es gibt vier Katzen im von SD generierten Bild, und der Inhalt des Bildes stimmt nicht gut mit dem Prompt überein.

‘Die Katze wird im von Baseline generierten Bild ignoriert, und es fehlt an Details in der Darstellung des Gesichts und der Details im Bild. DOODL versucht, ein Bild zu generieren, das mit dem Prompt übereinstimmt.

‘Allerdings optimiert DOODL das globale Bild direkt, wodurch die Personen im Bild auf die Katze optimiert werden.’

Sie bemerken weiter, dass SGOOL im Gegensatz dazu Bilder generiert, die besser mit dem ursprünglichen Prompt übereinstimmen.

Im menschlichen Wahrnehmungstest bewerteten 100 Freiwillige Testbilder hinsichtlich Qualität und semantischer Konsistenz (d. h. wie gut sie dem Quelltext-Prompt entsprachen). Die Teilnehmer hatten unbegrenzt Zeit, um ihre Auswahl zu treffen.

Ergebnisse des menschlichen Konsistenztests.

Wie das Papier feststellt, ist die Methode der Autoren deutlich bevorzugt gegenüber den vorherigen Ansätzen.

Schlussfolgerung

Kurz nachdem die in diesem Papier behandelten Mängel in lokalen Installationen von Stable Diffusion offensichtlich wurden, sind verschiedene spezielle Methoden (wie After Detailer) entstanden, um das System zu zwingen, extra Aufmerksamkeit auf Bereiche zu richten, die für Menschen von größerem Interesse sind.

Es ist jedoch zu beachten, dass diese Art von Ansatz erfordert, dass das Diffusions-System zunächst durch den normalen Prozess der gleichmäßigen Aufmerksamkeitsverteilung auf alle Teile des Bildes gehen muss, wobei die erhöhte Arbeit als zusätzliche Phase durchgeführt wird.

Die Ergebnisse von SGOOL deuten darauf hin, dass die Anwendung von grundlegender menschlicher Psychologie auf die Priorisierung von Bildabschnitten die anfängliche Inferenz erheblich verbessern kann, ohne Nachbearbeitungsschritte.

* Das Papier bietet den gleichen Link für dies wie für CommonSyntacticProcesses.

Erstveröffentlichung am Mittwoch, den 16. Oktober 2024