Die Zukunft der RAG-erweiterten Bildgenerierung

Generative Diffusionsmodelle wie Stable Diffusion, Flux und Video-Modelle wie Hunyuan basieren auf Wissen, das während einer einzigen, ressourcenintensiven Trainingsphase mit einem festen Datensatz erworben wurde. Alle Konzepte, die nach dieser Trainingsphase eingeführt werden – auch bekannt als Wissensabschnitt – fehlen im Modell, es sei denn, es wird durch Feinabstimmung oder externe Anpassungstechniken wie Low-Rank-Anpassung (LoRA) ergänzt.

Es wäre ideal, wenn ein generatives System, das Bilder oder Videos ausgibt, auf Online-Quellen zugreifen und diese bei Bedarf in den Generierungsprozess einbeziehen könnte. Auf diese Weise könnte beispielsweise ein Diffusionsmodell, das nichts über die neuesten Apple- oder Tesla-Produkte weiß, dennoch Bilder mit diesen neuen Produkten erzeugen.

Im Hinblick auf Sprachmodelle sind uns Systeme wie Perplexity, Notebook LM und ChatGPT-4o vertraut, die neue externe Informationen in einem RAG-Modell (Retrieval-Augmented Generation) einbeziehen können.

RAG-Prozesse machen ChatGPT 4o’s Antworten relevanter. Quelle: https://chatgpt.com/

Im Gegensatz dazu ist dies bei der Bildgenerierung eine ungewöhnliche Fähigkeit, und ChatGPT wird seine eigenen Grenzen in dieser Hinsicht einräumen:

ChatGPT 4o hat eine gute Vermutung über die Visualisierung einer brandneuen Uhren-Veröffentlichung gemacht, basierend auf der allgemeinen Linie und den Beschreibungen, die es interpretiert hat; aber es kann keine neuen Bilder in eine DALL-E-basierte Generierung ‘absorbieren’ und integrieren.

Die Einbeziehung externer Daten in ein generiertes Bild ist herausfordernd, da das eingehende Bild zunächst in Token und Embeddings zerlegt werden muss, die dann auf das nächste Domänenwissen des Modells zum Thema abgebildet werden müssen.

Während dieser Prozess für post-trainings-Tools wie ControlNet effektiv funktioniert, bleiben solche Manipulationen größtenteils oberflächlich und lassen das abgerufene Bild im Wesentlichen durch eine Render-Pipeline, ohne es tief in die interne Repräsentation des Modells zu integrieren.

Dadurch fehlt dem Modell die Fähigkeit, neue Perspektiven auf die gleiche Weise wie neuronale Render-Systeme wie NeRF zu generieren, die Szenen mit wahrem räumlichem und strukturellem Verständnis konstruieren können.

Reife Logik

Eine ähnliche Einschränkung gilt für RAG-basierte Abfragen in Large Language Models (LLMs) wie Perplexity. Wenn ein Modell dieser Art externe Daten verarbeitet, funktioniert es viel wie ein Erwachsener, der auf ein Leben voller Wissen zurückgreift, um Wahrscheinlichkeiten über ein Thema abzuleiten.

Genau wie eine Person jedoch nicht rückwirkend neue Informationen in den kognitiven Rahmen integrieren kann, der ihre grundlegende Weltanschauung geprägt hat – als ihre Vorurteile und Annahmen noch im Entstehen waren – kann ein LLM neue Kenntnisse nicht nahtlos in seine vorgebildete Struktur integrieren.

Stattdessen kann es die neuen Daten nur ‘auswirken’ oder gegen seine internalisierten Kenntnisse ausspielen, indem es gelernte Prinzipien verwendet, um zu analysieren und zu vermuten, anstatt auf fundamentaler Ebene zu synthetisieren.

Diese Diskrepanz zwischen auseinandergezogenen und internalisierten Generationen ist wahrscheinlich in einem generierten Bild deutlicher als in einer sprachbasierten Generation:

Versteckte Risiken der RAG-fähigen Bildgenerierung

Selbst wenn es technisch möglich wäre, abgerufene Internet-Bilder nahtlos in neu synthetisierte Bilder im RAG-Stil zu integrieren, würden Sicherheitsbedenken eine zusätzliche Herausforderung darstellen.

Viele Datensätze, die zur Trainings generativer Modelle verwendet werden, wurden so kuratiert, dass sie explizite, rassistische oder gewalttätige Inhalte minimieren. Dieser Prozess ist jedoch unvollkommen, und Restassoziationen können bestehen bleiben. Um dies zu mildern, verlassen sich Systeme wie DALL·E und Adobe Firefly auf sekundäre Filtermechanismen, die sowohl Eingabeaufforderungen als auch generierte Ausgaben auf verbotene Inhalte überprüfen.

Als Ergebnis wäre ein einfacher NSFW-Filter – der hauptsächlich explizite Inhalte blockiert – nicht ausreichend, um die Akzeptabilität abgerufener RAG-basierter Daten zu bewerten. Solche Inhalte könnten immer noch auf andere Weise anstößig oder schädlich sein, die außerhalb der vordefinierten Moderationsparameter des Modells liegen, und potenziell Material einführen, das die künstliche Intelligenz nicht richtig bewerten kann.

Die Entdeckung einer jüngsten Schwachstelle in der von der chinesischen Regierung produzierten DeepSeek, die darauf abzielt, Diskussionen über verbotene politische Inhalte zu unterdrücken, hat gezeigt, wie alternative Eingabewege ausgenutzt werden können, um die ethischen Sicherheitsvorkehrungen eines Modells zu umgehen; dies gilt möglicherweise auch für willkürliche neue Daten, die aus dem Internet abgerufen werden, wenn sie in eine neue Bildgenerierung einbezogen werden sollen.

RAG für die Bildgenerierung

Trotz dieser Herausforderungen und politischen Aspekte sind mehrere Projekte entstanden, die versuchen, RAG-basierte Methoden zu verwenden, um neue Daten in visuelle Generationen einzubeziehen.

ReDi

Das 2023er Retrieval-basierte Diffusion (ReDi)-Projekt ist ein lernfreies Framework, das die Diffusionsmodellinferenz beschleunigt, indem es ähnliche Pfade aus einer vorkomputierten Wissensbasis abruft.

Werte aus einem Datensatz können für eine neue Generation in ReDi ‘ausgeliehen’ werden. Quelle: https://arxiv.org/pdf/2302.02285

Im Kontext von Diffusionsmodellen ist ein Pfad der schrittweise Weg, den das Modell nimmt, um ein Bild aus reinem Rauschen zu erzeugen. Normalerweise geschieht dieser Prozess allmählich über viele Schritte, wobei jeder Schritt das Bild ein wenig mehr verfeinert.

ReDi beschleunigt diesen Prozess, indem es eine Reihe von Schritten überspringt. Anstatt jeden einzelnen Schritt zu berechnen, ruft es einen ähnlichen vorherigen Pfad aus einer Datenbank ab und springt zu einem späteren Punkt im Prozess. Dies reduziert die Anzahl der erforderlichen Berechnungen und macht die diffusionsbasierte Bildgenerierung viel schneller, während die Qualität erhalten bleibt.

ReDi modifiziert die Gewichte des Diffusionsmodells nicht, sondern verwendet die Wissensbasis, um Zwischenschritte zu überspringen und so die Anzahl der für die Stichprobenbildung erforderlichen Funktionsabschätzungen zu reduzieren.

Natürlich ist dies nicht dasselbe, wie bestimmte Bilder willkürlich in eine Generation aufzunehmen; aber es steht in Zusammenhang mit ähnlichen Arten der Generation.

Veröffentlicht im Jahr 2022, dem Jahr, in dem latente Diffusionsmodelle die öffentliche Aufmerksamkeit auf sich zogen, scheint ReDi einer der frühesten diffusionsbasierten Ansätze zu sein, der auf eine RAG-Methodik setzt.

Obwohl erwähnt werden sollte, dass Facebook Research im Jahr 2021 Instance-Conditioned GAN veröffentlichte, das darauf abzielte, GAN-Bilder auf neue Bild-Eingaben zu konditionieren, ist diese Art von Projektion in den latenten Raum sehr häufig in der Literatur zu finden, sowohl für GANs als auch für Diffusionsmodelle; die Herausforderung besteht darin, einen derartigen Prozess lernfrei und in Echtzeit umzusetzen, wie es bei RAG-Methoden für LLMs der Fall ist.

RDM

Ein weiterer früher Versuch, RAG-augmentierte Bildgenerierung zu erreichen, sind Retrieval-Augmented Diffusionsmodelle (RDM), die einen semi-parametrischen Ansatz zur generativen Bildsynthese einführen. Während traditionelle Diffusionsmodelle alle erlernten visuellen Kenntnisse innerhalb ihrer neuronalen Netzwerkparameter speichern, verlässt sich RDM auf eine externe Bild-Datenbank:

Abgerufene nächste Nachbarn in einer illustrierenden Pseudo-Abfrage in RDM*.

Während des Trainings ruft das Modell nächste Nachbarn (visuell oder semantisch ähnliche Bilder) aus der externen Datenbank ab, um den Generierungsprozess zu leiten. Dies ermöglicht es dem Modell, seine Ausgaben auf reale visuelle Instanzen zu konditionieren.

Der Abrufprozess wird von CLIP-Embeddings angetrieben, die darauf ausgelegt sind, die abgerufenen Bilder dazu zu bringen, bedeutungsvolle Ähnlichkeiten mit der Abfrage zu teilen, und auch, neue Informationen bereitzustellen, um die Generation zu verbessern.

Dies reduziert die Abhängigkeit von Parametern und ermöglicht es kleineren Modellen, wettbewerbsfähige Ergebnisse ohne umfangreiche Trainingsdatensätze zu erzielen.

Der RDM-Ansatz unterstützt post-hoc-Modifikationen: Forscher können die Datenbank zur Inferenzzeit austauschen, was eine Null-Shot-Anpassung an neue Stile, Domänen oder sogar völlig andere Aufgaben wie Stilisierung oder klassenbedingte Synthese ermöglicht.

In den unteren Reihen sehen wir die nächste Nachbarn, die in den Diffusionsprozess in RDM* einbezogen werden.

Ein wesentlicher Vorteil von RDM ist seine Fähigkeit, die Bildgenerierung zu verbessern, ohne das Modell neu trainieren zu müssen. Durch die einfache Änderung der Abruf-Datenbank kann das Modell sich an neue Konzepte anpassen, auf die es nicht explizit trainiert wurde. Dies ist besonders nützlich für Anwendungen, bei denen Domänenverschiebungen auftreten, wie z. B. die Generierung medizinischer Bilder auf der Grundlage sich entwickelnder Datensätze oder die Anpassung von Text-Bild-Modellen für kreative Anwendungen.

Negativ bleibt jedoch, dass retrieval-basierte Methoden dieser Art von der Qualität und Relevanz der externen Datenbank abhängen, was die Datenkuratierung zu einem wichtigen Faktor für die Erzielung hochwertiger Generationen macht; und dieser Ansatz bleibt weit entfernt von einer Bildsynthese-Äquivalent der Art von RAG-basierten Interaktionen, die in kommerziellen LLMs typisch sind.

ReMoDiffuse

ReMoDiffuse ist ein retrieval-augmentierter Bewegungs-Diffusionsmodell, der für die 3D-Mensch-Bewegungsgenerierung konzipiert ist. Im Gegensatz zu traditionellen Bewegungs-Modellen, die sich ausschließlich auf erlernte Repräsentationen verlassen, ruft ReMoDiffuse relevante Bewegungsmuster aus einer großen Bewegungsdatenbank ab und integriert sie in den Lärmschaltungprozess, in einem Schema ähnlich wie RDM (siehe oben).

Vergleich von RAG-augmentiertem ReMoDiffuse (rechts) mit vorherigen Methoden. Quelle: https://arxiv.org/pdf/2304.01116

Dies ermöglicht es dem Modell, Bewegungssequenzen zu generieren, die natürlicher und vielfältiger sind und semantisch treu gegenüber den Text-Prompts des Benutzers sind.

ReMoDiffuse verwendet einen innovativen Hybrid-Retrieval-Mechanismus, der Bewegungssequenzen basierend auf sowohl semantischen als auch kinematischen Ähnlichkeiten auswählt, mit dem Ziel, sicherzustellen, dass die abgerufenen Bewegungen nicht nur thematisch relevant, sondern auch physikalisch plausibel sind, wenn sie in die neue Generation integriert werden.

Dann verfeinert das Modell diese abgerufenen Proben mithilfe eines Semantik-modulierten Transformers, der selektiv Wissen aus den abgerufenen Bewegungen einbezieht, während die charakteristischen Eigenschaften der generierten Sequenz beibehalten werden:

Schema für ReMoDiffuse’s Pipeline.

Das Condition-Mixture-Verfahren des Projekts verbessert die Fähigkeit des Modells, sich über verschiedene Prompts und Abrufbedingungen hinweg zu verallgemeinern, indem es abgerufene Bewegungsmuster mit Text-Prompts während der Generation ausgleicht und anpasst, wie viel Gewicht jede Quelle bei jedem Schritt erhält.

Dies kann helfen, unrealistische oder repetitive Ausgaben zu vermeiden, auch für seltene Prompts. Es geht auch auf das Skalierungs-Sensitivitätsproblem ein, das oft bei den Klassifizierungs-freien-Leit-Techniken auftritt, die in Diffusionsmodellen häufig verwendet werden.

RA-CM3

Stanfords 2023er Papier Retrieval-Augmented Multimodal Language Modeling (RA-CM3) ermöglicht es dem System, auf Echtzeit-Informationen aus der realen Welt zuzugreifen:

Stanfords Retrieval-Augmented Multimodal Language Modeling (RA-CM3)-Modell verwendet internet-abgerufene Bilder, um den Generierungsprozess zu erweitern, bleibt aber ein Prototyp ohne öffentlichen Zugang. Quelle: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integriert abgerufene Texte und Bilder in die Generierungspipeline, wodurch sowohl Text-Bild- als auch Bild-Text-Synthese verbessert werden. Durch die Verwendung von CLIP für den Abruf und einem Transformer als Generator bezieht sich das Modell auf relevante multimorelle Dokumente, bevor es eine Ausgabe komponiert.

Die Benchmark auf MS-COCO zeigt eine bemerkenswerte Verbesserung gegenüber DALL-E und ähnlichen Systemen, mit einer 12-Punkte-Fréchet-Inception-Entfernung (FID)-Reduktion bei deutlich geringerem Rechenaufwand.

Wie bei anderen retrieval-augmentierten Ansätzen integriert RA-CM3 jedoch seine abgerufenen Kenntnisse nicht nahtlos. Stattdessen überlagert es neue Daten gegen sein vorgebildetes Netzwerk, ähnlich wie ein LLM, das seine Antworten mit Suchergebnissen ergänzt. Während diese Methode die faktische Genauigkeit verbessern kann, ersetzt sie nicht die Notwendigkeit von Trainings-Updates in Domänen, in denen tiefe Synthese erforderlich ist.

Darüber hinaus scheint eine praktische Implementierung dieses Systems nicht verfügbar zu sein, auch nicht auf einer API-basierten Plattform.

RealRAG

Eine neue Veröffentlichung aus China, die uns zu diesem Blick auf RAG-augmentierte generative Bildsysteme veranlasst hat, ist Retrieval-Augmented Realistic Image Generation (RealRAG).

Externe Bilder, die in RealRAG (unten in der Mitte) einbezogen werden. Quelle: https://arxiv.o7rg/pdf/2502.00848

RealRAG ruft tatsächliche Bilder relevanter Objekte aus einer Datenbank ab, die aus öffentlich verfügbaren Datensätzen wie ImageNet, Stanford Cars, Stanford Dogs und Oxford Flowers kuratiert wurde. Es integriert dann die abgerufenen Bilder in den Generierungsprozess, um Wissenslücken im Modell zu schließen.

Ein wichtiger Bestandteil von RealRAG ist selbstreflektives kontrastives Lernen, das ein Abrufmodell trainiert, um informative Referenzbilder zu finden, anstatt nur visuell ähnliche auszuwählen.

Die Autoren erklären:

‘Unser Schlüsselgedanke ist es, einen Abruf zu trainieren, der Bilder abruft, die außerhalb des Generierungsraums des Generators liegen, aber nahe an der Repräsentation von Text-Prompts sind.

‘Dazu generieren wir zunächst Bilder aus den gegebenen Text-Prompts und verwenden dann die generierten Bilder als Abfragen, um die relevantesten Bilder in der realen Objekt-Datenbank abzurufen. Diese relevantesten Bilder werden als reflektive Negativa verwendet.’

Dieser Ansatz stellt sicher, dass die abgerufenen Bilder fehlendes Wissen zum Generierungsprozess beitragen, anstatt bestehende Vorurteile im Modell zu verstärken.

Links, das abgerufene Referenzbild; Mitte, ohne RAG; rechts, mit Verwendung des abgerufenen Bildes.

Die Abhängigkeit von der Qualität und Abdeckung der Datenbank bedeutet jedoch, dass die Effektivität von RealRAG je nach Verfügbarkeit hochwertiger Referenzen variieren kann. Wenn ein relevantes Bild nicht im Datensatz vorhanden ist, kann das Modell immer noch mit unbekannten Konzepten zu kämpfen haben.

RealRAG ist eine sehr modulare Architektur, die mit mehreren anderen generativen Architekturen kompatibel ist, einschließlich U-Net-basierter, DiT-basierter und autoregressiver Modelle.

Im Allgemeinen fügt die Abrufung und Verarbeitung externer Bilder einen zusätzlichen Rechenaufwand hinzu, und die Leistung des Systems hängt von der Fähigkeit des Abrufmechanismus ab, sich über verschiedene Aufgaben und Datensätze zu verallgemeinern.

Schlussfolgerung

Dies ist eine repräsentative Übersicht über bildabrufende multimodale generative Systeme. Einige Systeme dieser Art verwenden den Abruf ausschließlich, um das Verständnis von Bildern oder die Datenkuratierung zu verbessern, unter anderem aus verschiedenen Gründen, anstatt Bilder zu generieren. Ein Beispiel ist Internet Explorer.

Viele der anderen RAG-integrierten Projekte in der Literatur bleiben unveröffentlicht. Prototypen mit nur veröffentlichter Forschung umfassen Re-Imagen, das – trotz seiner Herkunft von Google – nur auf Bilder aus einer lokalen benutzerdefinierten Datenbank zugreifen kann.

Außerdem kündigte Baidu im November 2024 an, Bild-basierte Retrieval-Augmented Generation (iRAG), eine neue Plattform, die abgerufene Bilder ‘aus einer Datenbank’ verwendet. Obwohl iRAG angeblich auf der Ernie-Plattform verfügbar ist, scheinen keine weiteren Details über diesen Abrufprozess vorzuliegen, der auf eine lokale Datenbank (d. h. lokale zum Dienst und nicht direkt für den Benutzer zugänglich) setzt.

Weiterhin bietet das 2024er Papier Einheitliche Text-Bild-Generierung und -Abruf eine weitere RAG-basierte Methode, um externe Bilder zu verwenden, um Ergebnisse zur Generierungszeit zu erweitern – wiederum aus einer lokalen Datenbank und nicht aus ad-hoc-Internetquellen.

Die Begeisterung für RAG-basierte Erweiterung in der Bildgenerierung wird wahrscheinlich auf Systeme fokussiert sein, die Internet-Quellen oder Benutzer-Uploads direkt in den Generierungsprozess einbeziehen können und es den Benutzern ermöglichen, an der Auswahl oder den Quellen der Bilder teilzunehmen.

Es gibt jedoch zwei wesentliche Gründe, warum dies eine Herausforderung darstellt; zum einen, weil die Effektivität solcher Systeme normalerweise von tief integrierten Beziehungen abhängt, die während eines ressourcenintensiven Trainingsprozesses gebildet werden; und zum anderen, weil Bedenken hinsichtlich Sicherheit, Recht und Urheberrechtsbeschränkungen, wie zuvor erwähnt, diese Funktion für einen API-basierten Webdienst und für kommerzielle Bereitstellung im Allgemeinen unwahrscheinlich machen.

* Quelle: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf Erstveröffentlichung Dienstag, 4. Februar 2025