De Toekomst van RAG-Versterkte Beeldgeneratie

Generatieve diffusiemodellen zoals Stable Diffusion, Flux en videomodellen zoals Hunyuan zijn afhankelijk van kennis die is verworven tijdens een enkele, resource-intensieve trainingsessie met een vaste dataset. Elk concept dat na deze training wordt geïntroduceerd – waarnaar wordt verwezen als de kennislimiet – is afwezig in het model, tenzij het wordt aangevuld door fine-tuning of externe adaptatie-technieken zoals Low Rank Adaptation (LoRA).

Het zou ideaal zijn als een generatief systeem dat afbeeldingen of video’s produceert, online bronnen kan raadplegen en deze kan integreren in het generatieproces wanneer nodig. Op deze manier kan een diffusiemodel dat niets weet over de laatste Apple- of Tesla-release, nog steeds afbeeldingen produceren die deze nieuwe producten bevatten.

Wat betreft taalmodellen zijn de meeste van ons vertrouwd met systemen zoals Perplexity, Notebook LM en ChatGPT-4o, die nieuwe externe informatie kunnen integreren in een Retrieval Augmented Generation (RAG) model.

RAG-processen maken de antwoorden van ChatGPT 4o relevanter. Bron: https://chatgpt.com/

Echter, deze functionaliteit is ongebruikelijk bij het genereren van afbeeldingen, en ChatGPT zal zijn eigen beperkingen in dit opzicht erkennen:

ChatGPT 4o heeft een goede gok gedaan over de visualisatie van een nieuw horloge, gebaseerd op de algemene lijn en de beschrijvingen die het heeft geïnterpreteerd; maar het kan geen nieuwe afbeeldingen integreren in een DALL-E-gebaseerde generatie.

Het integreren van extern opgehaalde gegevens in een gegenereerde afbeelding is moeilijk omdat de binnenkomende afbeelding eerst moet worden opgesplitst in tokens en embeddings, die vervolgens worden toegewezen aan de dichtstbijzijnde getrainde domeinkennis van het onderwerp.

Hoewel dit proces effectief werkt voor post-training tools zoals ControlNet, blijven dergelijke manipulaties grotendeels oppervlakkig, waarbij de opgehaalde afbeelding wordt doorgestuurd naar een renderingpijplijn, maar zonder diepe integratie in de interne representatie van het model.

Als gevolg hiervan ontbreekt het model de mogelijkheid om nieuwe perspectieven te genereren op de manier waarop neurale renderingssystemen zoals NeRF kunnen, die scènes construeren met echte ruimtelijke en structurele kennis.

Rijpe Logica

Een soortgelijke beperking geldt voor RAG-gebaseerde queries in Large Language Models (LLM’s), zoals Perplexity. Wanneer een model van dit type extern opgehaalde gegevens verwerkt, functioneert het veel zoals een volwassene die een leven lang kennis heeft opgedaan om waarschijnlijkheden over een onderwerp af te leiden.

Echter, net zoals een persoon geen nieuwe informatie kan integreren in zijn cognitieve kader dat zijn fundamentele wereldbeeld heeft gevormd – toen zijn vooroordelen en preconcepties nog in ontwikkeling waren – kan een LLM geen nieuwe kennis naadloos integreren in zijn vooraf getrainde structuur.

In plaats daarvan kan het alleen ‘invloed’ uitoefenen of de nieuwe gegevens tegen zijn bestaande geïnternaliseerde kennis plaatsen, met behulp van geleerde principes om te analyseren en te concluderen in plaats van te synthetiseren op fundamenteel niveau.

Deze tekortkoming in equivalentie tussen geplaatste en geïnternaliseerde generatie is waarschijnlijk meer zichtbaar in een gegenereerde afbeelding dan in een taalgebaseerde generatie: de diepere netwerkverbindingen en de toegenomen creativiteit van ‘native’ (in plaats van RAG-gebaseerde) generatie zijn vastgesteld in verschillende studies.

Verborgen Risico’s van RAG-Geïntegreerde Beeldgeneratie

Zelfs als het technisch mogelijk zou zijn om extern opgehaalde internetafbeeldingen naadloos te integreren in nieuwe synthetische afbeeldingen op een RAG-manier, zouden veiligheidsgerelateerde beperkingen een extra uitdaging vormen.

Veel datasets die worden gebruikt voor het trainen van generatieve modellen zijn gecureerd om de aanwezigheid van expliciete, racistische of gewelddadige inhoud te minimaliseren, evenals andere gevoelige categorieën. Echter, dit proces is onvolmaakt, en residuele associaties kunnen blijven bestaan. Om dit te mitigeren, vertrouwen systemen zoals DALL·E en Adobe Firefly op secundaire filtermechanismen die zowel invoerprompts als gegenereerde uitvoer screenen op verboden inhoud.

Als gevolg hiervan zou een eenvoudige NSFW-filter – die voornamelijk overt uitgesproken inhoud blokkeert – onvoldoende zijn voor het evalueren van de aanvaardbaarheid van opgehaalde RAG-gebaseerde gegevens. Dergelijke inhoud kan nog steeds offensief of schadelijk zijn op manieren die buiten de vooraf gedefinieerde moderatieparameters van het model vallen, waardoor materiaal kan worden geïntroduceerd dat de AI niet goed kan beoordelen.

De ontdekking van een recente kwetsbaarheid in de door de CCP geproduceerde DeepSeek, ontworpen om onderdrukte discussies over verboden politieke inhoud te onderdrukken, heeft aangetoond hoe alternatieve invoerpaden kunnen worden uitgebuit om de ethische waarborgen van een model te omzeilen; dit geldt mogelijk ook voor willekeurig nieuwe gegevens die van internet worden opgehaald en die zijn bedoeld om te worden geïntegreerd in een nieuwe beeldgeneratie.

RAG voor Beeldgeneratie

Ondanks deze uitdagingen en doornige politieke aspecten, zijn er verschillende projecten ontstaan die proberen RAG-gebaseerde methoden te gebruiken om nieuwe gegevens te integreren in visuele generaties.

ReDi

Het Retrieval-based Diffusion (ReDi) project uit 2023 is een leer-vrije framework die de diffusiemodelinference versnelt door soortgelijke trajecten op te halen uit een vooraf berekende kennisbasis.

Waarden uit een dataset kunnen worden ‘geleend’ voor een nieuwe generatie in ReDi. Bron: https://arxiv.org/pdf/2302.02285

In de context van diffusiemodellen is een traject de stap-voor-staproute die het model neemt om een afbeelding te genereren van zuiver ruis. Normaal gesproken gebeurt dit proces geleidelijk over veel stappen, waarbij elke stap de afbeelding een beetje meer verfijnt.

ReDi versnelt dit proces door een aantal van die stappen over te slaan. In plaats van elke stap te berekenen, haalt het een soortgelijk verleden traject op uit een database en springt het naar een later punt in het proces. Dit vermindert het aantal berekeningen dat nodig is, waardoor diffusie-gebaseerde beeldgeneratie veel sneller wordt, terwijl de kwaliteit nog steeds hoog blijft.

ReDi wijzigt de gewichten van het diffusiemodel niet, maar gebruikt de kennisbasis om tussenliggende stappen over te slaan, waardoor het aantal functie-schattingen dat nodig is voor sampling wordt verminderd.

Natuurlijk is dit niet hetzelfde als het integreren van specifieke afbeeldingen op wil in een generatieverzoek; maar het heeft wel te maken met soortgelijke soorten generatie.

Uitgebracht in 2022, het jaar waarin latent diffusiemodellen de publieke verbeelding hebben gevangen, lijkt ReDi een van de vroegste diffusie-gebaseerde benaderingen te zijn die een RAG-methodologie gebruikt.

Hoewel er in 2021 door Facebook Research Instance-Conditioned GAN werd uitgebracht, die GAN-afbeeldingen probeerde te conditioneren op nieuwe beeldinvoer, is dit soort projectie in de latent ruimte extreem gewoon in de literatuur, zowel voor GAN’s als diffusiemodellen; de uitdaging is om een dergelijk proces trainingsvrij en functioneel in real-time te maken, zoals RAG-gebaseerde methoden voor LLM’s.

RDM

Een andere vroege poging tot RAG-versterkte beeldgeneratie is Retrieval-Augmented Diffusion Models (RDM), die een semi-parametrische benadering introduceert voor generatieve beeldsynthese. Terwijl traditionele diffusiemodellen alle geleerde visuele kennis opslaan in hun neurale netwerkparameters, vertrouwt RDM op een externe beelddatabase:

Opgehaalde dichtstbijzijnde buren in een illustratieve pseudo-query in RDM*.

Tijdens de training haalt het model dichtstbijzijnde buren (visueel of semantisch soortgelijke afbeeldingen) op uit de externe database, om het generatieproces te begeleiden. Dit stelt het model in staat om zijn uitvoer te conditioneren op echte wereldvisuele instanties.

Het ophalen van gegevens wordt aangedreven door CLIP-embeddings, ontworpen om ervoor te zorgen dat de opgehaalde afbeeldingen betekenisvolle overeenkomsten delen met de query, en om ook nieuwe informatie te bieden om de generatie te verbeteren.

Dit vermindert de afhankelijkheid van parameters, waardoor kleinere modellen kunnen worden gemaakt die concurrerende resultaten behalen zonder de behoefte aan uitgebreide trainingsdatasets.

De RDM-benadering ondersteunt post-hoc modificaties: onderzoekers kunnen de database op inference-tijd omwisselen, waardoor zero-shot-adaptatie mogelijk wordt voor nieuwe stijlen, domeinen of zelfs geheel andere taken zoals stijl- of klasse-geconditioneerde synthese.

In de onderste rijen zien we de dichtstbijzijnde buren die in het diffusieproces worden getrokken in RDM*.

Een belangrijk voordeel van RDM is zijn vermogen om beeldgeneratie te verbeteren zonder het model opnieuw te trainen. Door eenvoudigweg de ophaaldatabase te wijzigen, kan het model generaliseren naar nieuwe concepten waarop het niet expliciet is getraind. Dit is vooral nuttig voor toepassingen waar domeinverschuivingen optreden, zoals het genereren van medische beelden op basis van evoluerende datasets, of het aanpassen van tekst-naar-afbeeldingmodellen voor creatieve toepassingen.

Negatief is dat ophaalmethoden van dit type afhankelijk zijn van de kwaliteit en relevantie van de externe database, waardoor datacuratie een belangrijke factor wordt bij het behalen van hoge kwaliteit generaties; en deze benadering is ver verwijderd van een equivalent van RAG-gebaseerde interacties die typisch zijn in commerciële LLM’s.

ReMoDiffuse

ReMoDiffuse is een ophaal-versterkte bewegingsdiffusiemodel ontworpen voor 3D-menselijke bewegingsgeneratie. In tegenstelling tot traditionele bewegingsgeneratiemodellen die puur op geleerde representaties vertrouwen, haalt ReMoDiffuse relevante bewegingsvoorbeelden op uit een grote bewegingsdataset en integreert deze in het denoiseringsproces, in een schema vergelijkbaar met RDM (zie boven).

Vergelijking van RAG-versterkte ReMoDiffuse (rechts) met eerdere methoden. Bron: https://arxiv.org/pdf/2304.01116

Dit stelt het model in staat om bewegingssequenties te genereren die zijn ontworpen om meer natuurlijk en gevarieerd te zijn, evenals semantisch trouw aan de tekstprompts van de gebruiker.

ReMoDiffuse gebruikt een innovatieve hybride ophaalmechanisme, dat bewegingssequenties selecteert op basis van zowel semantische als kinematische overeenkomsten, met de bedoeling ervoor te zorgen dat de opgehaalde bewegingen niet alleen thematisch relevant zijn, maar ook fysiek plausibel wanneer ze in de nieuwe generatie worden geïntegreerd.

Het model verfijnt deze opgehaalde voorbeelden vervolgens met een semantiek-gemoduleerde transformatie, die selectief kennis uit de opgehaalde bewegingen integreert, terwijl het de karakteristieke kwaliteiten van de gegenereerde sequentie behoudt:

Schema voor ReMoDiffuse’s pipeline.

Het project Condition Mixture-techniek versterkt het vermogen van het model om te generaliseren over verschillende prompts en ophaalcondities, door opgehaalde bewegingsvoorbeelden te balanceren met tekstprompts tijdens de generatie, en door aan te passen hoeveel gewicht elke bron krijgt bij elke stap.

Dit kan helpen om onrealistische of herhalende uitvoer te voorkomen, zelfs voor zeldzame prompts. Het lost ook het schaalgevoeligheidsprobleem op dat vaak optreedt in de classifier-free guidance-technieken die gewoonlijk worden gebruikt in diffusiemodellen.

RA-CM3

Stanfords 2023 paper Retrieval-Augmented Multimodal Language Modeling (RA-CM3) stelt het systeem in staat om toegang te krijgen tot echte wereldinformatie op inference-tijd:

Stanfords Retrieval-Augmented Multimodal Language Modeling (RA-CM3) model gebruikt internet-opgehaalde afbeeldingen om het generatieproces te versterken, maar blijft een prototype zonder openbare toegang. Bron: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integreert opgehaalde tekst en afbeeldingen in de generatiepijplijn, waardoor zowel tekst-naar-afbeelding als afbeelding-naar-tekstsynthese worden verbeterd. Met behulp van CLIP voor ophalen en een Transformer als generator, verwijst het model naar pertinente multimodale documenten voordat het een uitvoer samenstelt.

De benchmarks op MS-COCO laten aanzienlijke verbeteringen zien ten opzichte van DALL-E en soortgelijke systemen, met een 12-punts Fréchet Inception Distance (FID)-reductie, met een veel lagere computationele kosten.

Echter, zoals bij andere ophaal-versterkte benaderingen, internaliseert RA-CM3 zijn opgehaalde kennis niet naadloos. In plaats daarvan superponeert het nieuwe gegevens tegen zijn vooraf getrainde netwerk, veel zoals een LLM antwoorden versterkt met zoekresultaten. Hoewel deze methode feitelijke nauwkeurigheid kan verbeteren, vervangt het niet de behoefte aan trainingsupdates in domeinen waar diepe synthese is vereist.

Bovendien lijkt een praktische implementatie van dit systeem niet te zijn vrijgegeven, zelfs niet op een API-gebaseerd platform.

RealRAG

Een nieuwe release uit China, en degene die deze blik op RAG-versterkte generatieve beeldsystemen heeft veroorzaakt, heet Retrieval-Augmented Realistische Beeldgeneratie (RealRAG).

Externe afbeeldingen getrokken in RealRAG (onderste midden). Bron: https://arxiv.o7rg/pdf/2502.00848

RealRAG haalt echte afbeeldingen van relevante objecten op uit een database die is samengesteld uit openbaar beschikbare datasets zoals ImageNet, Stanford Cars, Stanford Dogs en Oxford Flowers. Vervolgens integreert het deze opgehaalde afbeeldingen in het generatieproces, waardoor kennislacunes in het model worden aangepakt.

Een belangrijk onderdeel van RealRAG is zelfreflecterende contrastieve leren, dat een ophaalmodel traint om informatieve referentieafbeeldingen te vinden, in plaats van alleen visueel soortgelijke afbeeldingen.

De auteurs verklaren:

‘Ons sleutelinzicht is om een ophaler te trainen die afbeeldingen ophaalt die buiten de generatieruimte van de generator liggen, maar dichtbij de representatie van tekstprompts.

‘Daartoe genereren we eerst afbeeldingen uit de gegeven tekstprompts en gebruiken we vervolgens de gegenereerde afbeeldingen als queries om de meest relevante afbeeldingen in de real-object-gebaseerde database op te halen. Deze meest relevante afbeeldingen worden gebruikt als reflecterende negatieven.’

Deze benadering zorgt ervoor dat de opgehaalde afbeeldingen ontbrekende kennis bijdragen aan het generatieproces, in plaats van bestaande vooroordelen in het model te versterken.

Links, de opgehaalde referentieafbeelding; midden, zonder RAG; rechts, met het gebruik van de opgehaalde afbeelding.

Echter, de afhankelijkheid van de kwaliteit van de ophaling en de dekking van de database betekent dat de effectiviteit kan variëren, afhankelijk van de beschikbaarheid van hoge kwaliteit referenties. Als een relevante afbeelding niet bestaat in de dataset, kan het model nog steeds worstelen met onbekende concepten.

RealRAG is een zeer modulair ontwerp, dat compatibel is met meerdere andere generatieve architecturen, waaronder U-Net-gebaseerde, DiT-gebaseerde en autoregressieve modellen.

In het algemeen voegt het ophalen en verwerken van externe afbeeldingen computationele overhead toe, en de prestaties van het systeem zijn afhankelijk van hoe goed de ophaalmechanisme generaliseert over verschillende taken en datasets.

Conclusie

Dit is een representatieve, maar niet uitputtende, overzicht van beeld-ophalende multimodale generatieve systemen. Sommige systemen van dit type gebruiken ophaling alleen om visuele begrip of datasetcuratie te verbeteren, onder andere diverse motieven, in plaats van het genereren van afbeeldingen. Een voorbeeld is Internet Explorer.

Veel van de andere RAG-geïntegreerde projecten in de literatuur blijven onuitgegeven. Prototypes, met alleen gepubliceerde onderzoeken, omvatten Re-Imagen, die – ondanks zijn oorsprong bij Google – alleen toegang heeft tot afbeeldingen uit een lokale aangepaste database.

Bovendien kondigde Baidu in november 2024 aan Afbeelding-gebaseerde Ophaal-Versterkte Generatie (iRAG), een nieuw platform dat opgehaalde afbeeldingen ‘uit een database’ gebruikt. Hoewel iRAG naar verluidt beschikbaar is op het Ernie-platform, lijken er geen verdere details over dit ophaalproces te zijn, dat lijkt te vertrouwen op een lokale database (d.w.z. lokaal voor de service en niet direct toegankelijk voor de gebruiker).

Verder biedt de paper Unified Text-to-Image Generation and Retrieval uit 2024 nog een RAG-gebaseerde methode om externe afbeeldingen te gebruiken om resultaten te versterken bij generatie-tijd – opnieuw vanuit een lokale database, in plaats van ad hoc internetbronnen.

Opwinding over RAG-gebaseerde versterking in beeldgeneratie zal waarschijnlijk zich richten op systemen die internet-gebaseerde of door de gebruiker geüploade afbeeldingen rechtstreeks kunnen integreren in het generatieproces, en die gebruikers in staat stellen deel te nemen aan de keuzes of bronnen van afbeeldingen.

Echter, dit is een aanzienlijke uitdaging om ten minste twee redenen; ten eerste, omdat de effectiviteit van dergelijke systemen meestal afhankelijk is van diep geïntegreerde relaties die zijn gevormd tijdens een resource-intensieve trainingsprocedure; en ten tweede, omdat zorgen over veiligheid, legaliteit en auteursrechten, zoals eerder vermeld, dit een onwaarschijnlijke functie maken voor een API-gebaseerde webdienst en voor commerciële inzet in het algemeen.

* Bron: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Eerst gepubliceerd op dinsdag 4 februari 2025