Fremtiden for RAG-forstærket billedgenerering

Generative diffusion-modeller som Stable Diffusion, Flux og video-modeller som Hunyuan afhænger af viden, der er erhvervet under en enkelt, ressourcekrævende træningssession med et fast dataset. Enhver koncept, der introduceres efter denne træning – kendt som viden afkørsel – er fraværende fra modellen, medmindre den suppleres gennem finjustering eller eksterne tilpasningsmetoder som Low Rank Adaptation (LoRA).

Det ville derfor være ideelt, hvis et generativt system, der producerer billeder eller videoer, kunne hente information fra online-kilder og bringe dem ind i generationsprocessen efter behov. På denne måde kunne en diffusion-model, der intet ved om den aller seneste Apple- eller Tesla-model, stadig producere billeder, der indeholder disse nye produkter.

I forhold til sprogmodeller er de fleste af os bekendt med systemer som Perplexity, Notebook LM og ChatGPT-4o, der kan inkorporere ny ekstern information i en Retrieval Augmented Generation (RAG)-model.

RAG-processer gør ChatGPT 4o’s svar mere relevante. Kilde: https://chatgpt.com/

Det er dog en usædvanlig facilitet, når det kommer til billedgenerering, og ChatGPT vil indrømme sine egne begrænsninger på dette punkt:

ChatGPT 4o har lavet et godt gæt om visualiseringen af en brand ny ur-model, baseret på den generelle linje og på beskrivelser, den har fortolket; men den kan ikke ‘absorbere’ og integrere nye billeder i en DALL-E-baseret generation.

At inkorporere eksternt hentet data i en genereret billed er udfordrende, fordi det indkommende billede først skal brydes ned i tokens og embeddings, som derefter skal kobles til modellens nærmeste trænede domæneviden om emnet.

mens denne proces fungerer effektivt for post-træning-værktøjer som ControlNet, forbliver sådanne manipulationer overvejende overfladiske, og fungerer i virkeligheden som en rende, der fører det hentede billede gennem en renderingspipeline, men uden dybt at integrere det i modellens interne repræsentation.

Som følge heraf mangler modellen evnen til at generere nye perspektiver på samme måde, som neurale renderings-systemer som NeRF kan, der konstruerer scener med sand spatial og strukturel forståelse.

Moden Logik

En lignende begrænsning gælder for RAG-baserede forespørgsler i store sprogmodeller (LLM’er), såsom Perplexity. Når en model af denne type behandler eksternt hentet data, fungerer den meget som en voksen, der tegner på en livslang viden for at slutte sig til sandsynligheder om et emne.

Men ligesom en person ikke kan retroaktivt integrere ny information i den kognitive ramme, der formede deres grundlæggende verdenssyn – når deres fordomme og antagelser stadig var under udvikling – kan en LLM ikke ubemærket integrere ny viden i sin forhåndstrænede struktur.

I stedet kan den kun ‘påvirke’ eller stille det nye data op mod sin eksisterende internaliserede viden, ved at bruge lært principper til at analysere og gisne snarere end at syntetisere på et grundlæggende niveau.

Denne mangel på lighed mellem stillet og internaliseret generation er sandsynligvis mere tydelig i en genereret billed end i en sprog-baseret generation:

Skjulte Risici i RAG-kapabel Billedgenerering

Selv hvis det teknisk var muligt at ubemærket integrere hentede internet-billeder i nye syntetiserede billeder på en RAG-måde, ville sikkerhedsrelaterede begrænsninger præsentere en yderligere udfordring.

Mange datasæt, der bruges til træning af generative modeller, er kurateret for at minimere tilstedeværelsen af eksplicit, racistisk eller voldelig indhold, blandt andre følsomme kategorier. Men denne proces er ikke perfekt, og resterende associationer kan bestå. For at afhjælpe dette bruger systemer som DALL·E og Adobe Firefly sekundære filtermekanismer, der skærmer både input-prompts og genererede output for forbudt indhold.

En simpel NSFW-filter – en, der primært blokerer åbenlyst eksplicit indhold – ville være utilstrækkelig til at evaluere acceptabiliteten af hentet RAG-baseret data. Sådant indhold kunne stadig være stødende eller skadeligt på måder, der falder uden for modellens forhånddefinerede moderationsparametre, potentielt introducerer materiale, som AI mangler den kontekstuelle bevidsthed til korrekt at vurdere.

Opdagelsen af en ny sårbarhed i den af CCP-producerede DeepSeek, designet til at undertrykke diskussioner om forbudt politisk indhold, har højligtet, hvordan alternative input-veje kan udnyttes til at omgå en modells etiske sikkerhedsforanstaltninger; dette kan sandsynligvis også gælde for vilkårligt nyt data, der hentes fra internettet, når det er tiltænkt at blive inkorporeret i en ny billedgeneration.

RAG til Billedgenerering

Trods disse udfordringer og tornefulde politiske aspekter er der opstået en række projekter, der forsøger at bruge RAG-baserede metoder til at inkorporere nyt data i visuelle generationer.

ReDi

Det 2023 Retrieval-baseret Diffusion (ReDi)-projekt er en læring-fri ramme, der accelererer diffusion-model-inferens ved at hente lignende traektorier fra en forhåndskompileret videnbas.

Værdier fra et datasæt kan ‘lånes’ til en ny generation i ReDi. Kilde: https://arxiv.org/pdf/2302.02285

I sammenhæng med diffusion-modeller er en traektori den skridt-for-skridt vej, som modellen følger for at generere et billede fra ren støj. Normalt sker denne proces gradvist over mange skridt, hvor hvert skridt refinerer billedet lidt mere.

ReDi accelererer dette ved at springe over en masse af disse skridt. I stedet for at beregne hvert enkelt skridt, henter den en lignende tidligere traektori fra en database og springer frem til et senere punkt i processen. Dette reducerer antallet af beregninger, der er nødvendige, og gør diffusion-baseret billedgenerering meget hurtigere, samtidig med at kvaliteten opretholdes.

ReDi ændrer ikke diffusion-modellens vægte, men bruger i stedet videnbasen til at springe over mellemste skridt, hvilket reducerer antallet af funktionsberegninger, der er nødvendige for sampling.

Det er naturligvis ikke det samme som at inkorporere bestemte billeder efter behov i en generation-anmodning; men det relaterer til lignende typer generation.

Udgivet i 2022, det år, hvor latent diffusion-modeller erobrede den offentlige imagination, synes ReDi at være blandt de tidligste diffusion-baserede tilgange til at læne sig op ad en RAG-metodologi.

Selv om det skal nævnes, at i 2021 udgav Facebook Research Instance-Conditioned GAN, der forsøgte at konditionere GAN-billeder på nye billed-indgange, er denne type projektion ind i det latente rum ekstremt almindelig i litteraturen, både for GAN’er og diffusion-modeller; udfordringen er at gøre en sådan proces trænings-fri og fungerende i realtid, som LLM-fokuserede RAG-metoder er.

RDM

En anden tidlig indsats i RAG-forstærket billedgenerering er Retrieval-Augmented Diffusion Models (RDM), der introducerer en semi-parametrisk tilgang til generativ billedsynthese. Mens traditionelle diffusion-modeller gemmer al lært visuel viden inden for deres neurale netværksparametre, afhænger RDM af en ekstern billedatabase:

Hentede nærmeste naboer i en illustrativ pseudo-forespørgsel i RDM*.

Under træning henter modellen nærmeste naboer (visuelt eller semantisk lignende billeder) fra den eksterne database for at guide generationsprocessen. Dette tillader modellen at konditionere sine output på virkelige verdenens visuelle eksempler.

Hentningsprocessen er drevet af CLIP-embeddings, designet til at tvinge de hentede billeder til at dele meningsfulde ligheder med forespørgslen, og også til at give nyt information for at forbedre generation.

Dette reducerer afhængigheden af parametre, hvilket faciliterer mindre modeller, der opnår konkurrencedygtige resultater uden behov for omfattende træningsdatasæt.

RDM-tilgangen understøtter post-hoc-modifikationer: forskere kan udskifte databasen under inferens-tid, hvilket tillader nul-skud-tilpasning til nye stilarter, domæner eller endda helt andre opgaver, såsom stilisering eller klassifikationsbaseret syntese.

I de nedre rækker ser vi nærmeste naboer trukket ind i diffusion-processen i RDM*.

En nøglefordel ved RDM er dens evne til at forbedre billedgenerering uden at skulle gen-træne modellen. Ved blot at ændre hentningsdatabasen kan modellen generalisere til nye koncepter, den aldrig er blevet trænet på. Dette er særligt nyttigt i applikationer, hvor domæne-skift sker, såsom generering af medicinske billeder baseret på udviklende datasæt eller tilpasning af tekst-til-billede-modeller til kreative formål.

Negativt afhænger hentnings-baserede metoder af denne type af kvaliteten og relevansen af den eksterne database, hvilket gør data-kurering en vigtig faktor for at opnå høj-kvalitets generationer; og denne tilgang forbliver langt fra en billed-syntese-ækvivalent til den type RAG-baserede interaktioner, der er typiske for kommercielle LLM’er.

ReMoDiffuse

ReMoDiffuse er en hentnings-forstærket bevægelses-diffusion-model designet til 3D-menneske-bevægelses-generering. I modsætning til traditionelle bevægelses-genererings-modeller, der kun afhænger af lært repræsentationer, henter ReMoDiffuse relevante bevægelses-prøver fra et stort bevægelses-datasæt og integrerer dem i den af-støbnings-proces, i en skema lignende RDM (se ovenfor).

Sammenligning af RAG-forstærket ReMoDiffuse (højre) med tidligere metoder. Kilde: https://arxiv.org/pdf/2304.01116

Dette tillader modellen at generere bevægelses-sekvenser, der er designet til at være mere naturlige og diverse, samt semantisk trofaste over for brugerens tekst-prompts.

ReMoDiffuse bruger en innovativ hybrid-hentnings-mekanisme, der vælger bevægelses-sekvenser baseret på både semantisk og kinematisk ligheder, med det formål at sikre, at de hentede bevægelser ikke kun er tematisk relevante, men også fysisk plausibelt, når de integreres i den nye generation.

Modellen refinerer derefter disse hentede prøver ved hjælp af en Semantik-Moduleret Transformer, der selektivt inkorporerer viden fra de hentede bevægelser, samtidig med at den opretholder de karakteristiske kvaliteter af den genererede sekvens:

Skema for ReMoDiffuse’s pipeline.

Projektets Betinget Blanding-teknik forbedrer modellens evne til at generalisere over forskellige prompts og hentnings-betingelser, ved at balancere hentede bevægelses-prøver med tekst-prompts under generation, og justere, hvor meget vægt hver kilde får ved hvert skridt.

Dette kan hjælpe med at forhindre urealistiske eller gentagne output, selv for sjældne prompts. Det adresserer også skala-følsomheds-problemet, der ofte opstår i klassifikator-fri vejledning-teknikker, der er almindelige i diffusion-modeller.

RA-CM3

Stanfords 2023 papir Retrieval-Augmented Multimodal Language Modeling (RA-CM3) tillader systemet at få adgang til virkelige verdens-informationer under inferens-tid:

Stanfords Retrieval-Augmented Multimodal Language Modeling (RA-CM3)-model bruger internet-hentede billeder til at forstærke generationsprocessen, men forbliver en prototype uden offentlig adgang. Kilde: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integrerer hentet tekst og billeder i generations-pipeline, forbedrer både tekst-til-billede- og billede-til-tekst-syntese. Ved at bruge CLIP til hentning og en Transformer som generator, henviser modellen til relevante multimodale dokumenter, før den komponerer en output.

Benchmarks på MS-COCO viser betydelige forbedringer over DALL-E og lignende systemer, opnående en 12-punkts Fréchet Inception Distance (FID)-reduktion, med langt lavere beregningsomkostninger.

Men, som med andre hentnings-forstærkede tilgange, internaliserer RA-CM3 ikke ubemærket sin hentede viden. I stedet lægger den ny data over sin forhåndstrænede netværk, meget lig en LLM, der forstærker sine svar med søgeresultater. Selv om denne metode kan forbedre faktuel nøjagtighed, erstatter den ikke behovet for trænings-opdateringer i domæner, hvor dyb syntese er påkrævet.

Desuden synes en praktisk implementering af dette system ikke at være blevet udgivet, selv til en API-drevet platform.

RealRAG

En ny udgivelse fra Kina, og den, der har udløst denne gennemgang af RAG-forstærkede generative billed-systemer, kaldes Retrieval-Augmented Realistisk Billed-Generation (RealRAG).

Eksterne billeder hentet ind i RealRAG (nederst i midten). Kilde: https://arxiv.o7rg/pdf/2502.00848

RealRAG henter faktiske billeder af relevante objekter fra en database, der er kurateret fra offentligt tilgængelige datasæt som ImageNet, Stanford Cars, Stanford Dogs og Oxford Flowers. Den integrerer derefter de hentede billeder i generationsprocessen, hvilket adresserer viden-lukker i modellen.

En nøglekomponent i RealRAG er selv-refleksiv kontrastiv læring, der træner en hentnings-model til at finde informative reference-billeder, snarere end blot at vælge visuelt lignende billeder.

Forfatterne skriver:

‘Vores nøgle-insight er at træne en henter, der henter billeder, der holder sig uden for generations-rummet af generatoren, men tæt på repræsentationen af tekst-prompts.

‘Til dette [formål] genererer vi først billeder fra de givne tekst-prompts og derefter bruger vi de genererede billeder som forespørgsler til at hente de mest relevante billeder i den virkelige-objekt-baserede database. Disse mest relevante billeder bruges som refleksive negationer.’

Denne tilgang sikrer, at de hentede billeder bidrager med manglende viden til generationsprocessen, snarere end at forstærke eksisterende fordomme i modellen.

Venstre, det hentede reference-billede; midten, uden RAG; højre, med brug af det hentede billede.

Men afhængigheden af hentnings-kvalitet og database-dækning betyder, at dets effektivitet kan variere afhængigt af tilgængeligheden af høj-kvalitets-referencer. Hvis et relevant billede ikke findes i datasættet, kan modellen stadig have svært ved at håndtere ukendte koncepter.

RealRAG er en meget modulær arkitektur, der tilbyder kompatibilitet med multiple andre generative arkitekturer, herunder U-Net-baserede, DiT-baserede og autoregressive modeller.

Generelt tilføjer hentning og behandling af eksterne billeder beregnings-overhead, og systemets ydeevne afhænger af, hvor godt hentnings-mekanismen generaliserer over forskellige opgaver og datasæt.

Konklusion

Dette er en repræsentativ, men ikke udtømmende gennemgang af billed-hentende multimodale generative systemer. Nogle systemer af denne type bruger hentning udelukkende til at forbedre vision-forståelse eller datasæt-kurering, blandt andre forskellige motiver, snarere end at forsøge at generere billeder. Et eksempel er Internet Explorer.

Mange af de andre RAG-integrerede projekter i litteraturen forbliver ureleased. Prototyper, med kun publiceret forskning, inkluderer Re-Imagen, der – på trods af sin oprindelse fra Google – kun kan få adgang til billeder fra en lokal brugerdefineret database.

Og i november 2024 annoncerede Baidu Image-Based Retrieval-Augmented Generation (iRAG), en ny platform, der bruger hentede billeder ‘fra en database’. Selv om iRAG angiveligt er tilgængelig på Ernie-platformen, synes der ikke at være yderligere detaljer om denne hentnings-proces, der ser ud til at afhænge af en lokal database (dvs. lokal for tjenesten og ikke direkte tilgængelig for brugeren).

Yderligere tilbyder 2024-papiret Unified Text-to-Image Generation and Retrieval endnu en RAG-baseret metode til at bruge eksterne billeder til at forstærke resultater under generations-tid – igen, fra en lokal database snarere end fra ad hoc internettet-kilder.

Begejstringen omkring RAG-forstærkning i billedgenerering vil sandsynligvis fokusere på systemer, der kan inkorporere internettet-kilder eller bruger-uploadede billeder direkte i generationsprocessen, og som tillader brugere at deltage i valget eller kilderne af billeder.

Men dette er en betydelig udfordring af mindst to årsager; først og fremmest, fordi effektiviteten af sådanne systemer normalt afhænger af dybt integrerede relationer, der dannes under en ressourcekrævende træningssession; og fordi bekymringer over sikkerhed, lovlighed og ophavsretsbegrænsninger, som nævnt tidligere, gør dette til en usandsynlig funktion for en API-drevet webtjeneste og for kommerciel udvikling i almindelighed.

* Kilde: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf Først publiceret tirsdag, 4. februar 2025