Il Futuro della Generazione di Immagini con RAG

I modelli di diffusione generativi come Stable Diffusion, Flux e modelli di video come Hunyuan si basano sulla conoscenza acquisita durante una singola sessione di training intensiva utilizzando un dataset fisso. Qualsiasi concetto introdotto dopo questo training – noto come limite di conoscenza – è assente dal modello a meno che non sia integrato attraverso fine-tuning o tecniche di adattamento esterne come Low Rank Adaptation (LoRA).

Sarebbe quindi ideale se un sistema generativo che produce immagini o video potesse accedere a fonti online e integrarle nel processo di generazione come necessario. In questo modo, ad esempio, un modello di diffusione che non conosce l’ultimo prodotto Apple o Tesla potrebbe comunque produrre immagini che contengono questi nuovi prodotti.

Per quanto riguarda i modelli linguistici, la maggior parte di noi è familiare con sistemi come Perplexity, Notebook LM e ChatGPT-4o, che possono incorporare nuove informazioni esterne in un modello di Generazione con RAG (RAG).

I processi RAG rendono le risposte di ChatGPT 4o più rilevanti. Fonte: https://chatgpt.com/

Tuttavia, questa è una facoltà insolita quando si tratta di generare immagini, e ChatGPT ammetterà le proprie limitazioni in questo senso:

ChatGPT 4o ha fatto una buona ipotesi sulla visualizzazione di un nuovo lancio di orologi, basandosi sulla linea generale e sulle descrizioni che ha interpretato; ma non può ‘assorbire’ e integrare nuove immagini in una generazione basata su DALL-E.

Incorporare dati esterni recuperati in un’immagine generata è una sfida perché l’immagine in entrata deve essere prima suddivisa in token e embeddings, che vengono quindi mappati sulla conoscenza del modello più vicina del soggetto.

Mentre questo processo funziona efficacemente per strumenti di post-training come ControlNet, tali manipolazioni rimangono in gran parte superficiali, essenzialmente canalizzando l’immagine recuperata attraverso una pipeline di rendering, ma senza integrarla profondamente nella rappresentazione interna del modello.

Di conseguenza, il modello manca della capacità di generare nuove prospettive nel modo in cui i sistemi di rendering neurale come NeRF possono, che costruiscono scene con una vera comprensione spaziale e strutturale.

Logica Matura

Una limitazione simile si applica alle query RAG-based nei Large Language Model (LLM), come Perplexity. Quando un modello di questo tipo elabora dati esterni recuperati, funziona molto come un adulto che attinge a una vita di conoscenza per inferire probabilità su un argomento.

Tuttavia, proprio come una persona non può integrare retroattivamente nuove informazioni nel quadro cognitivo che ha plasmato la sua visione del mondo fondamentale – quando le sue preconcezioni e pregiudizi si stavano ancora formando – un LLM non può fondere perfettamente nuove conoscenze nella sua struttura pre-addestrata.

Al suo posto, può solo ‘impattare’ o porre i nuovi dati contro la sua conoscenza internalizzata, utilizzando principi appresi per analizzare e congetturare piuttosto che sintetizzare a livello fondamentale.

Questa carenza di equivalenza tra giustapposto e internalizzato è probabilmente più evidente in un’immagine generata che in una generazione basata sul linguaggio: le connessioni di rete più profonde e la maggiore creatività della ‘nativa’ (piuttosto che RAG-based) generazione sono state stabilite in vari studi.

Rischi Nascosti della Generazione di Immagini con RAG

Anche se fosse tecnicamente possibile integrare perfettamente immagini internet recuperate in nuove sintesi in modo RAG, le limitazioni relative alla sicurezza presenterebbero una sfida aggiuntiva.

Molti set di dati utilizzati per l’addestramento di modelli generativi sono stati curati per minimizzare la presenza di contenuti espliciti, razzisti o violenti, tra le altre categorie sensibili. Tuttavia, questo processo è imperfetto e le associazioni residue possono persistere. Per mitigare ciò, sistemi come DALL·E e Adobe Firefly si affidano a meccanismi di filtro secondari che controllano sia i prompt di input che le uscite generate per contenuti proibiti.

Di conseguenza, un semplice filtro NSFW – che blocca principalmente contenuti espliciti – sarebbe insufficiente per valutare l’accettabilità dei dati RAG-based recuperati. Tali contenuti potrebbero comunque essere offensivi o dannosi in modi che cadono al di fuori dei parametri di moderazione predefiniti del modello, potenzialmente introducendo materiale che l’AI non ha la consapevolezza contestuale per valutare correttamente.

La scoperta di una recente vulnerabilità nel DeepSeek prodotto dalla CCP, progettato per sopprimere le discussioni su contenuti politici vietati, ha messo in luce come i percorsi di input alternativi possano essere sfruttati per eludere le salvaguardie etiche del modello; argomentabile che ciò si applichi anche ai dati nuovi e arbitrari recuperati da internet, quando sono destinati a essere incorporati in una nuova generazione di immagini.

RAG per la Generazione di Immagini

Nonostante queste sfide e aspetti politici spinosi, sono emersi diversi progetti che tentano di utilizzare metodi RAG-based per incorporare dati nuovi nella generazione di immagini.

ReDi

Il progetto Retrieval-based Diffusion (ReDi) del 2023 è un framework di apprendimento gratuito che accelera l’inferenza del modello di diffusione recuperando traiettorie simili da una base di conoscenza precalcolata.

I valori da un set di dati possono essere ‘presi in prestito’ per una nuova generazione in ReDi. Fonte: https://arxiv.org/pdf/2302.02285

Nel contesto dei modelli di diffusione, una traiettoria è il percorso passo dopo passo che il modello segue per generare un’immagine a partire da rumore puro. Normalmente, questo processo avviene gradualmente in molti passaggi, con ogni passaggio che raffina l’immagine un po’ di più.

ReDi accelera questo processo saltando un sacco di quei passaggi. Invece di calcolare ogni singolo passo, recupera una traiettoria passata simile da un database e salta avanti a un punto successivo nel processo. Ciò riduce il numero di calcoli necessari, rendendo la generazione di immagini basata sulla diffusione molto più veloce, mantenendo comunque alta la qualità.

ReDi non modifica i pesi del modello di diffusione, ma utilizza la base di conoscenza per saltare i passaggi intermedi, riducendo così il numero di stime di funzione necessarie per il campionamento.

Certo, questo non è lo stesso che incorporare immagini specifiche a piacimento in una richiesta di generazione; ma si ricollega a tipi di generazione simili.

Pubblicato nel 2022, l’anno in cui i modelli di diffusione latente catturarono l’immaginazione del pubblico, ReDi sembra essere tra i primi approcci basati sulla diffusione per affidarsi a una metodologia RAG.

Sebbene si debba notare che nel 2021 la Facebook Research abbia rilasciato Instance-Conditioned GAN, che cercava di condizionare le immagini GAN su input di immagini nuove, questo tipo di proiezione nello spazio latente è estremamente comune nella letteratura, sia per GAN che per modelli di diffusione; la sfida è rendere tale processo gratuito e funzionale in tempo reale, come i metodi RAG focalizzati su LLM.

RDM

Un’altra incursione precoce nella generazione di immagini con RAG è Retrieval-Augmented Diffusion Models (RDM), che introduce un approccio semi-parametrico per la sintesi di immagini generative. Mentre i modelli di diffusione tradizionali memorizzano tutta la conoscenza visiva appresa all’interno dei parametri della rete neurale, RDM si affida a un database di immagini esterno:

I vicini più prossimi recuperati in una pseudo-query illustrativa in RDM*.

Durante l’addestramento, il modello recupera vicini più prossimi (immagini visivamente o semanticamente simili) dal database esterno, per guidare il processo di generazione. Ciò consente al modello di condizionare le sue uscite su istanze visive del mondo reale.

Il processo di recupero è alimentato da CLIP embeddings, progettati per costringere le immagini recuperate a condividere somiglianze significative con la query, e anche per fornire informazioni nuove per migliorare la generazione.

Questo riduce la dipendenza dai parametri, facilitando modelli più piccoli che raggiungono risultati competitivi senza la necessità di set di dati di addestramento estensivi.

L’approccio RDM supporta modifiche post-hoc: i ricercatori possono sostituire il database al momento dell’inferenza, consentendo un adattamento zero-shot a nuovi stili, domini o anche compiti completamente diversi come la stilizzazione o la sintesi condizionata alle classi.

Nelle righe inferiori, vediamo i vicini più prossimi tratti nel processo di diffusione in RDM*.

Un vantaggio chiave di RDM è la sua capacità di migliorare la generazione di immagini senza ritrattare il modello. Sostituendo semplicemente il database di recupero, il modello può generalizzare a nuovi concetti su cui non è stato addestrato esplicitamente. Ciò è particolarmente utile per applicazioni in cui si verificano spostamenti di dominio, come la generazione di immagini mediche basate su set di dati in evoluzione, o l’adattamento di modelli di testo-immagine per applicazioni creative.

Negativamente, i metodi di recupero di questo tipo dipendono dalla qualità e dalla pertinenza del database esterno, il che rende la cura dei dati un fattore importante per ottenere generazioni di alta qualità; e questo approccio rimane lontano da un equivalente di sintesi di immagini basato su RAG tipico dei sistemi LLM commerciali.

ReMoDiffuse

ReMoDiffuse è un modello di diffusione di movimento con RAG progettato per la generazione di movimento umano 3D. A differenza dei modelli di generazione di movimento tradizionali che si affidano esclusivamente a rappresentazioni apprese, ReMoDiffuse recupera campioni di movimento pertinenti da un grande set di dati di movimento e li integra nel processo di denoising, in uno schema simile a RDM (vedi sopra).

Confronto tra ReMoDiffuse con RAG (a destra) e metodi precedenti. Fonte: https://arxiv.org/pdf/2304.01116

Questo consente al modello di generare sequenze di movimento progettate per essere più naturali e diverse, nonché semanticamente fedeli ai prompt di testo dell’utente.

ReMoDiffuse utilizza un meccanismo di recupero ibrido, che seleziona sequenze di movimento in base a somiglianze sia semantiche che cinematiche, con l’intento di assicurare che i movimenti recuperati non siano solo tematicamente rilevanti ma anche fisicamente plausibili quando integrati nella nuova generazione.

Il modello quindi raffina questi campioni recuperati utilizzando un Transformer Modulato da Semantica, che incorpora selettivamente la conoscenza dai movimenti recuperati mantenendo le qualità caratteristiche della sequenza generata:

Schema per la pipeline di ReMoDiffuse.

La tecnica di Miscela di Condizione del progetto migliora la capacità del modello di generalizzare su prompt e condizioni di recupero diversi, bilanciando i campioni di movimento recuperati con i prompt di testo durante la generazione, e regolando quanto peso ogni fonte ottiene a ogni passo.

Ciò aiuta a prevenire output irrealistici o ripetitivi, anche per prompt rari. Affronta anche il problema di sensibilità alla scala che spesso si verifica nelle tecniche di guida del classificatore libero comunemente utilizzate nei modelli di diffusione.

RA-CM3

Il paper del 2023 di Stanford su Retrieval-Augmented Multimodal Language Modeling (RA-CM3) consente al sistema di accedere a informazioni del mondo reale al momento dell’inferenza:

Il modello di Stanford su Retrieval-Augmented Multimodal Language Modeling (RA-CM3) utilizza immagini recuperate da internet per aumentare il processo di generazione, ma rimane un prototipo senza accesso pubblico. Fonte: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integra testo e immagini recuperate nella pipeline di generazione, migliorando sia la sintesi di testo-immagine che di immagine-testo. Utilizzando CLIP per il recupero e un Transformer come generatore, il modello si riferisce a documenti multimodali pertinenti prima di comporre un output.

I benchmark su MS-COCO mostrano miglioramenti significativi rispetto a DALL-E e sistemi simili, raggiungendo una riduzione di 12 punti della Fréchet Inception Distance (FID), con un costo computazionale molto inferiore.

Tuttavia, come per gli altri approcci basati sul recupero, RA-CM3 non internalizza perfettamente le sue conoscenze recuperate. Invece, sovrappone nuovi dati alla sua rete pre-addestrata, molto come un LLM che aumenta le risposte con i risultati della ricerca. Sebbene questo metodo possa migliorare l’accuratezza fattuale, non sostituisce la necessità di aggiornamenti di addestramento in domini in cui è richiesta una sintesi profonda.

Inoltre, non sembra che una implementazione pratica di questo sistema sia stata rilasciata, anche su una piattaforma basata su API.

RealRAG

Un nuovo rilascio dalla Cina, e quello che ha promosso questo esame dei sistemi generativi di immagini con RAG, si chiama Generazione di Immagini Realistiche con RAG (RealRAG).

Immagini esterne trascinate in RealRAG (al centro in basso). Fonte: https://arxiv.o7rg/pdf/2502.00848

RealRAG recupera immagini reali di oggetti rilevanti da un database curato da set di dati pubblicamente disponibili come ImageNet, Stanford Cars, Stanford Dogs, e Oxford Flowers. Quindi integra le immagini recuperate nel processo di generazione, affrontando lacune di conoscenza nel modello.

Un componente chiave di RealRAG è l’apprendimento contrastivo auto-riflessivo, che addestra un modello di recupero per trovare immagini di riferimento informative, piuttosto che semplicemente selezionare quelle visivamente simili.

Gli autori affermano:

‘La nostra idea chiave è addestrare un retriever che recupera immagini che restano fuori dallo spazio di generazione del generatore, ma che sono vicine alla rappresentazione dei prompt di testo.

‘A questo scopo, generiamo prima immagini dai prompt di testo dati e poi utilizziamo le immagini generate come query per recuperare le immagini più rilevanti nel database basato su oggetti reali. Queste immagini più rilevanti vengono utilizzate come negativi riflessivi.’

Questo approccio garantisce che le immagini recuperate contribuiscono conoscenza mancante al processo di generazione, piuttosto che rafforzare pregiudizi esistenti nel modello.

A sinistra, l’immagine di riferimento recuperata; al centro, senza RAG; a destra, con l’uso dell’immagine recuperata.

Tuttavia, la dipendenza dalla qualità del recupero e dalla copertura del database significa che la sua efficacia può variare a seconda della disponibilità di riferimenti di alta qualità. Se un’immagine rilevante non esiste nel set di dati, il modello potrebbe comunque lottare con concetti sconosciuti.

RealRAG è un’architettura molto modulare, offrendo compatibilità con molte altre architetture generative, tra cui U-Net-based, DiT-based e modelli autoregressivi.

In generale, il recupero e l’elaborazione di immagini esterne aggiungono un sovraccarico computazionale, e le prestazioni del sistema dipendono da quanto bene il meccanismo di recupero generalizza su diversi compiti e set di dati.

Conclusione

Questo è un panorama rappresentativo piuttosto che esaustivo dei sistemi generativi multimodali che recuperano immagini. Alcuni sistemi di questo tipo utilizzano il recupero solo per migliorare la comprensione visiva o la cura dei dati, tra altri motivi diversi, piuttosto che cercare di generare immagini. Un esempio è Internet Explorer.

Molti degli altri progetti RAG-integrati nella letteratura rimangono non rilasciati. Prototipi, con solo ricerca pubblicata, includono Re-Imagen, che – nonostante la sua provenienza da Google – può accedere solo a immagini da un database locale personalizzato.

Inoltre, nel novembre 2024, Baidu ha annunciato Generazione con Recupero di Immagini (iRAG), una nuova piattaforma che utilizza immagini recuperate ‘da un database’. Sebbene iRAG sia riportato come disponibile sulla piattaforma Ernie, non sembrano esserci ulteriori dettagli su questo processo di recupero, che sembra dipendere da un database locale (ovvero, locale al servizio e non direttamente accessibile all’utente).

Ulteriormente, il paper del 2024 Generazione di Immagini da Testo e Recupero Unificati offre un altro metodo RAG-based per utilizzare immagini esterne per aumentare i risultati al momento della generazione – di nuovo, da un database locale piuttosto che da fonti internet ad hoc.

L’eccitazione intorno all’aumento RAG-based nella generazione di immagini si concentrerà probabilmente sui sistemi che possono incorporare direttamente immagini provenienti da internet o caricate dall’utente nel processo generativo, e che consentono agli utenti di partecipare alle scelte o alle fonti delle immagini.

Tuttavia, questo è una sfida significativa per almeno due ragioni; in primo luogo, perché l’efficacia di tali sistemi dipende generalmente da relazioni profondamente integrate formate durante un processo di addestramento intensivo; e in secondo luogo, perché le preoccupazioni relative alla sicurezza, alla legalità e alle restrizioni sui diritti d’autore, come notato in precedenza, rendono questa una caratteristica improbabile per un servizio web basato su API e per il deploy commerciale in generale.

* Fonte: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Pubblicato per la prima volta martedì, 4 febbraio 2025