Viitorul Generării de Imagini RAG-Augmentate

Modelele de difuzie generative, cum ar fi Stable Diffusion, Flux și modelele de video precum Hunyuan, se bazează pe cunoștințele dobândite în timpul unei singure sesiuni de antrenament intensiv, utilizând un set de date fix. Orice concepte introduse după acest antrenament – denumite limită de cunoaștere – lipsesc din model, cu excepția cazului în care sunt completate prin reglare fină sau tehnici de adaptare externe, cum ar fi Adaptare de rang inferior (LoRA).

Ar fi ideal dacă un sistem generativ care produce imagini sau videoclipuri ar putea să acceseze surse online și să le incorporeze în procesul de generare, după necesitate. În acest fel, de exemplu, un model de difuzie care nu cunoaște ultimele lansări Apple sau Tesla ar putea, totuși, să producă imagini care conțin aceste produse noi.

În ceea ce privește modelele de limbaj, majoritatea dintre noi sunt familiari cu sisteme precum Perplexity, Notebook LM și ChatGPT-4o, care pot încorpora informații externe noi într-un model de Generare Augmentată cu Retrieval (RAG).

Procesele RAG fac răspunsurile ChatGPT 4o mai relevante. Sursă: https://chatgpt.com/

Însă, această facilitate este neobișnuită atunci când vine vorba de generarea de imagini, și ChatGPT va recunoaște propriile sale limitări în acest sens:

ChatGPT 4o a făcut o bună presupunere despre vizualizarea unei lansări de ceas nou, pe baza liniei generale și a descrierilor interpretate; dar nu poate ‘absorbi’ și integra noi imagini într-o generare bazată pe DALL-E.

Incorporarea datelor retrieve externe într-o imagine generată este dificilă, deoarece imaginea incoming trebuie mai întâi să fie descompusă în tokeni și încorporări, care sunt apoi mapate la cunoștințele modelului despre subiect.

Deși acest proces funcționează eficient pentru instrumente post-antrenament precum ControlNet, astfel de manipulări rămân în mare măsură superficiale, canalizând imaginea retrieve printr-un pipeline de rendering, dar fără a o integra profund în reprezentarea internă a modelului.

Ca urmare, modelul lipsește de capacitatea de a genera perspective noi, în felul în care sistemele de rendering neural, cum ar fi NeRF, pot, care construiesc scene cu adevărat spațiale și structurale.

Logică Matură

O limitare similară se aplică și interogărilor RAG în modelele de limbaj mari (LLM), cum ar fi Perplexity. Atunci când un model de acest tip procesează date externe retrieve, funcționează mult ca un adult care se bazează pe o viață întreagă de cunoștințe pentru a infera probabilități despre un subiect.

Însă, la fel cum o persoană nu poate integra retroactiv informații noi în cadrul cognitiv care a modelat viziunea sa fundamentală asupra lumii – atunci când prejudecățile și conceptele sale erau încă în formare – un LLM nu poate integra perfect noile cunoștințe în structura sa pre-antrenată.

În schimb, poate doar ‘impact’ sau juxtapune noile date împotriva cunoștințelor sale interne, utilizând principii învățate pentru a analiza și a conjectura, mai degrabă decât a sintetiza la nivelul fundamental.

Această lipsă de echivalență între juxtapunere și internalizare este probabil să fie mai evidentă într-o imagine generată decât într-o generație bazată pe limbaj: conexiunile mai profunde de rețea și creativitatea crescută a ‘generării native’ (și nu RAG) au fost stabilite în diverse studii.

Riscuri Ascunse ale Generării de Imagini RAG-Capabile

Chiar dacă ar fi fezabil din punct de vedere tehnic să se integreze perfect imagini retrieve de pe internet în imagini sintetizate într-un mod RAG, limitările legate de siguranță ar prezenta o provocare suplimentară.

Multe seturi de date utilizate pentru antrenarea modelelor generative au fost curate pentru a minimiza prezența conținutului explicit, rasist sau violent, printre alte categorii sensibile. Cu toate acestea, acest proces este imperfect, și asocierile reziduale pot persista. Pentru a atenua acest lucru, sisteme precum DALL·E și Adobe Firefly se bazează pe mecanisme de filtrare secundare care verifică atât prompturile de intrare, cât și ieșirile generate pentru conținut interzis.

Ca urmare, un simplu filtru NSFW – care blochează în principal conținutul explicit – ar fi insuficient pentru evaluarea acceptabilității datelor RAG retrieve. Asemenea conținut ar putea fi, totuși, ofensator sau dăunător în moduri care cad în afara parametrilor de moderare predefiniți ai modelului, introducând potențial material pe care IA nu are conștientizarea contextuală necesară pentru a-l evalua corespunzător.

Descoperirea unei vulnerabilități recente în DeepSeek, produs de CCP, destinat să suprime discuțiile despre conținut politic interzis, a subliniat cum pot fi exploatate căi alternative de intrare pentru a ocoli măsurile de securitate etice ale modelului; se poate argumenta că acest lucru se aplică și datelor noi, arbitrare, retrieve de pe internet, atunci când sunt destinate a fi incorporate într-o nouă generație de imagini.

RAG pentru Generarea de Imagini

În ciuda acestor provocări și aspecte politice spinoase, au apărut o serie de proiecte care încearcă să utilizeze metode RAG pentru a încorpora date noi în generații vizuale.

ReDi

Proiectul Retrieval-based Diffusion (ReDi) din 2023 este un cadru fără învățare care accelerează inferența modelului de difuzie prin recuperarea de traiectorii similare dintr-o bază de cunoștințe precalculată.

Valori dintr-un set de date pot fi ‘împrumutate’ pentru o nouă generație în ReDi. Sursă: https://arxiv.org/pdf/2302.02285

În contextul modelelor de difuzie, o traiectorie este drumul pas cu pas pe care modelul îl parcurge pentru a genera o imagine din zgomot pur. De obicei, acest proces are loc treptat, pe parcursul a numeroase pași, cu fiecare pas rafinând imaginea puțin mai mult.

ReDi accelerează acest proces prin saltarea unor pași. În loc de a calcula fiecare pas, recuperează o traiectorie similară dintr-o bază de date și sare înainte la un punct ulterioară în proces. Acest lucru reduce numărul de calcule necesare, făcând generația de imagini bazată pe difuzie mult mai rapidă, menținând totuși calitatea ridicată.

ReDi nu modifică greutățile modelului de difuzie, ci utilizează baza de cunoștințe pentru a sări peste pașii intermediari, reducând astfel numărul de estimări funcționale necesare pentru eșantionare.

Desigur, acest lucru nu este același lucru cu a încorpora imagini specifice la dorință într-o cerere de generație; dar se referă la tipuri similare de generație.

Lansat în 2022, anul în care modelele de difuzie latentă au capturat imaginația publică, ReDi pare a fi printre primele abordări bazate pe difuzie care se bazează pe o metodologie RAG.

Deși ar trebui menționat că, în 2021, Facebook Research a lansat Instance-Conditioned GAN, care a încercat să condiționeze imagini GAN pe intrări de imagini noi, acest tip de proiecție în spațiul latent este extrem de comun în literatură, atât pentru GAN, cât și pentru modele de difuzie; provocarea constă în a face un astfel de proces fără învățare și funcțional în timp real, așa cum sunt metodele RAG concentrate pe LLM.

RDM

O altă încercare timpurie de a utiliza metode RAG pentru generația de imagini este Retrieval-Augmented Diffusion Models (RDM), care introduce o abordare semi-parametrică pentru sinteza generativă de imagini. În timp ce modelele de difuzie tradiționale stochează toate cunoștințele vizuale învățate în parametrii rețelei neuronale, RDM se bazează pe o bază de date externă de imagini:

Vecinii cei mai apropiați retrieve într-o pseudo-interogare ilustrativă în RDM*.

În timpul antrenamentului, modelul recuperează vecinii cei mai apropiați (imagini vizual sau semantic similare) din baza de date externă, pentru a ghida procesul de generație. Acest lucru permite modelului să condiționeze ieșirile sale pe instanțe vizuale din lumea reală.

Procesul de recuperare este alimentat de încorporări CLIP, proiectate pentru a forța imagini retrieve să împărtășească asemănări semnificative cu interogarea și pentru a oferi informații noi pentru a îmbunătăți generația.

Acest lucru reduce dependența de parametri, facilitând modele mai mici care obțin rezultate competitive fără a necesita seturi de date extinse de antrenament.

Abordarea RDM susține modificări post-hoc: cercetătorii pot înlocui baza de date la momentul inferenței, permițând adaptarea zero-shot la noi stiluri, domenii sau chiar sarcini complet diferite, cum ar fi stilizare sau sinteză condiționată de clasă.

În rândurile inferioare, vedem vecinii cei mai apropiați atrase în procesul de difuzie în RDM*.

Un avantaj cheie al RDM este capacitatea sa de a îmbunătăți generația de imagini fără a reantrena modelul. Prin simpla modificare a bazei de date de recuperare, modelul poate generaliza la noi concepte pe care nu a fost explicit antrenat. Acest lucru este deosebit de util în aplicații în care schimbări de domeniu apar, cum ar fi generarea de imagini medicale pe baza seturilor de date în evoluție sau adaptarea modelelor text-imagini pentru aplicații creative.

Negativ, metodele de recuperare de acest tip depind de calitatea și relevanța bazei de date externe, ceea ce face curatarea datelor un factor important în obținerea generațiilor de înaltă calitate; și această abordare rămâne departe de a fi un echivalent al interacțiunilor RAG tipice în LLM comerciale.

ReMoDiffuse

ReMoDiffuse este un model de difuzie cu mișcare augmentată cu recuperare, proiectat pentru generația de mișcare umană 3D. În contrast cu modelele tradiționale de mișcare care se bazează exclusiv pe reprezentări învățate, ReMoDiffuse recuperează mostre de mișcare relevante dintr-un set de date mare de mișcare și le integrează în procesul de denoising, într-un schema similară cu RDM (vezi mai sus).

Comparație între ReMoDiffuse cu RAG (dreapta) și metode anterioare. Sursă: https://arxiv.org/pdf/2304.01116

Acest lucru permite modelului să genereze secvențe de mișcare proiectate să fie mai naturale și diverse, precum și semantic fidele promt-urilor textuale ale utilizatorului.

ReMoDiffuse utilizează un mecanism de recuperare hibrid, care selectează secvențe de mișcare pe baza atât a similarităților semantice, cât și a celor cinematice, cu intenția de a asigura că mișcările retrieve nu sunt doar tematic relevante, dar și fizic plauzibile atunci când sunt integrate în noua generație.

Modelul apoi rafinează aceste mostre retrieve utilizând un Transformer Modulat Semantic, care incorporează selectiv cunoștințe din mișcările retrieve, menținând totuși calitățile caracteristice ale secvenței generate:

Schema pipeline-ului ReMoDiffuse.

Tehnica Amestec de Condiții a proiectului îmbunătățește capacitatea modelului de a generaliza across diverse promt-uri și condiții de recuperare, echilibrând mostrele de mișcare retrieve cu promt-urile textuale în timpul generației și ajustând cât de multă greutate primește fiecare sursă la fiecare pas.

Acest lucru poate preveni ieșiri nerealiste sau repetitive, chiar și pentru promt-uri rare. De asemenea, abordează problema de sensibilitate la scară care apare adesea în tehnicile de ghidare fără clasificator utilizate în mod obișnuit în modelele de difuzie.

RA-CM3

Articolul din 2023 al Universității Stanford, Retrieval-Augmented Multimodal Language Modeling (RA-CM3), permite sistemului să acceseze informații din lumea reală la momentul inferenței:

Modelul de limbaj multimodal augmentat cu recuperare al Universității Stanford (RA-CM3) utilizează imagini retrieve de pe internet pentru a îmbunătăți procesul de generație, dar rămâne un prototip fără acces public. Sursă: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integrează text și imagini retrieve în pipeline-ul de generație, îmbunătățind atât sinteza text-imagini, cât și imagine-text. Utilizând CLIP pentru recuperare și un Transformer ca generator, modelul se referă la documente multimodale pertinente înainte de a compune o ieșire.

Rezultatele pe MS-COCO arată îmbunătățiri notabile față de DALL-E și sisteme similare, obținând o reducere de 12 puncte a Distanței de Începtare Fréchet (FID), cu un cost computațional mult mai mic.

Cu toate acestea, ca și în cazul altor abordări augmentate cu recuperare, RA-CM3 nu internalizează în mod nativ cunoștințele retrieve. Mai degrabă, suprapune noile date asupra rețelei sale pre-antrenate, asemenea unui LLM care își completează răspunsurile cu rezultate de căutare. Deși această metodă poate îmbunătăți acuratețea factuală, nu înlocuiește nevoia de actualizări de antrenament în domenii în care sinteza profundă este necesară.

Mai mult, o implementare practică a acestui sistem nu pare a fi fost lansată, nici măcar pe o platformă bazată pe API.

RealRAG

O lansare recentă din China, și cea care a determinat această examinare a sistemelor generative de imagini RAG, se numește Generare Realistică de Imagini Augmentată cu Retrieval (RealRAG).

Imagini externe atrase în RealRAG (jos, la mijloc). Sursă: https://arxiv.o7rg/pdf/2502.00848

RealRAG recuperează imagini reale ale obiectelor relevante dintr-o bază de date curată din seturi de date public disponibile, cum ar fi ImageNet, Stanford Cars, Stanford Dogs și Oxford Flowers. Apoi, integrează aceste imagini în procesul de generație, abordând lacunele de cunoaștere în model.

Un component cheie al RealRAG este învățarea contrastivă auto-reflexivă, care antrenează un model de recuperare pentru a găsi imagini de referință informative, mai degrabă decât doar imagini vizual similare.

Autorii afirmă:

‘Principala noastră idee cheie este să antrenăm un recuperator care să recupereze imagini care rămân în afara spațiului de generație al generatorului, dar care se apropie de reprezentarea promt-urilor textuale.

‘Pentru acest scop, generăm mai întâi imagini din promt-urile textuale date și apoi utilizăm imaginile generate ca interogări pentru a recupera cele mai relevante imagini din baza de date cu obiecte reale. Aceste imagini cele mai relevante sunt utilizate ca negative reflexive.’

Această abordare asigură că imaginile retrieve contribuie cu cunoștințe lipsă la procesul de generație, mai degrabă decât a întări prejudecățile existente în model.

Stânga, imaginea de referință recuperată; centru, fără RAG; dreapta, cu utilizarea imaginii retrieve.

Însă, dependența de calitatea și acoperirea bazei de date înseamnă că eficacitatea sa poate varia în funcție de disponibilitatea referințelor de înaltă calitate. Dacă o imagine relevantă nu există în setul de date, modelul poate totuși să lupte cu concepte nefamiliare.

RealRAG este o arhitectură foarte modulară, oferind compatibilitate cu multiple alte arhitecturi generative, inclusiv modele bazate pe U-Net, DiT și autoregresive.

În general, recuperarea și procesarea imaginilor externe adaugă o suprasarcină computațională, iar performanța sistemului depinde de cât de bine mecanismul de recuperare generalizează across diverse sarcini și seturi de date.

Concluzie

Acesta este un rezumat reprezentativ, mai degrabă decât exhaustiv, al sistemelor generative de imagini care utilizează recuperarea. Unele sisteme de acest tip utilizează recuperarea doar pentru a îmbunătăți înțelegerea viziunii sau curatarea seturilor de date, printre alte motive diverse, mai degrabă decât a genera imagini. Un exemplu este Internet Explorer.

Multe dintre celelalte proiecte RAG-integrate din literatură rămân nelansate. Prototipurile, cu doar cercetare publicată, includ Re-Imagen, care – în ciuda provenienței sale de la Google – poate accesa doar imagini dintr-o bază de date locală personalizată.

De asemenea, în noiembrie 2024, Baidu a anunțat Generare Augmentată cu Imagini Retrieve (iRAG), o nouă platformă care utilizează imagini retrieve ‘dintr-o bază de date’. Deși iRAG este raportat a fi disponibil pe platforma Ernie, nu par a fi detalii suplimentare despre acest proces de recuperare, care pare să se bazeze pe o bază de date locală (adică, locală pentru serviciu și nu direct accesibilă utilizatorului).

Mai departe, articolul din 2024 Unificarea Generării de Imagini Text și Recuperării oferă încă o metodă RAG pentru utilizarea imaginilor externe pentru a îmbunătăți rezultatele la momentul generației – din nou, dintr-o bază de date locală, mai degrabă decât din surse ad hoc de internet.

Entuziasmul pentru augmentarea RAG în generația de imagini va fi probabil concentrat pe sisteme care pot încorpora direct imagini sursă de internet sau încărcate de utilizator în procesul de generație și care permit utilizatorilor să participe la alegerile sau sursele de imagini.

Însă, acest lucru reprezintă o provocare semnificativă din cel puțin două motive; în primul rând, pentru că eficacitatea unor astfel de sisteme depinde de obicei de relații integrate profund formate în timpul unui proces de antrenament intensiv; și, în al doilea rând, pentru că preocupările legate de siguranță, legalitate și restricții de copyright, așa cum s-a menționat anterior, fac această caracteristică puțin probabilă pentru un serviciu web bazat pe API și pentru implementarea comercială în general.

* Sursă: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Publicat pentru prima dată marți, 4 februarie 2025