Przyszłość generacji obrazów z wykorzystaniem RAG

Model generatywny dyfuzyjny, taki jak Stable Diffusion, Flux, oraz modele wideo, takie jak Hunyuan, opierają się na wiedzy nabytej podczas jednej, wymagającej dużych zasobów sesji szkoleniowej, przy użyciu ustalonego zbioru danych. Jakiekolwiek pojęcia wprowadzone po tym szkoleniu – określane jako granica wiedzy – są nieobecne w modelu, chyba że uzupełnione przez dostosowanie lub techniki adaptacji zewnętrznej, takie jak Low Rank Adaptation (LoRA).

Byłoby więc idealnie, gdyby system generatywny, który wytwarza obrazy lub filmy, mógł korzystać z internetowych źródeł i włączać je do procesu generacji, gdy jest to potrzebne. W ten sposób, na przykład, model dyfuzyjny, który nic nie wie o najnowszych produktach Apple lub Tesla, mógłby nadal generować obrazy zawierające te nowe produkty.

W odniesieniu do modeli językowych, większość z nas jest zaznajomiona z systemami, takimi jak Perplexity, Notebook LM i ChatGPT-4o, które mogą uwzględniać nowe zewnętrzne informacje w modelu RAG (Retrieval Augmented Generation).

Procesy RAG sprawiają, że odpowiedzi ChatGPT 4o są bardziej istotne. Źródło: https://chatgpt.com/

Jednak ta funkcja jest niezwykła w przypadku generowania obrazów, a ChatGPT przyznałby swoje własne ograniczenia w tym zakresie:

ChatGPT 4o zrobił dobrą próbę odgadnięcia wizualizacji nowego zegarka, opierając się na ogólnej linii i opisach, które zinterpretował; ale nie może „przyswoić” i zintegrować nowe obrazy z generacją opartą na DALL-E.

Włączanie zewnętrznie pobranych danych do wygenerowanego obrazu jest wyzwaniem, ponieważ wprowadzany obraz musi najpierw zostać rozbity na tokeny i osadzenia, które następnie są mapowane na najbliższą wiedzę modelu na temat przedmiotu.

Chociaż ten proces działa skutecznie dla narzędzi po szkoleniu, takich jak ControlNet, takie manipulacje pozostają w dużej mierze powierzchowne, w zasadzie przepuszczając pobrany obraz przez potok renderowania, ale bez głębokiej integracji z wewnętrzną reprezentacją modelu.

W efekcie model nie ma możliwości generowania nowych perspektyw w sposób, w jaki systemy renderowania neuronalnego, takie jak NeRF, które konstruują sceny z prawdziwym zrozumieniem przestrzennym i strukturalnym.

Dojrzała logika

Podobne ograniczenie dotyczy zapytań opartych na RAG w dużych modelach językowych (LLM), takich jak Perplexity. Gdy model tego typu przetwarza zewnętrznie pobrane dane, działa podobnie do dorosłego, który wykorzystuje całe życie, aby inferować prawdopodobieństwa na temat danego tematu.

Jednak tak jak osoba nie może retroaktywnie zintegrować nowych informacji z kognitywną ramą, która ukształtowała ich podstawową wizję świata – gdy ich uprzedzenia i przekonania były jeszcze w fazie formowania – tak model LLM nie może bezproblemowo połączyć nowej wiedzy ze swoją wcześniej wypracowaną strukturą.

Zamiast tego może tylko „wpłynąć” lub zestawić nowe dane z jego wewnętrznie zinternalizowaną wiedzą, wykorzystując nauczone zasady do analizy i konjektury, a nie do syntezy na poziomie podstawowym.

Ten brak równoważności między zestawioną a zinternalizowaną generacją jest prawdopodobnie bardziej widoczny w przypadku generowanego obrazu niż w generacji opartej na języku: głębsze połączenia sieciowe i zwiększona kreatywność „rodzimych” (a nie opartych na RAG) generacji zostały ustalone w różnych badaniach.

Ukryte ryzyka generacji obrazów z wykorzystaniem RAG

Nawet gdyby było technicznie możliwe, aby bezproblemowo zintegrować pobrane z internetu obrazy z nowo syntetyzowanymi w sposób RAG, ograniczenia związane z bezpieczeństwem stanowiłyby dodatkowe wyzwanie.

Wiele zbiorów danych wykorzystywanych do szkolenia modeli generatywnych zostało opracowanych w celu minimalizacji obecności explicytnej, rasistowskiej lub暴lej treści, wśród innych wrażliwych kategorii. Jednak ten proces jest nieidealny, a pozostałe skojarzenia mogą się utrzymywać. Aby złagodzić to, systemy takie jak DALL·E i Adobe Firefly polegają na wtórnych mechanizmach filtrowania, które sprawdzają zarówno wprowadzane prompty, jak i wygenerowane dane wyjściowe pod kątem zabronionej treści.

W rezultacie, prosta filtracja NSFW – która głównie blokuje jawne treści – byłaby niewystarczająca do oceny dopuszczalności pobranych danych RAG. Taka treść mogłaby nadal być obraźliwa lub szkodliwa w sposób, który nie mieści się w predefiniowanych parametrach moderacji modelu, potencjalnie wprowadzając materiał, którego AI nie ma kontekstowego świadomości, aby właściwie ocenić.

Odkrycie niedawnej luk w produkowanym przez CCP DeepSeek, zaprojektowanym do tłumienia dyskusji na temat zabronionych treści politycznych, podkreśliło, jak alternatywne ścieżki wejścia mogą być wykorzystane do ominąć zabezpieczenia etyczne modelu; można argumentować, że dotyczy to również dowolnych nowych danych pobranych z internetu, gdy mają być one włączone do nowej generacji obrazu.

RAG dla generacji obrazów

Pomimo tych wyzwań i ciernistych aspektów politycznych, wiele projektów pojawiło się, które próbują wykorzystać metody oparte na RAG do włączania nowych danych do generacji wizualnych.

ReDi

Projekt Retrieval-based Diffusion (ReDi) z 2023 roku jest bezszkoleniową ramą, która przyspiesza inferencję modelu dyfuzyjnego, pobierając podobne trajektoria z prekompilowanej bazy wiedzy.

Wartości z zestawu danych mogą być „wypożyczone” do nowej generacji w ReDi. Źródło: https://arxiv.org/pdf/2302.02285

W kontekście modeli dyfuzyjnych trajektoria jest ścieżką krok po kroku, którą model podejmuje, aby wygenerować obraz z czystego szumu. Zwykle ten proces zachodzi stopniowo przez wiele kroków, z każdym krokiem, który nieznacznie udoskonala obraz.

ReDi przyspiesza ten proces, pomijając wiele z tych kroków. Zamiast obliczania każdego pojedynczego kroku, pobiera podobną przeszłą trajektorię z bazy danych i skacze do późniejszego punktu w procesie. To redukuje liczbę obliczeń potrzebnych, sprawiając, że generacja obrazu oparta na dyfuzji staje się znacznie szybsza, a jednocześnie zachowując wysoką jakość.

ReDi nie modyfikuje wag modelu dyfuzyjnego, ale zamiast tego wykorzystuje bazę wiedzy, aby pominąć kroki pośrednie, zmniejszając liczbę estymacji funkcji potrzebnych do próbkowania.

Oczywiście, to nie jest to samo, co włączanie konkretnych obrazów według własnego uznania do żądania generacji; ale dotyczy to podobnych typów generacji.

Wydanego w 2022 roku, w roku, w którym modele dyfuzyjne latentne zachwyciły wyobraźnię publiczną, ReDi wydaje się być jednym z pierwszych podejść opartych na dyfuzji do wykorzystania metodologii RAG.

Chociaż należy wspomnieć, że w 2021 roku Facebook Research wydał Instance-Conditioned GAN, który próbował warunkować obrazy GAN na nowych danych wejściowych; tego typu projekcja w przestrzeń latentną jest niezwykle powszechna w literaturze, zarówno dla GAN, jak i modeli dyfuzyjnych; wyzwaniem jest uczynienie takiego procesu bezszkoleniowym i funkcjonalnym w czasie rzeczywistym, tak jak metody RAG skupione na LLM.

RDM

Innym wczesnym podejściem do generacji obrazów z wykorzystaniem RAG jest Retrieval-Augmented Diffusion Models (RDM), które wprowadzają półparametryczne podejście do syntetyzowania obrazów. Podczas gdy tradycyjne modele dyfuzyjne przechowują całą nabytą wiedzę wizualną w parametrach sieci neuronowej, RDM polega na zewnętrznej bazie danych obrazów:

Pobrane najbliższe sąsiedzi w ilustratywnym pseudozapytaniu w RDM*.

Podczas szkolenia model pobiera najbliższych sąsiadów (wizualnie lub semantycznie podobne obrazy) z zewnętrznej bazy danych, aby prowadzić proces generacji. To pozwala modelowi warunkować swoje dane wyjściowe na rzeczywistych przykładach wizualnych.

Proces pobierania jest napędzany przez osadzenia CLIP, zaprojektowane, aby zmusić pobrane obrazy do dzielenia znaczących podobieństw z zapytaniem, oraz aby dostarczyć nową informację, aby poprawić generację.

To redukuje zależność od parametrów, ułatwiając mniejsze modele, które osiągają konkurencyjne wyniki bez potrzeby obszernych zbiorów danych szkoleniowych.

Podejście RDM obsługuje post-hoc modyfikacje: badacze mogą wymienić bazę danych w czasie inferencji, umożliwiając zero-shot adaptację do nowych stylów, domen lub nawet całkowicie innych zadań, takich jak stylizacja lub syntetyzowanie warunkowe klasy.

W dolnych wierszach widzimy pobrane najbliższe sąsiedzi wprowadzane do procesu dyfuzyjnego w RDM*.

Kluczową zaletą RDM jest jego zdolność do poprawy generacji obrazów bez ponownego szkolenia modelu. Poprzez proste zmodyfikowanie bazy danych model może uogólniać się na nowe pojęcia, których nie był wyraźnie szkolony. To jest szczególnie przydatne w aplikacjach, w których zmiany domeny występują, takie jak generowanie obrazów medycznych na podstawie ewoluujących zbiorów danych lub adaptacja modeli tekst-obraz dla zastosowań kreatywnych.

Negatywnie, metody oparte na pobieraniu tego rodzaju zależą od jakości i relewantności zewnętrznej bazy danych, co sprawia, że kuracja danych staje się ważnym czynnikiem w osiąganiu wysokiej jakości generacji; a to podejście pozostaje daleko od równoważnika syntetyzowania obrazów opartego na RAG, typowego dla komercyjnych LLM.

ReMoDiffuse

ReMoDiffuse to model dyfuzyjny ruchu z wykorzystaniem RAG, zaprojektowany do generacji ruchu 3D. W przeciwieństwie do tradycyjnych modeli ruchu, które polegają wyłącznie na nauczonych reprezentacjach, ReMoDiffuse pobiera istotne próbki ruchu z dużego zestawu danych ruchu i integruje je z procesem denoisingu, w schemacie podobnym do RDM (patrz powyżej).

Porównanie RAG-augmented ReMoDiffuse (najbardziej na prawo) z poprzednimi metodami. Źródło: https://arxiv.org/pdf/2304.01116

To pozwala modelowi generować sekwencje ruchu, które są zaprojektowane, aby być bardziej naturalne i zróżnicowane, a także semantycznie lojalne wobec tekstowych prompty użytkownika.

ReMoDiffuse wykorzystuje innowacyjny hybrydowy mechanizm pobierania, który wybiera sekwencje ruchu na podstawie zarówno semantycznych, jak i kinematycznych podobieństw, z zamiarem zapewnienia, że pobrane ruchy nie są tylko tematycznie istotne, ale także fizycznie prawdopodobne, gdy są integrowane z nową generacją.

Następnie model doskonali te pobrane próbki przy użyciu Transformera modyfikowanego semantycznie, który selektywnie włącza wiedzę z pobranych ruchów, utrzymując jednocześnie charakterystyczne cechy wygenerowanej sekwencji:

Schemat potoku ReMoDiffuse.

Technika Mieszania warunków projektu poprawia zdolność modelu do uogólniania się na różne prompty i warunki pobierania, balansując pobrane próbki ruchu z tekstowymi promptami podczas generacji i dostosowując, ile wagi każde źródło otrzymuje na każdym etapie.

To może pomóc zapobiec nierzeczywistym lub powtarzalnym wyjściom, nawet dla rzadkich prompty. Również rozwiązuje problem wrażliwości na skalę, który często pojawia się w technikach sterowania klasyfikatorem powszechnie stosowanych w modelach dyfuzyjnych.

RA-CM3

Papier z 2023 roku Retrieval-Augmented Multimodal Language Modeling (RA-CM3) pozwala systemowi uzyskać dostęp do informacji z świata rzeczywistego w czasie inferencji:

Model Retrieval-Augmented Multimodal Language Modeling (RA-CM3) z Uniwersytetu Stanforda wykorzystuje obrazy pobrane z internetu, aby uzupełnić proces generacji, ale pozostaje prototypem bez publicznego dostępu. Źródło: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 integruje pobrane teksty i obrazy do potoku generacji, poprawiając zarówno syntezę tekst-obraz, jak i obraz-tekst. Wykorzystując CLIP do pobierania i Transfomer jako generator, model odnosi się do istotnych multimodalnych dokumentów przed złożeniem danych wyjściowych.

Benchmarki na MS-COCO pokazują znaczące poprawy w stosunku do DALL-E i podobnych systemów, osiągając 12-punktową Fréchet Inception Distance (FID) redukcję, przy znacznie niższych kosztach obliczeniowych.

Jednak jak w przypadku innych podejść opartych na pobieraniu, RA-CM3 nie internalizuje płynnie swojej pobranej wiedzy. Zamiast tego nakłada nowe dane na swoją pre-trenowaną sieć, podobnie jak LLM uzupełnia swoje odpowiedzi wynikami wyszukiwania. Chociaż ta metoda może poprawić dokładność faktów, nie zastępuje potrzeby aktualizacji szkoleniowych w dziedzinach, w których wymagana jest głęboka synteza.

Ponadto, praktyczna implementacja tego systemu nie wydaje się zostać wydana, nawet na platformie opartej na API.

RealRAG

Nowy projekt z Chin, który skłonił nas do przyjrzenia się systemom generatywnym z wykorzystaniem RAG, to Retrieval-Augmented Realistic Image Generation (RealRAG).

Obrazy zewnętrzne wprowadzane do RealRAG (środkowy dolny). Źródło: https://arxiv.o7rg/pdf/2502.00848

RealRAG pobiera rzeczywiste obrazy istotnych obiektów z bazy danych opracowanej z publicznie dostępnych zestawów danych, takich jak ImageNet, Stanford Cars, Stanford Dogs i Oxford Flowers. Następnie integruje pobrane obrazy do procesu generacji, rozwiązując luki w wiedzy modelu.

Kluczowym składnikiem RealRAG jest autorefleksyjne uczenie kontrastowe, które trenuje model pobierania, aby znaleźć informacyjne obrazy odniesienia, a nie tylko wizualnie podobne obrazy.

Autorzy stwierdzają:

„Naszym kluczowym spostrzeżeniem jest trenowanie modelu pobierania, który pobiera obrazy, które pozostają poza przestrzenią generacyjną generatora, a jednocześnie zbliżają się do reprezentacji prompty tekstowych.

„W tym celu najpierw generujemy obrazy z podanych prompty tekstowych, a następnie wykorzystujemy wygenerowane obrazy jako zapytania do pobierania najbardziej istotnych obrazów w bazie danych opartej na rzeczywistych obiektach. Te najbardziej istotne obrazy są wykorzystywane jako negatywne odniesienia.’

To podejście zapewnia, że pobrane obrazy przyczyniają się do brakującej wiedzy w procesie generacji, a nie wzmocnienia istniejących uprzedzeń w modelu.

Po lewej, pobrany obraz odniesienia; w środku, bez RAG; po prawej, z użyciem pobranego obrazu.

Jednak zależność od jakości pobierania i pokrycia bazy danych oznacza, że skuteczność może się różnić w zależności od dostępności wysokiej jakości odniesień. Jeśli istotny obraz nie istnieje w zestawie danych, model może nadal mieć trudności z nieznanymi pojęciami.

RealRAG to bardzo modułowa architektura, oferująca kompatybilność z wieloma innymi architekturami generatywnymi, w tym opartymi na U-Net, DiT i modelach autoregresyjnych.

Ogólnie, pobieranie i przetwarzanie zewnętrznych obrazów dodaje obciążenie obliczeniowe, a wydajność systemu zależy od tego, jak dobrze mechanizm pobierania uogólnia się na różne zadania i zestawy danych.

Podsumowanie

To reprezentatywny, a nie wyczerpujący przegląd systemów generatywnych z wykorzystaniem RAG. Niektóre systemy tego typu wykorzystują pobieranie wyłącznie do poprawy zrozumienia wizji lub kuracji danych, wśród innych różnych motywów, a nie do generowania obrazów. Przykładem jest Internet Explorer.

Wiele innych projektów zintegrowanych z RAG w literaturze pozostaje nieopublikowanych. Prototypy, z tylko opublikowanymi badaniami, obejmują Re-Imagen, który – pomimo pochodzenia z Google – może uzyskać dostęp tylko do obrazów z lokalnej, niestandardowej bazy danych.

Również w listopadzie 2024 roku Baidu ogłosiło Image-Based Retrieval-Augmented Generation (iRAG), nową platformę, która wykorzystuje obrazy pobrane z bazy danych. Chociaż iRAG jest podobno dostępny na platformie Ernie, nie ma dalszych szczegółów na temat tego procesu pobierania, który wydaje się polegać na lokalnej bazie danych (tj. lokalnej dla usługi i niebezpośrednio dostępnej dla użytkownika).

Dalej, papier z 2024 roku Unified Text-to-Image Generation and Retrieval oferuje jeszcze jedną metodę opartą na RAG, wykorzystującą zewnętrzne obrazy do uzupełnienia wyników w czasie generacji – ponownie, z lokalnej bazy danych, a nie z ad hoc źródeł internetowych.

Ekscytacja wokół uzupełnienia RAG w generacji obrazów prawdopodobnie skupi się na systemach, które mogą włączać obrazy z internetu lub przesyłane przez użytkownika bezpośrednio do procesu generacji i pozwalają użytkownikom uczestniczyć w wyborze lub źródle obrazów.

Jednak jest to znaczące wyzwanie z co najmniej dwóch powodów; po pierwsze, dlatego, że skuteczność takich systemów zwykle zależy od głęboko zintegrowanych relacji utworzonych podczas zasobochłonnego procesu szkolenia; a po drugie, dlatego, że obawy dotyczące bezpieczeństwa, legalności i ograniczeń prawnych, jak wcześniej wspomniano, sprawiają, że jest to mało prawdopodobna funkcja dla usługi internetowej opartej na API i dla komercyjnego wdrożenia ogólnie.

* Źródło: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Pierwotnie opublikowane we wtorek, 4 lutego 2025