Masa Depan RAG-Augmented Image Generation

Model difusi generatif seperti Stable Diffusion, Flux, dan model video seperti Hunyuan bergantung pada pengetahuan yang diperoleh selama satu sesi pelatihan yang intensif menggunakan dataset yang tetap. Konsep apa pun yang diperkenalkan setelah pelatihan ini – yang disebut sebagai batas pengetahuan – tidak ada dalam model kecuali jika dilengkapi melalui fine-tuning atau teknik adaptasi eksternal seperti Low Rank Adaptation (LoRA).

Oleh karena itu, akan ideal jika sistem generatif yang menghasilkan gambar atau video dapat mengakses sumber daya online dan memasukkannya ke dalam proses generasi sesuai kebutuhan. Dengan cara ini, misalnya, model difusi yang tidak tahu apa-apa tentang rilis terbaru Apple atau Tesla masih dapat menghasilkan gambar yang berisi produk baru tersebut.

Menyangkut model bahasa, sebagian besar dari kita sudah familiar dengan sistem seperti Perplexity, Notebook LM, dan ChatGPT-4o, yang dapat memasukkan informasi eksternal baru dalam Retrieval Augmented Generation (RAG) model.

Proses RAG membuat respons ChatGPT 4o lebih relevan. Sumber: https://chatgpt.com/

Namun, ini adalah fasilitas yang tidak umum ketika datang ke generasi gambar, dan ChatGPT akan mengakui keterbatasannya dalam hal ini:

ChatGPT 4o telah membuat tebakan yang baik tentang visualisasi rilis jam tangan baru, berdasarkan garis umum dan deskripsi yang telah diinterpretasikan; tetapi tidak dapat ‘menyerap’ dan mengintegrasikan gambar baru ke dalam generasi berbasis DALL-E.

Memasukkan data yang diperoleh dari luar ke dalam gambar yang dihasilkan adalah tantangan karena gambar masuk harus dipecah menjadi token dan embeddings, yang kemudian dipetakan ke pengetahuan domain terdekat model tentang subjek.

Proses ini bekerja secara efektif untuk alat pasca-pelatihan seperti ControlNet, tetapi manipulasi seperti itu sebagian besar masih bersifat superfisial, pada dasarnya memasukkan gambar yang diperoleh ke dalam pipa rendering, tetapi tanpa mengintegrasikan secara mendalam ke dalam representasi internal model.

Sebagai hasilnya, model kekurangan kemampuan untuk menghasilkan perspektif baru dengan cara yang sama seperti sistem rendering neural seperti NeRF dapat, yang membangun adegan dengan pemahaman spasial dan struktural yang sebenarnya.

Logika Matang

Keterbatasan serupa berlaku untuk kueri RAG dalam Model Bahasa Besar (LLM), seperti Perplexity. Ketika model jenis ini memproses data eksternal yang diperoleh, ia berfungsi banyak seperti orang dewasa yang menggambar pada pengetahuan seumur hidup untuk menginferensi probabilitas tentang topik tertentu.

Namun, sama seperti orang tidak dapat mengintegrasikan kembali informasi baru ke dalam kerangka kognitif yang membentuk pandangan dunia dasar mereka – ketika bias dan prasangka mereka masih terbentuk – LLM tidak dapat menggabungkan pengetahuan baru ke dalam struktur pra-pelatihan secara mulus.

Sebagai gantinya, hanya dapat ‘mengaruh’ atau menempatkan data baru melawan pengetahuan internal yang telah diinternalisasi, menggunakan prinsip yang dipelajari untuk menganalisis dan mengonjektur daripada mensintesis pada tingkat dasar.

Kekurangan kesetaraan antara penempatan dan internalisasi generasi ini kemungkinan akan lebih jelas dalam gambar yang dihasilkan daripada dalam generasi berbasis bahasa:

Risiko Tersembunyi dari RAG-Capable Image Generation

Bahkan jika secara teknis memungkinkan untuk mengintegrasikan gambar internet yang diperoleh secara mulus ke dalam gambar yang disintesis dalam gaya RAG, keterbatasan terkait keamanan akan menimbulkan tantangan tambahan.

Banyak dataset yang digunakan untuk melatih model generatif telah dikurasi untuk meminimalkan kehadiran konten eksplisit, rasialis, atau kekerasan, di antara kategori sensitif lainnya. Namun, proses ini tidak sempurna, dan asosiasi residu dapat bertahan. Untuk memitigasi ini, sistem seperti DALL·E dan Adobe Firefly bergantung pada mekanisme penyaringan sekunder yang memeriksa baik prompt input maupun output yang dihasilkan untuk konten yang dilarang.

Sebagai hasilnya, filter NSFW sederhana – yang pada dasarnya memblokir konten eksplisit – akan tidak cukup untuk menilai akseptabilitas data RAG yang diperoleh. Konten seperti itu masih dapat menyinggung atau berbahaya dengan cara yang jatuh di luar parameter moderasi model yang telah ditetapkan sebelumnya, potensial memperkenalkan materi yang AI tidak memiliki kesadaran kontekstual untuk menilai secara tepat.

Penemuan kerentanan baru-baru ini dalam DeepSeek yang diproduksi CCP, yang dirancang untuk menekan diskusi tentang konten politik yang dilarang, telah menyoroti bagaimana jalur input alternatif dapat dieksploitasi untuk melewati pengaman etika model; secara masuk akal ini juga berlaku untuk data baru yang diperoleh secara sewenang-wenang dari internet, ketika dimaksudkan untuk dimasukkan ke dalam generasi gambar baru.

RAG untuk Image Generation

Meskipun tantangan dan aspek politik yang rumit, sejumlah proyek telah muncul yang mencoba menggunakan metode RAG untuk memasukkan data baru ke dalam generasi visual.

ReDi

Proyek Retrieval-based Diffusion (ReDi) 2023 adalah kerangka kerja bebas-pelatihan yang mempercepat inferensi model difusi dengan mengambil trayektori serupa dari basis pengetahuan pra-komputasi.

Nilai dari dataset dapat ‘dipinjam’ untuk generasi baru di ReDi. Sumber: https://arxiv.org/pdf/2302.02285

Dalam konteks model difusi, trayektori adalah jalur langkah-demi-langkah yang diambil model untuk menghasilkan gambar dari kebisingan murni. Biasanya, proses ini terjadi secara bertahap selama beberapa langkah, dengan setiap langkah memperhalus gambar sedikit lebih banyak.

ReDi mempercepat proses ini dengan melewati sejumlah langkah. Alih-alih menghitung setiap langkah, ia mengambil trayektori serupa dari basis data dan melompat ke titik yang lebih lanjut dalam proses. Ini mengurangi jumlah perhitungan yang diperlukan, membuat generasi gambar berbasis difusi jauh lebih cepat, sambil tetap mempertahankan kualitasnya.

ReDi tidak memodifikasi bobot model difusi, tetapi menggunakan basis pengetahuan untuk melewati langkah-langkah intermediate, sehingga mengurangi jumlah estimasi fungsi yang diperlukan untuk sampling.

Tentu saja, ini tidak sama dengan memasukkan gambar tertentu ke dalam permintaan generasi; tetapi ini terkait dengan jenis generasi yang serupa.

Diluncurkan pada 2022, tahun ketika model difusi laten menangkap imajinasi publik, ReDi tampaknya menjadi salah satu pendekatan difusi berbasis RAG pertama.

Meskipun demikian, perlu disebutkan bahwa pada 2021, Facebook Research merilis Instance-Conditioned GAN, yang berusaha untuk mengkondisikan gambar GAN pada input gambar baru, teknik proyeksi ke dalam ruang laten ini sangat umum dalam literatur, baik untuk GAN maupun model difusi; tantangannya adalah membuat proses seperti itu bebas-pelatihan dan fungsional dalam waktu nyata, seperti metode RAG yang berfokus pada LLM.

RDM

Upaya awal lain ke dalam generasi gambar yang ditingkatkan dengan RAG adalah Retrieval-Augmented Diffusion Models (RDM), yang memperkenalkan pendekatan semi-parametrik untuk sintesis gambar generatif. Sementara model difusi tradisional menyimpan semua pengetahuan visual yang dipelajari dalam parameter jaringan neural, RDM bergantung pada basis data gambar eksternal:

Tetangga terdekat yang diperoleh dalam pseudo-kueri ilustratif dalam RDM*.

Selama pelatihan, model mengambil tetangga terdekat (gambar yang secara visual atau semantik mirip) dari basis data eksternal, untuk memandu proses generasi. Ini memungkinkan model untuk mengkondisikan outputnya pada contoh visual dunia nyata.

Proses pengambilan didukung oleh CLIP embeddings, yang dirancang untuk memaksa gambar yang diperoleh untuk berbagi kesamaan yang bermakna dengan kueri, dan juga untuk menyediakan informasi baru untuk meningkatkan generasi.

Pendekatan RDM mendukung modifikasi pasca: peneliti dapat menukar basis data pada saat inferensi, memungkinkan adaptasi nol-shot ke gaya, domain, atau bahkan tugas yang sama sekali berbeda seperti stilisasi atau sintesis kondisional kelas.

Pada baris bawah, kita melihat tetangga terdekat ditarik ke dalam proses difusi dalam RDM*.

Kelebihan utama RDM adalah kemampuannya untuk meningkatkan generasi gambar tanpa pelatihan ulang model. Dengan hanya mengubah basis data pengambilan, model dapat menggeneralisasi ke konsep baru yang tidak pernah dilatih secara eksplisit. Ini sangat berguna dalam aplikasi di mana pergeseran domain terjadi, seperti menghasilkan citra medis berdasarkan dataset yang berkembang, atau mengadaptasi model teks-ke-gambar untuk aplikasi kreatif.

Negatifnya, metode pengambilan seperti ini bergantung pada kualitas dan relevansi basis data eksternal, yang membuat kurasi data menjadi faktor penting dalam mencapai generasi berkualitas tinggi; dan pendekatan ini masih jauh dari ekuivalen sintesis gambar dengan metode interaksi RAG yang khas dalam LLM komersial.

ReMoDiffuse

ReMoDiffuse adalah model difusi gerak yang ditingkatkan dengan RAG, dirancang untuk generasi gerak manusia 3D. Tidak seperti model gerak tradisional yang bergantung sepenuhnya pada representasi yang dipelajari, ReMoDiffuse mengambil sampel gerak relevan dari dataset gerak besar dan mengintegrasikannya ke dalam proses denoising, dalam skema serupa dengan RDM (lihat di atas).

Perbandingan ReMoDiffuse yang ditingkatkan dengan RAG (kanan paling) dengan metode sebelumnya. Sumber: https://arxiv.org/pdf/2304.01116

Ini memungkinkan model untuk menghasilkan urutan gerak yang dirancang untuk lebih alami dan beragam, serta setia secara semantik terhadap prompt teks pengguna.

ReMoDiffuse menggunakan mekanisme pengambilan hybrid inovatif, yang memilih urutan gerak berdasarkan kesamaan semantik dan kinematik, dengan tujuan memastikan bahwa gerak yang diperoleh tidak hanya relevan secara tematik tetapi juga secara fisik memungkinkan ketika diintegrasikan ke dalam generasi baru.

Model kemudian memperhalus sampel yang diperoleh menggunakan Transformer yang Dimodulasi Semantik, yang secara selektif mengintegrasikan pengetahuan dari gerak yang diperoleh sambil mempertahankan kualitas khas dari urutan gerak yang dihasilkan:

Skema untuk pipa ReMoDiffuse.

Teknik Campuran Kondisi proyek ini meningkatkan kemampuan model untuk menggeneralisasi di berbagai prompt dan kondisi pengambilan, menyeimbangkan sampel gerak yang diperoleh dengan prompt teks selama generasi, dan menyesuaikan seberapa banyak bobot yang diberikan pada setiap sumber pada setiap langkah.

Ini dapat membantu mencegah output yang tidak realistis atau berulang, bahkan untuk prompt yang jarang. Ini juga menangani masalah sensitivitas skala yang sering muncul dalam teknik bimbingan bebas kelas yang umum digunakan dalam model difusi.

RA-CM3

Makalah 2023 Retrieval-Augmented Multimodal Language Modeling (RA-CM3) dari Stanford memungkinkan sistem untuk mengakses informasi dunia nyata pada saat inferensi:

Model Retrieval-Augmented Multimodal Language Modeling (RA-CM3) dari Stanford menggunakan gambar yang diperoleh dari internet untuk meningkatkan proses generasi, tetapi masih merupakan prototipe tanpa akses publik. Sumber: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 mengintegrasikan teks dan gambar yang diperoleh ke dalam pipa generasi, meningkatkan baik sintesis teks-ke-gambar dan gambar-ke-teks. Menggunakan CLIP untuk pengambilan dan Transformer sebagai generator, model merujuk pada dokumen multimodal yang relevan sebelum menyusun output.

Benchmark pada MS-COCO menunjukkan perbaikan yang signifikan dibandingkan dengan DALL-E dan sistem serupa, mencapai pengurangan 12 poin dalam Fréchet Inception Distance (FID), dengan biaya komputasi yang jauh lebih rendah.

Namun, seperti halnya pendekatan pengambilan lainnya, RA-CM3 tidak menginternalisasi pengetahuan yang diperoleh secara mulus. Sebaliknya, ia menumpangkan data baru melawan jaringan pra-pelatihan, mirip dengan LLM yang meningkatkan respons dengan hasil pencarian. Meskipun metode ini dapat meningkatkan akurasi faktual, tidak menggantikan kebutuhan akan pembaruan pelatihan dalam domain di mana sintesis yang dalam diperlukan.

Selain itu, implementasi praktis dari sistem ini tampaknya belum dirilis, bahkan ke platform berbasis API.

RealRAG

Rilis baru dari Tiongkok, dan yang telah memicu tinjauan ini tentang sistem generatif RAG-augmented, disebut Retrieval-Augmented Realistic Image Generation (RealRAG).

Gambar eksternal ditarik ke dalam RealRAG (tengah bawah). Sumber: https://arxiv.o7rg/pdf/2502.00848

RealRAG mengambil gambar aktual dari objek relevan dari basis data yang dikurasi dari dataset publik seperti ImageNet, Stanford Cars, Stanford Dogs, dan Oxford Flowers. Kemudian mengintegrasikan gambar yang diperoleh ke dalam proses generasi, mengatasi kesenjangan pengetahuan dalam model.

Komponen kunci dari RealRAG adalah pembelajaran kontrastif reflektif, yang melatih model pengambilan untuk menemukan gambar referensi yang informatif, bukan hanya memilih visual yang mirip.

Para penulis menyatakan:

‘Wawasan utama kami adalah melatih pengambil yang mengambil gambar yang tetap di luar ruang generasi generator, namun dekat dengan representasi prompt teks.

‘Untuk ini, kami pertama-tama menghasilkan gambar dari prompt teks yang diberikan dan kemudian menggunakan gambar yang dihasilkan sebagai kueri untuk mengambil gambar paling relevan dalam basis data berbasis objek nyata. Gambar paling relevan ini digunakan sebagai negatif reflektif.’

Pendekatan ini memastikan bahwa gambar yang diperoleh memberikan pengetahuan yang hilang ke dalam proses generasi, bukan memperkuat bias yang ada dalam model.

Kiri, gambar referensi yang diperoleh; tengah, tanpa RAG; kanan, dengan menggunakan gambar yang diperoleh.

Namun, ketergantungan pada kualitas pengambilan dan cakupan basis data berarti bahwa efektivitasnya dapat bervariasi tergantung pada ketersediaan referensi berkualitas tinggi. Jika gambar relevan tidak ada dalam dataset, model masih dapat berjuang dengan konsep yang tidak biasa.

RealRAG adalah arsitektur yang sangat modular, menawarkan kompatibilitas dengan berbagai arsitektur generatif lainnya, termasuk model berbasis U-Net, DiT, dan autoregresif.

Secara umum, pengambilan dan pemrosesan gambar eksternal menambahkan overhead komputasi, dan kinerja sistem bergantung pada seberapa baik mekanisme pengambilan menggeneralisasi di berbagai tugas dan dataset.

Kesimpulan

Ini adalah tinjauan yang representatif daripada menyeluruh tentang sistem generatif multimodal yang mengambil gambar. Beberapa sistem dari jenis ini menggunakan pengambilan hanya untuk meningkatkan pemahaman visi atau kurasi dataset, di antara motif lainnya, bukan untuk menghasilkan gambar. Salah satu contoh adalah Internet Explorer.

Banyak dari proyek RAG-integrasi lainnya dalam literatur masih belum dirilis. Prototipe, dengan hanya penelitian yang dipublikasikan, termasuk Re-Imagen, yang – meskipun berasal dari Google – hanya dapat mengakses gambar dari basis data kustom lokal.

Juga, pada November 2024, Baidu mengumumkan Image-Based Retrieval-Augmented Generation (iRAG), platform baru yang menggunakan gambar yang diperoleh ‘dari basis data’. Meskipun iRAG dilaporkan tersedia di platform Ernie, tampaknya tidak ada detail lebih lanjut tentang proses pengambilan ini, yang tampaknya bergantung pada basis data lokal (yaitu, lokal untuk layanan dan tidak langsung diakses oleh pengguna).

Lebih lanjut, makalah 2024 paper Unified Text-to-Image Generation and Retrieval menawarkan metode RAG lain untuk menggunakan gambar eksternal untuk meningkatkan hasil pada saat generasi – lagi-lagi, dari basis data lokal dan bukan dari sumber ad hoc internet.

Antusiasme seputar peningkatan RAG dalam generasi gambar kemungkinan akan fokus pada sistem yang dapat mengintegrasikan gambar yang diambil dari internet atau diunggah oleh pengguna secara langsung ke dalam proses generatif, dan yang memungkinkan pengguna untuk berpartisipasi dalam pilihan atau sumber gambar.

Namun, ini adalah tantangan signifikan karena setidaknya dua alasan; pertama, karena efektivitas sistem seperti itu biasanya bergantung pada hubungan yang terintegrasi secara mendalam yang terbentuk selama proses pelatihan yang intensif; dan kedua, karena kekhawatiran tentang keamanan, legalitas, dan batasan hak cipta, seperti yang disebutkan sebelumnya, membuat fitur ini tidak mungkin untuk layanan web yang digerakkan oleh API, dan untuk penerapan komersial pada umumnya.

* Sumber: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Dipublikasikan pertama kali pada hari Selasa, 4 Februari 2025