Майбутнє генерації зображень з підтримкою RAG

Генеративні дифузійні моделі, такі як Stable Diffusion, Flux та відеомоделі, такі як Hunyuan, покладаються на знання, отримані під час одного ресурсоємного навчального сеансу з фіксованою датасетою. Будь-які концепції, введені після цього навчання – так званий ліміт знань – відсутні в моделі, якщо тільки вони не доповнюються за допомогою тонкого налаштування або зовнішніх адаптаційних технік, таких як Low Rank Adaptation (LoRA).

Було б ідеально, якщо система генерації зображень або відео могла б доступитися до онлайн-джерел і включати їх у процес генерації за потреби. Наприклад, дифузійна модель, яка нічого не знає про останню версію Apple або Tesla, все одно могла б генерувати зображення, що містять ці нові продукти.

Що стосується мовних моделей, більшість з нас знайома з системами, такими як Perplexity, Notebook LM і ChatGPT-4o, які можуть включати нову зовнішню інформацію у Retrieval Augmented Generation (RAG) модель.

Процеси RAG роблять відповіді ChatGPT 4o більш актуальними. Джерело: https://chatgpt.com/

Однак, така можливість є рідкістю при генерації зображень, і ChatGPT буде зізнаватися у своїх обмеженнях у цьому відношенні:

ChatGPT 4o зробив хорошу спробу візуалізації нового випуску годинника, заснованої на загальному напрямку та описах, які він інтерпретував; але він не може «впитати» та інтегрувати нові зображення у генерацію на основі DALL-E.

Включення зовнішніх даних у генероване зображення є складним завданням, оскільки надходящі зображення спочатку потрібно розбити на токени та ембеддинги, які потім відображаються на найближчу навчену доменну інформацію моделі про предмет.

Хоча цей процес працює ефективно для інструментів після навчання, таких як ControlNet, такі маніпуляції залишаються в основному поверхневими, фактично направляючи отримане зображення через трубопровід рендерингу, але без глибокої інтеграції його у внутрішнє представлення моделі.

В результаті модель позбавлена можливості генерувати нові перспективи тим же чином, як системи нейронного рендерингу, такі як NeRF, які конструюють сцени з справжнім просторовим та структурним розумінням.

Зрілий логік

Аналогічна обмеження застосовується до запитів RAG у великих мовних моделях (LLM), таких як Perplexity. Коли модель такого типу обробляє зовнішні дані, вона функціонує подібно до дорослого, який використовує життєвий досвід для висновків про ймовірності щодо певної теми.

Однак, як і людина не може ретроспективно інтегрувати нову інформацію у свій когнітивний каркас, коли її упередження та попередні уявлення ще сформувалися, LLM не може безшовно об’єднати нові знання у свою попередньо натреновану структуру.

Натомість вона може лише «вплинути» абоuxtapose нові дані проти своїх внутрішніх знань, використовуючи вивчені принципи для аналізу та висновків, а не для синтезу на фундаментальному рівні.

Ця недостача еквівалентності між юстапозованим та внутрішнім поколінням, ймовірно, буде більш очевидною у генерованому зображенні, ніж у мовному поколінні:

Приховані ризики генерації зображень з підтримкою RAG

ЕVEN якщо було б технічно можливим безшовно інтегрувати отримані з інтернету зображення у нові синтезовані зображення у стилі RAG, обмеження безпеки представили б додаткову проблему.

Багато датасетів, використаних для навчання генеративних моделей, були відібрані для мінімалізації присутності явного, расистського чи насильницького контенту серед інших чутливих категорій. Однак цей процес не є досконалим, і залишкові асоціації можуть зберегтися. Для пом’якшення цього системами, такими як DALL·E та Adobe Firefly, довіряються вторинним механізмам фільтрації, які відфільтровують як вхідні запити, так і генеровані виходи для забороненого контенту.

В результаті простий фільтр NSFW – той, який в основному блокує явний контент – буде недостатнім для оцінки прийнятності отриманих даних RAG. Такий контент все ще може бути обурливим або шкідливим способами, які виходять за межі попередньо визначених параметрів модерації, потенційно вводячи матеріал, який штучний інтелект не має контекстної осведомленості, щоб належним чином оцінити.

Відкриття недавньої уразливості у виробі DeepSeek, розробленому для придушення обговорень заборонених політичних тем, підкреслило, як альтернативні входи можуть бути використані для обходу захисних засобів моделі; аргументно, це також застосовується до довільних нових даних, отриманих з інтернету, коли вони призначені для включення у нове покоління зображення.

RAG для генерації зображень

Незважаючи на ці виклики та складні політичні аспекти, ряд проектів виникло, які намагаються використовувати методи RAG для включення нових даних у візуальні покоління.

ReDi

Проект 2023 року Retrieval-based Diffusion (ReDi) – це безобучальний каркас, який прискорює висновок дифузійної моделі, отримуючи схожі траєкторії з попередньо обчисленої бази знань.

Значення з датасету можуть бути «взяті в борг» для нового покоління у ReDi. Джерело: https://arxiv.org/pdf/2302.02285

У контексті дифузійних моделей траєкторія – це пошаровий шлях, який модель проходить для генерації зображення з чистого шуму. Зазвичай цей процес відбувається поступово протягом багатьох кроків, причому кожен крок трохи більше уточнює зображення.

ReDi прискорює цей процес, пропускаючи багато цих кроків. Замість розрахунку кожного окремого кроку, він отримує схожу попередню траєкторію з бази даних і переходить до пізнішої точки процесу. Це зменшує кількість обчислень,必要их для генерації дифузійних зображень, зберігаючи при цьому високу якість.

ReDi не змінює ваги дифузійної моделі, а скористується базою знань для пропуску проміжних кроків, тим самим зменшуючи кількість функціональних оцінок, необхідних для вибірки.

Очевидно, що це не те саме, що включення конкретних зображень за бажанням у запит генерації; проте це пов’язано з подібними типами генерації.

Випущений у 2022 році, у рік, коли латентні дифузійні моделі захопили уяву громадськості, ReDi, здається, є одним з перших дифузійних підходів, який спирається на методологію RAG.

Хоча у 2021 році Facebook Research випустив Instance-Conditioned GAN, який намагався умовити зображення GAN на нових зображеннях; такий тип проєкції у латентному просторі дуже поширений у літературі, як для GAN, так і для дифузійних моделей; виклик полягає в тому, щоб зробити такий процес безобучальним і функціональним в реальному часі, як методи RAG, орієнтовані на LLM.

RDM

Інша рання спроба включення RAG-аугментованої генерації зображень – це Retrieval-Augmented Diffusion Models (RDM), який вводить напівпараметричний підхід до генеративної синтезу зображень. На відміну від традиційних дифузійних моделей, які зберігають усі вивчені візуальні знання всередині параметрів нейронної мережі, RDM спирається на зовнішню базу даних зображень:

Отримані найближчі сусіди в ілюстративному псевдо-запиті в RDM*.

Під час навчання модель отримує найближчих сусідів (візуально або семантично схожі зображення) з зовнішньої бази даних, щоб направити процес генерації. Це дозволяє моделі умовити свої виходи на основі реальних візуальних екземплярів.

Процес отримання здійснюється за допомогою CLIP-ембеддингів, розроблених для того, щоб отримані зображення мали значущі подібності з запитом, а також забезпечували нову інформацію для поліпшення генерації.

Цей підхід зменшує залежність від параметрів, що полегшує створення менших моделей, які досягають конкурентоспроможних результатів без потреби у великих навчальних датасетах.

Підхід RDM підтримує пост-хок модифікації: дослідники можуть замінити базу даних під час висновку, що дозволяє здійснювати нульове адаптування до нових стилів, доменів або навіть зовсім інших завдань, таких як стилізація чи клас-умовна синтез.

У нижніх рядках ми бачимо найближчих сусідів, залучених до процесу дифузії в RDM*.

Ключовим перевагом RDM є його здатність покращувати генерацію зображень без перенастройки моделі. Змінивши лише базу даних отримання, модель може узагальнювати нові концепції, яких вона ніколи явно не навчалася. Це особливо корисно для застосунків, де відбуваються доменні зрушення, наприклад генерація медичних зображень на основі еволюційних датасетів або адаптація текст-до-зображення моделей для творчих застосунків.

Від’ємно, методи отримання такого типу залежать від якості та актуальності зовнішньої бази даних, що робить кураторство даних важливим фактором для досягнення високоякісної генерації; і цей підхід залишається далеко від еквівалента генерації зображень, подібного до тих, які характерні для комерційних LLM.

ReMoDiffuse

ReMoDiffuse – це модель дифузійного руху з підтримкою отримання, розроблена для генерації руху людини у 3D. На відміну від традиційних моделей руху, які спираються виключно на вивчені представлення, ReMoDiffuse отримує відповідні зразки руху з великої бази даних руху та інтегрує їх у процес денойзингу, у схемі, подібній до RDM (див. вище).

Порівняння RAG-аугментованого ReMoDiffuse (праворуч) з попередніми методами. Джерело: https://arxiv.org/pdf/2304.01116

Це дозволяє моделі генерувати рухові послідовності, призначені для того, щоб бути більш природними та семантично вірними до текстових запитів користувача.

ReMoDiffuse використовує інноваційний гібридний механізм отримання, який вибирає рухові послідовності на основі як семантичної, так і кінематичної подібності, з метою забезпечення того, щоб отримані рухи були не тільки тематично актуальними, але й фізично правдоподібними при інтеграції у нове покоління.

Модель потім уточнює ці отримані зразки за допомогою семантично-модульованого трансформера, який вибірково включає знання з отриманих рухів, зберігаючи при цьому характерні якості згенерованої послідовності:

Схема трубопроводу ReMoDiffuse.

Техніка мікс-умови проекту підвищує здатність моделі узагальнювати різні запити та умови отримання, балансуючи отримані рухові зразки з текстовими запитами під час генерації та регулюючи, скільки ваги кожне джерело отримує на кожному кроці.

Це може допомогти запобігти нереалістичним або повторюваним виходам, навіть для рідкісних запитів. Це також вирішує проблему чутливості до масштабу, яка часто виникає у техніках класифікаторного керування, які зазвичай використовуються у дифузійних моделях.

RA-CM3

Проект 2023 року Стенфордського університету Retrieval-Augmented Multimodal Language Modeling (RA-CM3) дозволяє системі доступитися до реальної інформації під час висновку:

Модель Стенфордського університету Retrieval-Augmented Multimodal Language Modeling (RA-CM3) використовує зображення, отримані з інтернету, для доповнення процесу генерації, але залишається прототипом без публічного доступу. Джерело: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 інтегрує отримані тексти та зображення у трубопровід генерації, підвищуючи як текст-до-зображення, так і зображення-до-тексту синтез. Використовуючи CLIP для отримання та трансформер як генератор, модель звертається до відповідних багатомодальних документів перед складанням виходу.

Бенчмарки на MS-COCO показують помітне покращення над DALL-E та подібними системами, досягнувши 12-бальну Fréchet Inception Distance (FID) зниження, з значно нижчими обчислювальними витратами.

Однак, як і інші методи отримання, RA-CM3 не безшовно внутрішньо інтегрує свої знання. Натомість він накладає нові дані на свою попередньо натреновану мережу, подібно до LLM, який доповнює свої відповіді результатами пошуку. Хоча цей метод може покращити фактичну точність, він не замінює потребу у навчальних оновленнях у доменах, де глибока синтеза необхідна.

Крім того, практична реалізація цієї системи не здається випущеною, навіть на платформі з API.

RealRAG

Новий випуск з Китаю, який спонукав цей огляд RAG-аугментованих генеративних систем зображень, називається Retrieval-Augmented Realistic Image Generation (RealRAG).

Зовнішні зображення, отримані у RealRAG (нижнє середнє). Джерело: https://arxiv.o7rg/pdf/2502.00848

RealRAG отримує фактичні зображення відповідних об’єктів з бази даних, кураторської з публічно доступних датасетів, таких як ImageNet, Stanford Cars, Stanford Dogs та Oxford Flowers. Потім він інтегрує отримані зображення у процес генерації, звертаючись до пробілів у знаннях моделі.

Ключовим компонентом RealRAG є само-рефлексивне контрастивне навчання, яке тренує модель отримання для пошуку інформативних зображень-відповідей, а не просто візуально схожих.

Автори заявляють:

«Наш основний висновок полягає в тому, щоб тренувати модель отримання, яка отримує зображення, що залишаються поза простором генерації генератора, але близькі до представлення текстових запитів.

«Для цього ми спочатку генеруємо зображення з заданих текстових запитів, а потім використовуємо згенеровані зображення як запити для отримання найбільш відповідних зображень у базі даних реальних об’єктів. Ці найбільш відповідні зображення використовуються як рефлексивні негативи.»

Цей підхід забезпечує, що отримані зображення внесуть відсутню інформацію у процес генерації, а не посилюють існуючі упередження моделі.

Зліва, отримане зображення-відповідь; в центрі, без RAG; праворуч, з використанням отриманого зображення.

Однак, залежність від якості отримання та покриття бази даних означає, що її ефективність може варіюватися залежно від наявності високоякісних посилань. Якщо відповідне зображення не існує у датасеті, модель все ще може боротися з незнайомими концепціями.

RealRAG – це дуже модульна архітектура, яка пропонує сумісність з кількома іншими генеративними архітектурами, включаючи U-Net, DiT та автoregressive моделі.

Загалом, отримання та обробка зовнішніх зображень додають обчислювальну складність, а продуктивність системи залежить від того, як добре механізм отримання узагальнює різні завдання та датасети.

Висновок

Це представницький, а не вичерпний огляд систем генерації зображень з підтримкою отримання. Деякі системи цього типу використовують отримання лише для поліпшення розуміння зору або кураторства датасетів, серед інших різних мотивів, а не для генерації зображень. Одним із прикладів є Internet Explorer.

Багато інших проектів RAG, інтегрованих у літературі, залишаються невипущеними. Прототипи з опублікованими дослідженнями включають Re-Imagen, який, незважаючи на походження з Google, може отримувати зображення лише з місцевої бази даних.

Крім того, у листопаді 2024 року Baidu оголосив про Image-Based Retrieval-Augmented Generation (iRAG), нову платформу, яка використовує отримані зображення «з бази даних». Хоча iRAG, як повідомляється, доступний на платформі Ernie, здається, немає жодних подальших деталей про цей процес отримання, який, як здається, залежить від місцевої бази даних (тобто місцевої для служби та недоступної користувачеві).

Крім того, у 2024 році була опублікована стаття Unified Text-to-Image Generation and Retrieval, яка пропонує ще один метод RAG для використання зовнішніх зображень для доповнення результатів під час генерації – знову ж таки з місцевої бази даних, а не з ад-хок джерел інтернету.

Зацікавленість у доповненні RAG у генерації зображень, ймовірно, буде зосереджена на системах, які можуть включати інтернет-зображення або зображення, завантажені користувачами, безпосередньо у процес генерації, а також дозволяють користувачам брати участь у виборі джерел зображень.

Однак, це є суттєвим викликом принаймні з двох причин; по-перше, тому, що ефективність таких систем зазвичай залежить від глибоко інтегрованих відносин, сформованих під час ресурсоємного процесу навчання; і по-друге, тому, що проблеми безпеки, легальності та авторських обмежень, як зазначено раніше, роблять цю функцію малоймовірною для API-орієнтованої веб-сервіси та комерційного розгортання в цілому.

* Джерело: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Перша публікація – вівторок, 4 лютого 2025