Візуальні інструменти дизайну та моделі мови бачення мають широке застосування в галузі мультимедіа. Незважаючи на значний прогрес у останні роки, для роботи з цими інструментами все ще потрібне глибоке розуміння. Для підвищення доступності та контролю галузь мультимедіа все частіше приймає методи редагування зображень на основі текстових інструкцій. Ці методи використовують природні мовні команди замість традиційних регіональних масок або складних описів, що дозволяє здійснювати більш гнучке та контрольоване маніпулювання зображеннями. Однак методи на основі інструкцій часто надають короткі вказівки, які можуть бути складними для існуючих моделей повністю схопити та виконати. Крім того, дифузійні моделі, відомі своєю здатністю створювати реалістичні зображення, знаходяться у великому попиті в секторі редагування зображень.

Крім того, Великомасштабні мовні моделі (MLLM) продемонстрували вражаючі результати у завданнях, пов’язаних із генерацією візуально-відчутливих відповідей та міжмодальним розумінням. MLLM-редагування зображень (MGIE) – це дослідження, яке бере свій початок у MLLM, що оцінює їхні можливості та аналізує, як вони підтримують редагування через текстові інструкції. Цій підхід включає навчання для надання явних вказівок та виведення виразних інструкцій. Модель редагування MGIE comprends візуальну інформацію та здійснює редагування через навчання з кінцевими кінцями. У цій статті ми глибоко зануримося у MGIE, оцінюючи його вплив на глобальну оптимізацію зображень, модифікації у стилі Photoshop та локальне редагування. Ми також обговоримо значення MGIE у завданнях редагування зображень на основі інструкцій, які залежать від виразних інструкцій. Почнімо наше дослідження.

MLLM-редагування зображень або MGIE: Введення

Великомасштабні мовні моделі та дифузійні моделі – два з найбільш широко використовуваних框ок AI та ML, які зараз мають вражаючі генеративні можливості. З одного боку, у вас є дифузійні моделі, які найкраще відомі тим, що створюють високо реалістичні та візуально привабливі зображення, тоді як з іншого боку, у вас є великомасштабні мовні моделі, які відомі своєю винятковою здатністю генерувати широкий спектр контенту, включаючи текст, мову, мовлення та зображення/відео.

Дифузійні моделі міняють латентні міжмодальні карти для виконання візуальної маніпуляції, яка відображає зміну вхідної ціліової підписі, і вони також можуть використовувати керовану маску для редагування певної області зображення. Але головна причина, чому дифузійні моделі широко використовуються для мультимедіа-застосунків, полягає в тому, що вони використовують підхід редагування на основі інструкцій, який дозволяє користувачам виражати, як редагувати зображення, безпосередньо за допомогою текстових інструкцій або команд. Далі, великомасштабні мовні моделі не потребують представлення, оскільки вони продемонстрували значний прогрес у широкому спектрі мовних завдань, включаючи підсумовування тексту, машинний переклад, генерацію тексту та відповіді на питання. MLLM зазвичай тренуються на великій та різноманітній кількості тренувальних даних, що наділяє їх візуальною креативністю та знаннями, дозволяючи їм виконувати кілька завдань мови бачення. Будуючи на основі MLLM, MLLM або великомасштабні мовні моделі можуть використовувати зображення як природні вхідні дані та надавати відповідні візуально-відчутливі відповіді.

З тим сказаним, хоча дифузійні моделі та рамки MLLM широко використовуються для завдань редагування зображень, існують деякі проблеми з керуванням текстовими інструкціями, які заважають загальному виконанню, що призводить до розробки MGIE або MLLM-редагування зображень,框ок AI, який складається з дифузійної моделі та моделі MLLM, як показано на наступному зображенні.

У рамках архітектури MGIE дифузійна модель тренується з кінцевими кінцями для виконання редагування зображення з латентною уявою цілевої мети, тоді як рамка MLLM вчиться передбачати точні виразні інструкції. Разом дифузійна модель та рамка MLLM використовують внутрішнє візуальне виведення, що дозволяє їм звертатися до неоднозначних людських команд, що призводить до реалістичного редагування зображень, як показано на наступному зображенні.

Фреймворк MGIE черпає великий досвід з двох існуючих підходів: Редагування зображень на основі інструкцій та великомасштабні мовні моделі бачення.

Редагування зображень на основі інструкцій може значно покращити доступність та контрольованість візуальної маніпуляції, дотримуючись людських команд. Існують два основних фреймворки, використовувані для редагування зображень на основі інструкцій: фреймворки GAN та дифузійні моделі. GAN або генеративні адверсарні мережі здатні змінювати зображення, але обмежені певними доменами або виробляють нереалістичні результати. З іншого боку, дифузійні моделі з великомасштабним тренуванням можуть контролювати міжмодальні карти уваги для глобальних карт, щоб досягти редагування зображень та перетворення. Редагування на основі інструкцій працює шляхом отримання прямих команд як вхідних даних, часто не обмежених регіональними масками та складними описами. Однак існує ймовірність того, що надані інструкції є або неоднозначними, або недостатньо точними для виконання інструкцій для завдань редагування.

Великомасштабні мовні моделі бачення відомі своїми текстовими генеративними та узагальнюючими можливостями у різних завданнях, і вони часто мають міцне текстове розуміння, і можуть далі генерувати виконувані програми або псевдокод. Ця здатність великомасштабних мовних моделей дозволяє MLLM сприймати зображення та надавати адекватні відповіді, використовуючи візуальне співставлення з налаштуванням інструкцій, з недавніми моделями, які приймають MLLM для генерації зображень, пов’язаних із чатом або вхідним текстом. Однак те, що відрізняє MGIE від MLLM або VLLM, полягає в тому, що, хоча останні можуть генерувати зображення, відмінні від вхідних даних, з нуля, MGIE використовує можливості MLLM для покращення можливостей редагування зображень з виведеними інструкціями.

MGIE: Архітектура та методологія

Традиційно великомасштабні мовні моделі використовувалися для завдань генерації природної мови. Але з тих пір, як MLLM стали популярними, LLM були наділені можливістю надавати розумні відповіді, сприймаючи зображення вхідних даних. Звичайно, великомасштабна мовна модель ініціалізується з попередньо тренованої LLM, і вона містить візуальний кодувальник та адаптер для витягування візуальних функцій та проєктування візуальних функцій у мовну модальність відповідно. Оwing до цього, фреймворк MLLM здатний сприймати візуальні вхідні дані, хоча вивід все ще обмежений текстом.

Пропонований фреймворк MGIE спрямований на вирішення цієї проблеми та забезпечення можливості MLLM редагувати вхідне зображення у вихідне зображення на основі заданої текстової інструкції. Для досягнення цього фреймворк MGIE містить MLLM та тренується для виведення лаконічних та виразних текстових інструкцій. Крім того, фреймворк MGIE додає спеціальні зображенні токени у свою архітектуру для зв’язку між візуальною та мовною модальністю, і приймає редагування голови для перетворення модальностей. Ці модальності служать латентною візуальною уявою з великомасштабної мовної моделі, і керують дифузійною моделлю для виконання завдань редагування. Фреймворк MGIE здатний виконувати візуальні завдання сприйняття для розумного редагування зображень.

Лаконічні виразні інструкції

Традиційно великомасштабні мовні моделі можуть надавати візуально-пов’язані відповіді зі своїм міжмодальним сприйняттям через налаштування інструкцій та функцій співставлення. Для редагування зображень фреймворк MGIE використовує текстовий сигнал як основний мовний вхід з зображенням, і виводить детальний опис для команди редагування. Однак ці описи можуть часто бути надто довгими або містити повторювані описи, що призводить до неправильного тлумачення намірів, що змушує MGIE застосувати попередньо тренований підсумовувач для отримання лаконічних оповідань, дозволяючи MLLM генерувати підсумовані виводи. Фреймворк вважає лаконічні, але виразні вказівки виразними інструкціями, і застосовує крос-ентропійну втрату для тренування великомасштабної мовної моделі з використанням вчителя.

Використання виразних інструкцій надає більш конкретну ідею порівняно з текстовою інструкцією, оскільки воно зв’язує розрив для розумного редагування зображень, підвищуючи ефективність фреймворка ще більше. Крім того, фреймворк MGIE під час періоду висновку виводить лаконічні виразні інструкції замість генерації довгих оповідань та залежності від зовнішньої підсумовки. Оwing до цього, фреймворк MGIE здатний сприйняти візуальну уяву намірів редагування, але все ще обмежений мовною модальністю. Для подолання цього перешкоди модель MGIE додає певну кількість візуальних токенів після виразної інструкції з тренованими словесними вкладеннями, що дозволяє MLLM генерувати їх за допомогою своєї голови мови.

Редагування зображень з латентною уявою

На наступному етапі фреймворк MGIE приймає редагування голови для перетворення інструкції зображення у фактичне візуальне керівництво. Редагування голови – це послідовність до послідовності модель, яка допомагає у відображенні послідовних візуальних токенів з MLLM у значущі латентні семантично як його керівництво редагування. Для того, щоб бути більш конкретним, перетворення над словесними вкладеннями можна інтерпретувати як загальне представлення у візуальній модальності, і використовує компонент візуальної уявлення з інстансовою свідомістю для намірів редагування. Крім того, для керування редагуванням зображень з візуальною уявою фреймворк MGIE вкладає латентну дифузійну модель у свою архітектуру, яка включає варіаційний автоенкодер та звертається до денойзингу дифузії у латентному просторі. Основною метою латентної дифузійної моделі є генерація латентної мети з збереженням латентного вхідного даних та дотриманням керівництва редагування. Процес дифузії додає шум до латентної мети через регулярні інтервали часу, і рівень шуму збільшується з кожним кроком часу.

Навчання MGIE

Наступна фігура підсумовує алгоритм процесу навчання пропонованого фреймворка MGIE.

Як можна бачити, MLLM вчиться виводити лаконічні виразні інструкції за допомогою втрати інструкції. Використовуючи латентну уяву з вхідних інструкцій зображення, фреймворк перетворює модальність голови редагування, і керує латентною дифузійною моделлю для синтезу вихідного зображення, і застосовує втрату редагування для тренування дифузії. Нарешті, фреймворк заморожує більшу частину вагів, що призводить до параметрично-ефективного тренування з кінцевими кінцями.

MGIE: Результати та оцінка

Фреймворк MGIE використовує набір даних IPr2Pr як свій основний попередньо-тренований набір даних, і він містить понад 1 мільйон даних, фільтрованих за допомогою CLIP, з інструкціями, витягнутими з моделі GPT-3, і моделлю Prompt-to-Prompt для синтезу зображень. Крім того, фреймворк MGIE розглядає фреймворк InsPix2Pix, побудований на основі текстового кодувальника CLIP з дифузійною моделлю, як свій базовий фреймворк для завдань редагування зображень на основі інструкцій. Крім того, модель MGIE також бере до уваги фреймворк редагування зображень, керований LLM, прийнятий для виразних інструкцій з вхідних даних тільки інструкцій, але без візуального сприйняття.

Кількісний аналіз

Наступна фігура підсумовує результати редагування у нульовій установці з моделями, тренованими тільки на наборі даних IPr2Pr. Для даних GIER та EVR, що включають модифікації у стилі Photoshop, виразні інструкції можуть розкрити конкретні цілі замість неоднозначних команд, що дозволяє результатам редагування краще відповідати намірам редагування.

Хоча обидві моделі LGIE та MGIE тренуються на тих самих даних, що й модель InsPix2Pix, вони можуть надавати детальні описи через навчання з великою мовною моделлю, але все ж таки LGIE обмежена однією модальністю. Крім того, фреймворк MGIE може надавати значний приріст продуктивності, оскільки він має доступ до зображень, і може використовувати ці зображення для виведення явних інструкцій.

Для оцінки продуктивності у завданнях редагування зображень на основі інструкцій для конкретних цілей розробники дофільтровують кілька моделей на кожному наборі даних, як підсумовується у наступній таблиці.

Як можна бачити, після адаптації завдань редагування у стилі Photoshop для EVR та GIER моделі демонструють приріст продуктивності. Однак варто зазначити, що оскільки дофільтрування робить виразні інструкції більш домен-специфічними, фреймворк MGIE свідчить про масовий приріст продуктивності, оскільки він також вчиться домен-пов’язаному керівництву, що дозволяє дифузійній моделі демонструвати конкретні редаговані сцени з дофільтрованої великомасштабної мовної моделі, що приносить користь як локальній модифікації, так і локальній оптимізації. Крім того, оскільки візуально-відчутнє керівництво більш узгоджене з намірами редагування, фреймворк MGIE надає кращі результати послідовно порівняно з LGIE.

Наступна фігура демонструє оцінку CLIP-S через вхідні або фактичні зображення мети та виразні інструкції. Вищий бал CLIP вказує на відповідність інструкцій з джерелом редагування, і як можна бачити, MGIE має вищий бал CLIP порівняно з моделлю LGIE через вхідні та вихідні зображення.

Якість результатів

Наступне зображення досконало підсумовує якісний аналіз фреймворка MGIE.

Як ми знаємо, фреймворк LGIE обмежений однією модальністю через те, що він має мовне сприйняття, і схильний виводити неправильні або неважливі описи для редагування зображення. Однак фреймворк MGIE є багатомодальним, і з доступом до зображень, він завершує завдання редагування, і надає явну візуальну уяву, яка добре узгоджується з метою.

Фінальні думки

У цій статті ми говорили про MGIE або MLLM-редагування зображень, дослідження, яке бере свій початок у MLLM, що оцінює їхні можливості та аналізує, як вони підтримують редагування через текстові інструкції, вивчаючи, як вони виводять явні вказівки та виразні інструкції одночасно. Модель редагування MGIE comprends візуальну інформацію та здійснює редагування через навчання з кінцевими кінцями. Замість неоднозначних та коротких вказівок фреймворк MGIE генерує явні візуально-відчутні інструкції, що призводить до розумного редагування зображень.