Використання людської уваги для покращення зображень, згенерованих штучним інтелектом

Нові дослідження китайських вчених пропонують метод покращення якості зображень, згенерованих моделями Latent Diffusion Models (LDMs), такими як Stable Diffusion.

Метод фокусується на оптимізації відмінних регіонів зображення – областей, які найімовірніше привернуть людську увагу.

Нові дослідження показали, що карти салєнції (четвертий стовпець зліва) можна використовувати як фільтр або «маску» для керування фокусом уваги в процесах денойзингу в напрямку областей зображення, які люди найімовірніше звернуть увагу. Джерело: https://arxiv.org/pdf/2410.10257

Традиційні методи оптимізують ціле зображення рівномірно, тоді як новий підхід використовує детектор салєнції для визначення та пріоритезації більш «важливих» регіонів, як це роблять люди.

У кількісних та якісних тестах метод дослідників зміг перевершити попередні моделі на основі дифузії, як за якістю зображення, так і за вірністю текстовим підказкам.

Новий підхід також показав найкращі результати в тесті сприйняття людини з 100 учасниками.

Природний добір

Салєнція, здатність пріоритезувати інформацію в реальному світі та в зображеннях, є необхідною частиною людського зору.

Простий приклад цього – підвищена увага до деталей, яку класичне мистецтво присвоює важливим областям картини, таким як обличчя в портреті або щогли корабля в морському сюжеті; в таких прикладах увага художника зосереджується на центральній темі, тобто широкі деталі, такі як фон портрета або віддалені хвилі шторму, більш приблизні та широкі, ніж детальні.

Інформовані людськими дослідженнями, методи машинного навчання виникли за останні десять років, які можуть відтворювати або至少 приблизно наближатися до людського фокусу інтересу в будь-якому зображенні.

Об’єктна сегментація (семантична сегментація) може бути допоміжним засобом для індивідуалізації аспектів зображення та розробки відповідних карт салєнції. Джерело: https://arxiv.org/pdf/1312.6034

У ході дослідницької літератури найбільш популярним детектором карт салєнції за останні п’ять років був ініціативою 2016 року Gradient-weighted Class Activation Mapping (Grad-CAM), який пізніше еволюціонував у покращену систему Grad-CAM++, серед інших варіантів та удосконалень.

Grad-CAM використовує активацію градієнта семантичного токена (такого як «собака» або «кіт») для створення візуальної карти того, де концепція або анотація, ймовірно, представлена в зображенні.

Приклади з оригінальної статті Grad-CAM. У другому стовпці спрямована назад пропагація індивідуалізує всі внескові особливості. У третьому стовпці семантичні карти намальовані для двох концепцій «собака» і «кіт». Четвертий стовпець представляє конкатенацію попередніх двох висновків. П’ятий – окулюючу (маскуючу) карту, яка відповідає висновку; і, нарешті, у шостому стовпці візуалізація Grad-CAM шару ResNet-18.

Людські опитування щодо результатів, отриманих цими методами, показали відповідність між цими математичними індивідуаціями ключових інтересних точок у зображенні та людською увагою (під час сканування зображення).

SGOOL

Нова робота стаття розглядає, що салєнція може принести до систем текст-до-зображення (та, потенційно, текст-до-відео) таких як Stable Diffusion і Flux.

При інтерпретації текстової підказки користувача моделі Latent Diffusion розширюють свій навчений латентний простір для вивчених візуальних концепцій, які відповідають словам або фразам, використаним у підказці. Потім вони обробляють ці знайдені дані через денойзинговий процес, де випадковий шум поступово розвивається у творчу інтерпретацію текстової підказки користувача.

На цьому етапі, однак, модель надає рівну увагу кожній окремій частині зображення. З моменту популяризації моделей дифузії у 2022 році, з запуском доступної Dall-E генераторів зображень, та подальшим відкриттям стабільної дифузії, користувачі виявили, що «важливі» секції зображення часто недооцінюються.

Враховуючи, що у типовому зображенні людини обличчя людини (яке є максимальної важливості для глядача) займає не більше 10-35% всього зображення, цей демократичний метод розподілу уваги працює проти природи людського сприйняття та історії мистецтва та фотографії.

Коли кнопки на джинсах людини отримують таку ж обчислювальну вагу, як і очі, розподіл ресурсів можна назвати неоптимальним.

Отже, новий метод, запропонований авторами, названий Оптимізація дифузійних латентів, керованих салєнцією (SGOOL), використовує детектор салєнції для збільшення уваги до зазначених областей зображення, присвоюючи менше ресурсів секціям, які, ймовірно, залишаться на периферії уваги глядача.

Метод

Потік SGOOL включає генерацію зображення, карту салєнції та оптимізацію, із загальним зображенням та зображенням, розділеним на салєнцію, обробленим спільно.

Концептуальна схема для SGOOL.

Вбудовані латентні моделі дифузії оптимізуються безпосередньо з тонкою настройкою, що усуває необхідність тренувати окрему модель. Метод Деноізингової дифузійної імпліцитної моделі (DDIM) Стенфордського університету, знайомий користувачам Stable Diffusion, адаптований для включення додаткової інформації, наданої картами салєнції.

У статті зазначається:

‘Ми спочатку використовуємо детектор салєнції для імітації людської системи уваги та позначення салєнційних регіонів. Для уникнення тренування додаткової моделі наш метод безпосередньо оптимізує дифузійні латенти.

‘Крім того, SGOOL використовує оберненний процес дифузії та наділяє його перевагами постійної реалізації пам’яті. Отже, наш метод стає параметро-ефективним та методом тонкої настройки, який можна підключити та використати. Було проведено широкомасштабні експерименти з декількома метриками та оцінками людини.’

Оскільки цей метод вимагає кількох ітерацій процесу денойзингу, автори прийняли пряму оптимізацію дифузійних латентів (DOODL), який забезпечує обернений процес дифузії – хоча він все ж таки застосовує увагу до всього зображення.

Для визначення областей людського інтересу дослідники використали.framework TransalNet університету Данді 2022 року.

Приклади виявлення салєнції з проекту TransalNet 2022 року. Джерело: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Салєнційні регіони, оброблені TransalNet, були потім обрізані для генерації остаточних салєнційних секцій, які найімовірніше будуть цікаві для людей.

Різниця між текстовою підказкою користувача та зображенням повинна бути врахована при визначенні функції втрат, яка може визначити, чи працює процес. Для цього була використана версія CLIP (Contrastive Language–Image Pre-training) від OpenAI, разом із урахуванням оціненої семантичної відстані між текстовою підказкою та глобальним (не-салєнційним) виходом зображення.

Автори стверджують:

‘[Остаточна функція втрат] стосується відносин між салєнційними частинами та глобальним зображенням одночасно, що допомагає збалансувати локальні деталі та глобальну узгодженість у процесі генерації.

‘Ця салєнційно-обізнана функція втрат використовується для оптимізації латентного зображення. Градієнти обчислюються на шумному [латентному] та використовуються для посилення умовної дії вхідної підказки на салєнційні та глобальні аспекти вихідного згенерованого зображення.’

Дані та тести

Для тестування SGOOL автори використали «ванільний» розподіл Stable Diffusion V1.4 (позначений як «SD» у результатах тестів) та Stable Diffusion з керівництвом CLIP (позначений як «базовий» у результатах).

Система була оцінена проти трьох публічних наборів даних: CommonSyntacticProcesses (CSP), DrawBench та DailyDallE*.

Останній містить 99 розвинених підказок від художника, представленого в одному з блог-постів OpenAI, тоді як DrawBench пропонує 200 підказок у 11 категоріях. CSP складається з 52 підказок, заснованих на восьми різноманітних граматичних випадках.

Для SD, базового та SGOOL у тестах модель CLIP використовувалася над ViT/B-32 для генерації зображення та текстових вкладень. Той самий проміжок та випадковий насіння використовувалися. Розмір виходу був 256×256, а використовувалися стандартні ваги та налаштування TransalNet.

Крім метрики оцінки CLIP, був використаний оцінений індекс людської переваги (HPS), а також реальний тест з 100 учасниками.

Кількісні результати порівняння SGOOL з попередніми конфігураціями.

Відносно кількісних результатів, зображених у таблиці вище, у статті зазначається:

‘[Наша] модель значно перевершує SD та базовий варіант на всіх наборах даних за метриками CLIP та HPS. Середні результати нашої моделі за метрикою CLIP та HPS на 3,05 та 0,0029 вищі, ніж у другого місця, відповідно.’

Автори далі оцінили графіки розсіювання HPS та оцінок CLIP щодо попередніх підходів:

Графіки розсіювання для HPS та оцінок CLIP, отриманих у тестах.

Вони коментують:

‘Чітко видно, що наша модель перевершує інші моделі, що вказує на те, що наша модель більш здатна генерувати зображення, які відповідають підказкам.

‘Однак у графіку розсіювання важко візуалізувати порівняння через розмір цієї метрики оцінки [0, 1]. Тому ми продовжимо малювати відповідні графіки.’

‘Чітко видно, що SGOOL перевершує SD та базовий варіант на всіх наборах даних за метриками CLIP та HPS. Кількісні результати демонструють, що наша модель може генерувати більш семантично узгоджене та людсько-відповідне зображення.’

Дослідники відзначають, що хоча базова модель能够 покращити якість виходу зображення, вона не враховує салєнційні області зображення. Вони стверджують, що SGOOL, досягнувши компромісу між глобальною та салєнційною оцінкою зображення, отримує кращі зображення.

У якісних (автоматичних) порівняннях кількість оптимізацій була встановлена на 50 для SGOOL та DOODL.

Якісні результати тестів. Будь ласка, зверніться до джерельної статті для кращої роздільності.

Тут автори відзначають:

‘У першому рядку предметами підказки є “кіт, який співає” та “барбершоп-квартет”. У зображенні, згенерованому SD, чотири коти, а зміст зображення погано узгоджується з підказкою.

‘Кіт ігнорується у зображенні, згенерованому базовою моделлю, а також відсутня деталізація обличчя та деталей у зображенні. DOODL намагається згенерувати зображення, яке відповідає підказці.

‘Однак оскільки DOODL оптимізує глобальне зображення безпосередньо, особи у зображенні оптимізуються до кота.’

Вони далі відзначають, що SGOOL, навпаки, генерує зображення, які краще відповідають оригінальній підказці.

У тесті людського сприйняття 100 добровольців оцінювали тестові зображення за якістю та семантичною узгодженістю (тобто, наскільки вони відповідали своїй текстовій підказці). Учасники мали необмежений час для вибору.

Результати тесту людського сприйняття.

Як зазначається у статті, метод авторів значно перевершує попередні підходи.

Висновок

Не довго після того, як недоліки, розглянуті в цій статті, стали очевидними в локальних установках Stable Diffusion, різні спеціалізовані методи (наприклад, After Detailer) виникли для примусу системи застосовувати додаткову увагу до областей, які були більшої людської зацікавленості.

Однак такий підхід вимагає, щоб система спочатку пройшла через свій звичайний процес застосування рівної уваги до кожної частини зображення, з додатковою роботою, виконаною на додатковому етапі.

Докази з SGOOL свідчать про те, що застосування базової людської психології до пріоритезації секцій зображення може суттєво покращити первинний висновок без післяобробних кроків.

* Стаття надає той самий посилання для цього, як і для CommonSyntacticProcesses.

Опубліковано вперше у середу, 16 жовтня 2024 року