Покращення точності редакування зображень за допомогою штучного інтелекту

Хоча модель латентного розсіювання Adobe Firefly є однією з найкращих на сьогодні, користувачі Photoshop, які спробували її генеративні функції, помітили, що вона не може легко редагувати існуючі зображення – замість цього вона повністю замінює вибрану користувачем область на зображення, засноване на текстовому запиту користувача (хоча Firefly добре інтегрує отримане згенероване зображення в контексті зображення).

У поточній бета-версії Photoshop можна принаймні використати зображення-посилання як частковий візуальний запит, що дозволяє Adobe наздогнати функціональність, яку користувачі Stable Diffusion мають уже понад два роки, завдяки стороннім фреймворкам, таким як Controlnet:

Поточна бета-версія Adobe Photoshop дозволяє використовувати зображення-посилання при генерації нового контенту всередині вибраної області – хоча це зараз справа випадкова.

Це ілюструє відкриту проблему в дослідженні синтезу зображень – труднощі, з якими моделі розсіювання мають при редагуванні існуючих зображень без реалізації повномасштабної “переосмислення” вибраної користувачем області.

Хоча це розсіювання-засноване заповнення виконує запит користувача, воно повністю переосмислює предмет зображення, не беручи до уваги оригінальне зображення (крім зливання нового покоління з навколишнім середовищем). Джерело: https://arxiv.org/pdf/2502.20376

Ця проблема виникає через те, що моделі ЛДМ генерують зображення через ітеративне знищення шуму, де кожен етап процесу залежить від текстового запиту, наданого користувачем. З текстовим запитом, перетвореним на токени вкладення, і з гіпермасштабною моделлю, такою як Stable Diffusion або Flux, що містить сотні тисяч (або мільйони) майже відповідних вкладень, пов’язаних із запитом, процес має розрахований умовний розподіл для досягнення; і кожен крок є кроком до цього “умовного розподілу-цілі”.

Отже, це текст до зображення – сценарій, у якому користувач “сподівається на найкраще”, оскільки немає жодної гарантії, яким буде результат генерації.

Натомість багато хто намагається використовувати потужну генеративну здатність моделі ЛДМ для редагування існуючих зображень – але це передбачає баланс між вірністю та гнучкістю.

Коли зображення проєктується у латентний простір моделі за допомогою методів, таких як інверсія ДДІМ, метою є відновлення оригіналу якомога точніше, одночасно дозволяючи робити значимі редагування. Проблема полягає в тому, що чим точніше зображення відновлюється, тим більше модель дотримується своєї оригінальної структури, що робить важкими значимі зміни.

Аналогічно багатьом іншим розсіювання-заснованим фреймворкам редагування зображень, запропонованим за останні роки, архітектура Renoise має труднощі з внесенням будь-яких реальних змін у зовнішній вигляд зображення, із лише формальним вказанням на наявність галстука-бантика біля основи шиї кота.

З іншого боку, якщо процес пріоритезує редагування, модель послаблює свою хватку на оригіналі, роблячи його легшим для введення змін – але за рахунок загальної узгодженості з джерельним зображенням:

Місія виконана – але це перетворення, а не корекція, для більшості фреймворків редагування зображень, заснованих на штучному інтелекті.

Оскільки це проблема, яку навіть значні ресурси Adobe не можуть легко вирішити, ми можемо вважати, що ця проблема є суттєвою і може не мати простих рішень, якщо такі взагалі існують.

Тight Inversion

Отже, приклади в новій роботі, опублікованій цього тижня, привернули мою увагу, оскільки ця робота пропонує гідне та помітне покращення сучасного стану справ у цій галузі, доводячи здатність застосовувати тонкі та розвинені редагування до зображень, проєктованих у латентний простір моделі – без того, щоб редагування були незначними або перекривали оригінальний вміст джерельного зображення:

З застосуванням Tight Inversion до існуючих методів інверсії, вибрана область джерела розглядається значно більш детально, а перетворення відповідають оригінальному матеріалу, а не перекривають його.

Хобісти та практики моделей ЛДМ можуть впізнати такий результат, оскільки більша частина його може бути створена у складному робочому процесі за допомогою зовнішніх систем, таких як Controlnet і IP-Adapter.

Фактично новий метод – названий Tight Inversion – дійсно використовує IP-Adapter, а також спеціальну модель, засновану на обличчях, для зображень людей.

З оригінальної статті IP-Adapter 2023 року, приклади створення відповідних редагувань джерельного матеріалу. Джерело: https://arxiv.org/pdf/2308.06721

Відмінною особливістю Tight Inversion є те, що вона процілізувала складні техніки у єдиний модуль, який можна застосувати до існуючих систем, включаючи багато з найбільш популярних розподілів моделей ЛДМ.

Природно, це означає, що Tight Inversion (TI), як і допоміжні системи, які вона використовує, використовує джерельне зображення як умовний фактор для свого редагованого варіанту, а не спирається виключно на точні текстові запити:

Додаткові приклади здатності Tight Inversion застосовувати дійсно змішані редагування до джерельного матеріалу.

Хоча автори зазначають, що їхній підхід не вільний від традиційної та тривалої напруженості між вірністю та редагуванням у техніках редагування зображень, заснованих на розсіюванні, вони повідомляють про результати на рівні сучасного стану справ при введенні TI у існуючі системи, порівняно з базовою продуктивністю.

Нова робота називається Tight Inversion: Image-Conditioned Inversion for Real Image Editing, і походять від п’яти дослідників з Тель-Авівського університету та Snap Research.

Метод

Спочатку велика мова модель (LLM) використовується для генерації набору різноманітних текстових запитів, з яких генерується зображення. Потім застосовується інверсія ДДІМ до кожного зображення із трьома умовами тексту: текстовий запит, використаний для генерації зображення; скорочена версія того ж; і порожній (пустий) запит.

З поверненим шумом з цих процесів зображення знову генеруються з тією ж умовою, і без класифікаційної керованості (CFG).

Бали інверсії ДДІМ за різними метриками з різними умовами запиту.

Як ми бачимо з графіка вище, бали за різні метрики покращуються з збільшенням довжини тексту. Метриками, які використовувалися, були пікова відношення сигналу до шуму (PSNR); відстань Л2; структурний індекс подібності (SSIM); і вчена перцептивна подібність зображень (LPIPS).

Обізнаність про зображення

Відповідально Tight Inversion змінює спосіб, у який модель розсіювання редагує реальні зображення, умовляючи процес інверсії самим зображенням, а не спираючись виключно на текст.

Звичайно, при інверсії зображення у простір шуму моделі розсіювання потрібно оцінити початковий шум, який, при знищенні шуму, відновлює вхідне зображення. Стандартні методи використовують текстовий запит для керування цим процесом; але неідеальний запит може привести до помилок, втрати деталей або зміни структур.

Tight Inversion натомість використовує IP Adapter для введення візуальної інформації у модель, так що вона відновлює зображення з більшою точністю, перетворюючи джерельні зображення на умовні токени та проєктуючи їх у процес інверсії.

Ці параметри можна редагувати: збільшення впливу джерельного зображення робить відновлення майже ідеальним, тоді як зменшення дозволяє робити більш творчі зміни. Це робить Tight Inversion корисним як для тонких змін, таких як зміна кольору сорочки, так і для більш значимих редагувань, таких як заміна об’єктів – без звичайних побічних ефектів інших методів інверсії, таких як втрата тонких деталей або несподівані порушення у фоновому вмісті.

Автори зазначають:

‘Ми відзначаємо, що Tight Inversion можна легко інтегрувати з попередніми методами інверсії (наприклад, Edit Friendly DDPM, ReNoise) шляхом [заміни вбудованого ядра розсіювання на модель, змінену IP Adapter], [і] Tight Inversion послідовно покращує ці методи як з точки зору відновлення, так і з точки зору редагування.’

Дані та тести

Дослідники оцінили TI щодо його здатності відновлювати та редагувати реальні джерельні зображення. Усі експерименти використовували Stable Diffusion XL з розкладачем ДДІМ, як описано в оригінальній роботі Stable Diffusion; і всі тести використовували 50 кроків знищення шуму за замовчуванням з масштабом керування 7,5.

Для умовлення зображення використовувався IP-Adapter-plus sdxl vit-h. Для тестів з кількома кроками дослідники використовували SDXL-Turbo з розкладачем Ейлера, і також проводили експерименти з FLUX.1-dev, умовляючи модель у цьому випадку на PuLID-Flux, використовуючи RF-Inversion на 28 кроках.

PulID використовувався лише у випадках, що містять людські обличчя, оскільки це область, для якої PulID був навчений – і хоча це варто відзначити, що спеціалізована підсистема використовується для цього одного можливого типу запиту, наша надмірна зацікавленість у генерації людських облич свідчить про те, що спирається виключно на загальні ваги фундаментальної моделі, такої як Stable Diffusion, може бути недостатнім для стандартів, яких ми вимагаємо для цієї конкретної задачі.

Тести відновлення проводилися для якісної та кількісної оцінки. На зображенні нижче ми бачимо якісні приклади для інверсії ДДІМ:

Якісні результати для інверсії ДДІМ. Кожен рядок показує високо деталізоване зображення поряд з його відновленими версіями, причому кожен крок використовує все більш точні умови під час інверсії та знищення шуму. Чим точніше умовлення, тим вища якість відновлення. Правий стовпчик демонструє найкращі результати, де саме джерельне зображення використовується як умова, досягнувши найвищої вірності. CFG не використовувався на жодному етапі. Будь ласка, зверніться до джерельного документа для кращої роздільності та деталізації.

У роботі зазначається:

‘Ці приклади підкреслюють, що умовлення процесу інверсії на зображенні значно покращує відновлення у високо деталізованих регіонах.

‘Зокрема, у третьому прикладі [нижнього зображення] наш метод успішно відновлює татуювання на спині правого боксера. Крім того, поза ноги боксера зберігається більш точно, а татуювання на нозі стає видимим.’

Додаткові якісні результати для інверсії ДДІМ. Описові умови покращують інверсію ДДІМ, із умовленням зображення, що перевершує текст, особливо на складних зображеннях.

Автори також протестували Tight Inversion як модуль, який можна підключити до існуючих систем, порівнюючи модифіковані версії з їхньою базовою продуктивністю.

Три системи, які були протестовані, були інверсією ДДІМ та RF-Inversion; і також ReNoise, який має спільних авторів з роботою, яку ми обговорюємо. Оскільки результати інверсії ДДІМ не мають труднощів у досягненні 100% відновлення, дослідники зосередилися лише на редагуванні.

(Якісні результати зображень сформовані таким чином, що їх важко відтворити тут, тому ми звертаємося до читача до джерельного PDF для повнішої інформації та кращої роздільності)

Ліворуч, якісні результати відновлення для Tight Inversion з SDXL. Праворуч, відновлення з Flux. Розміщення цих результатів у опублікованій роботі робить їх важкими для відтворення тут, тому будь ласка зверніться до джерельного PDF для справжнього враження від різниць, отриманих.

Автори коментують:

‘Як показано, інтеграція Tight Inversion з існуючими методами послідовно покращує відновлення. Наприклад, наш метод точно відновлює поручень у лівому прикладі та людину у синій сорочці у правому прикладі [у фігурі 5 роботи].’

Автори також протестували систему кількісно. У відповідності з попередніми роботами, вони використали валідаційну вибірку MS-COCO, і зазначають, що результати (показані нижче) покращили відновлення за всіма метриками для всіх методів.

Порівняння метрик продуктивності систем з та без Tight Inversion.

Далі автори протестували здатність системи редагувати фотографії, порівнюючи її з базовими версіями попередніх підходів prompt2prompt; Edit Friendly DDPM; LED-ITS++; і RF-Inversion.

Нижче показані вибрані якісні результати роботи для SDXL та Flux (і ми звертаємося до читача до джерельного PDF для подальших прикладів).

Вибрані якісні результати (досить заплутані) поширені по всій роботі. Ми звертаємося до читача до джерельного PDF для кращої роздільності та значимої ясності.

Автори стверджують, що Tight Inversion послідовно перевершує існуючі техніки інверсії, досягнувши кращого балансу між відновленням та редагуванням. Стандартні методи, такі як інверсія ДДІМ та ReNoise, можуть добре відновити зображення, але часто мають труднощі з збереженням тонких деталей при застосуванні редагувань.

Натомість Tight Inversion використовує умовлення зображення, щоб закріпити вивід моделі ближче до оригіналу, запобігаючи нежаданим спотворенням. Автори стверджують, що навіть коли інші підходи створюють відновлення, які виглядають точними, введення редагувань часто призводить до артефактів або структурних несумісностей, і що Tight Inversion пом’якшує ці питання.

Нарешті, кількісні результати були отримані шляхом оцінки Tight Inversion проти MagicBrush бенчмарка, використовуючи інверсію ДДІМ та LEDITS++, виміряну за допомогою CLIP Sim.

Кількісні порівняння Tight Inversion проти MagicBrush бенчмарка.

Автори роблять висновок:

‘У обох графах компроміс між збереженням зображення та відповідністю цільовому редагуванню явно спостерігається.  Tight Inversion забезпечує кращий контроль над цим компромісом і краще зберігає вхідне зображення, одночасно відповідуючи редагуванню [запиту]. ‘

‘Відзначимо, що подібність CLIP понад 0,3 між зображенням та текстовим запитом вказує на правдоподібну відповідність між зображенням та запитом.’

Висновок

Хоча Tight Inversion не представляє собою “прорив” у одній з найскладніших проблем синтезу зображень, заснованого на моделях ЛДМ, воно консолідує ряд трудомістких допоміжних підходів у єдиний метод редагування зображень, заснований на штучному інтелекті.

Хоча напруженість між редагуванням та вірністю не зникла під цим методом, вона помітно зменшена, згідно з результатами, представленими. Враховуючи, що центральна проблема, яку ця робота вирішує, може виявитися в кінцевому підсумку нерозв’язною, якщо займатися нею на її власних умовах (а не дивитися за межі архітектур, заснованих на моделях ЛДМ, у майбутніх системах), Tight Inversion представляє собою бажане інкрементальне покращення сучасного стану справ.

Опубліковано вперше у п’ятницю, 28 лютого 2025 року