«Захищені» зображення насправді легше, а не важче, вкрадати за допомогою ІІ

Нові дослідження свідчать, що інструменти водяних знаків, призначені для блокування редакторів зображень ІІ, можуть мати зворотний ефект. Замість того, щоб зупиняти моделі типу Stable Diffusion від внесення змін, деякі засоби захисту насправді сприяють тому, щоб ІІ слідувала редакторським інструкціям ще ближче, роблячи небажані маніпуляції ще легшими.

Є помітна і міцна література в галузі комп’ютерного бачення, присвячена захисту авторських прав на зображення від навчання в моделях ІІ або використання в процесах генерації зображень. Системи цього типу一般но спрямовані на латентні дифузійні моделі (ЛДМ), такі як Stable Diffusion і Flux, які використовують шумові процедури для кодування та декодування зображень.

Вставляючи адверсарний шум в інакше нормальні зображення, можна зробити так, щоб детектори зображень неправильно визначали вміст зображення, і перешкоджали б системам генерації зображень використовувати дані, захищені авторським правом:

З наукової праці ‘Raising the Cost of Malicious AI-Powered Image Editing’, приклади джерельного зображення, «імунізованого» проти маніпуляцій (нижній ряд). Джерело: https://arxiv.org/pdf/2302.06588

Від часу реакції художників проти вільного використання Stable Diffusion веб-скрапованих зображень (включаючи захищені авторським правом зображення) у 2023 році, дослідницька спільнота створила численні варіації на одну й ту ж тему – ідею про те, що зображення можна «отруїти» проти використання в моделях ІІ або проти потрапляння в процеси генерації ІІ, не впливаючи негативно на якість зображення для середнього глядача.

У всіх випадках існує прямий зв’язок між інтенсивністю нав’язаного порушення, ступенем захисту зображення та ступенем того, наскільки зображення не виглядає так добре, як повинно:

Хоча якість дослідницької праці не повністю ілюструє проблему, більші кількості адверсарного порушення жертвують якістю за безпекою. Тут показано спектр порушень якості в проекті «Fawkes» 2020 року під керівництвом Чиказького університету. Джерело: https://arxiv.org/pdf/2002.08327

Особливим інтересом для художників, які бажають захистити свій стиль проти незаконного використання, є можливість таких систем не тільки затемнити ідентифікацію та інші відомості, але й «переконати» процес навчання ІІ в тому, що він бачить щось інше, ніж насправді бачить, щоб не утворювалися зв’язки між семантичними та візуальними областями для «захищених» навчальних даних (тобто, інструкції типу ‘У стилі Пола Клі):

Mist і Glaze – два популярні методи ін’єкції, здатні запобігти або хоча б сильно ускладнити спроби використання захищених стилів у робочих процесах ІІ та навчальних процедурах. Джерело: https://arxiv.org/pdf/2506.04394

Власна мета

Тепер нове дослідження в США виявило, що не тільки порушення можуть не захистити зображення, але й те, що додавання порушення може насправді поліпшити khả năng зображення бути використаним в процесах ІІ.

Дослідники заявляють:

‘У наших експериментах з різними методами захисту на основі порушень у різних областях (натуральні зображення та художні твори) та редакторських завданнях (генерація зображення в зображення та редагування стилю), ми виявили, що такий захист не досягає своєї мети повністю.

‘У більшості сценаріїв дифузійна редакція захищених зображень генерує бажаний вихідний образ, який точно відповідає керівним інструкціям.

‘Наші висновки свідчать, що додавання шуму до зображень може парадоксально збільшити їхню асоціацію з заданими текстовими інструкціями під час процесу генерації, що призводить до непередбачуваних наслідків, таких як кращі редаговані результати.

‘Отже, ми стверджуємо, що методи на основі порушень можуть не забезпечувати достатнього захисту для надійного захисту зображень проти дифузійної редакції.’

У тестах захищені зображення були піддані двом знайомим сценаріям редакції ІІ: прямій генерації зображення в зображення та переносу стилю. Ці процеси відображають звичайні способи, якими моделі ІІ можуть використати захищений контент, або безпосередньо змінюючи зображення, або запозичуючи його стилістичні особливості для використання в інших місцях.

Захищені зображення, вибрані зі стандартних джерел фотографій та художніх творів, були оброблені через ці канали, щоб побачити, чи можуть додані порушення блокувати або погіршувати редагування.

Замість цього наявність захисту часто здавалася тим, що підсилює відповідність моделі з інструкціями, виробляючи чисті та точні виходи, де очікувався певний рівень невдачі.

Автори радять, по суті, що такий популярний метод захисту може надавати помилкове відчуття безпеки, і що будь-який підхід до імунізації на основі порушень повинен бути ретельно протестований проти методів авторів.

Метод

Автори провели експерименти, використовуючи три методи захисту, які застосовують спеціально розроблені адверсарні порушення: PhotoGuard; Mist; і Glaze.

Glaze, одна з тестируваних авторами рамок, демонструє приклади захисту Glaze для трьох художників. Перші два стовпці показують оригінальні твори; третій стовпець показує результати імітації без захисту; четвертий, стилізовані версії, використані для оптимізації плаща, разом з назвою цільового стилю. П’ятий і шостий стовпці показують результати імітації з застосованим плащем на рівні порушення p = 0,05 та p = 0,1. Всі результати використовують моделі Stable Diffusion. https://arxiv.org/pdf/2302.04222

PhotoGuard був застосований до натуральних зображень, тоді як Mist і Glaze були використані на художніх творах (тобто, «художньо-стилізованих» областях).

Тести охоплювали як натуральні, так і художні зображення, щоб відобразити можливе використання в реальному світі. Ефективність кожного методу оцінювалася шляхом перевірки, чи може модель ІІ все ж таки виробляти реалістичні та інструкційно-відповідні редагування, працюючи з захищеними зображеннями; якщо вихідні зображення виглядали переконливими та відповідали інструкціям, захист вважався невдалим.

Stable Diffusion v1.5 був використаний як попередньо навчений генератор зображень для редакторських завдань дослідників. П’ять сиє були вибрані для забезпечення репродуктивності: 9222, 999, 123, 66 та 42. Всі інші налаштування генерації, такі як масштаб керівних інструкцій, сила та загальна кількість кроків, відповідали значеннями за замовчуванням, використовуваним у експериментах з PhotoGuard.

PhotoGuard був протестований на натуральних зображеннях за допомогою набору даних Flickr8k, який містить понад 8 000 зображень, спарених з до п’яти підписів кожне.

Протилежні думки

Було створено два набори модифікованих підписів з першого підпису кожного зображення за допомогою Claude Sonnet 3.5. Один набір містив інструкції, які були контекстно близькими до оригінальних підписів; інший набір містив інструкції, які були контекстно віддаленими.

Наприклад, з оригінального підпису ‘Молода дівчина в рожевій сукні йде в дерев’яну хатину’, близька інструкція буде ‘Молодий хлопець у синій сорочці йде в цегляний будинок’. Натомість, віддалена інструкція буде ‘Два коти лежать на дивані’.

Близькі інструкції були створені шляхом заміни іменників та прикметників на семантично подібні терміни; віддалені інструкції були створені шляхом інструктування моделі створити підписи, які були контекстно дуже відмінними.

Всі згенеровані підписи були перевірені вручну на якість та семантичну відповідність. Була використана Універсальна система кодування речень Google для розрахунку семантичних подібностей між оригінальними та модифікованими підписами:

З додаткового матеріалу, розподіли семантичних подібностей для модифікованих підписів, використаних у тестах Flickr8k. Графік зліва показує подібності для близьких підписів, в середньому близько 0,6. Графік справа показує розширені підписи, в середньому близько 0,1, що відображає більшу семантичну відстань від оригінальних підписів. Джерело: https://sigport.org/sites/default/files/docs/IncompleteProtection_SM_0.pdf

Кожне зображення разом зі своєю захищеною версією було відредаговано за допомогою обидвох близьких та віддалених інструкцій. Була використана Блінд/Референсна оцінка якості зображення для оцінки якості зображення:

Результати генерації зображення в зображення для натуральних фотографій, захищених PhotoGuard. Незважаючи на наявність порушень, Stable Diffusion v1.5 успішно слідувала як малим, так і великим семантичним змінам у редакторських інструкціях, виробляючи реалістичні виходи, які відповідали новим інструкціям.

Метрики

Для оцінки того, наскільки добре захист перешкоджає редакції ІІ, дослідники виміряли, наскільки точно отримані зображення відповідали інструкціям, використовуючи системи оцінювання, які порівнювали вміст зображення з текстовою інструкцією, щоб побачити, наскільки добре вони відповідають:

Для цього метрика CLIP-S використовує модель, яка може розуміти як зображення, так і текст, щоб перевірити, наскільки вони схожі, тоді як PAC-S++ додає додаткові зразки, створені ІІ, щоб привести порівняння ближче до людської оцінки:

Ці оцінки Image-Text Alignment (ITA) позначають, наскільки точно ІІ слідувала інструкціям при редагуванні захищеного зображення: якщо захищене зображення все ж таки призвело до високоспряженого вихідного зображення, це означало, що захист провалився у блокуванні редагування.

Ефект захисту на наборі даних Flickr8k через п’ять сиє, використовуючи обидва близькі та віддалені інструкції. Вихідна текстово-зображенева відповідність була виміряна за допомогою оцінок CLIP-S і PAC-S++.

Дослідники порівняли, наскільки добре ІІ слідувала інструкціям при редагуванні захищених зображень порівняно з незахищеними. Спочатку вони розглянули різницю між ними, звану Фактична зміна. Потім різницю було масштабовано, щоб створити Відсоткову зміну, що полегшувало порівняння результатів через численні тести.

Цей процес показав, чи захист робить редагування легшим чи важчим для ІІ. Тести були повторені п’ять разів за допомогою різних випадкових сиє, охоплюючи як малі, так і великі зміни до оригінальних підписів.

Атака мистецтва

Для тестів на натуральних фотографіях був використаний набір даних Flickr1024, який містить понад тисячу високоякісних зображень. Кожне зображення було відредаговано за допомогою інструкцій, які слідували шаблону: ‘Змінити стиль на [V]’, де [V] представляв один із семи знаменитих стилів мистецтва: Кубізм; Постімпресіонізм; Імпресіонізм; Сюрреалізм; Бароко; Фовізм; і Ренесанс.

Процес включав застосування PhotoGuard до оригінальних зображень, генерацію захищених версій, а потім проходження як захищених, так і незахищених зображень через один і той же набір стилістичних редагувань:

Оригінальні та захищені версії натурального зображення, кожне відредаговане для застосування стилів Кубізму, Сюрреалізму та Фовізму.

Для тестування методів захисту на художніх творах був виконаний стилістичний перехід на зображеннях з набору даних WikiArt, який кураторує широкий спектр художніх стилів. Редакторські інструкції слідували тому ж шаблону, що й раніше, інструктуючи ІІ змінити стиль на випадково вибраний, не пов’язаний стиль, вибраний з міток WikiArt.

Обидва методи захисту Glaze і Mist були застосовані до зображень перед редагуванням, що дозволило дослідникам спостерігати, наскільки добре кожна оборона могла блокувати або спотворювати результати стилістичного перехіду:

Приклади того, як методи захисту впливають на стилістичний перехід на художніх творах. Оригінальне барокове зображення показано поряд з версіями, захищеними методами Mist і Glaze. Після застосування стилістичного перехіду в стилі Кубізму можна побачити відмінності в тому, як кожен метод захисту змінює кінцевий результат.

Дослідники провели кількісні порівняння:

Зміни оцінок відповідності зображення та тексту після стилістичних редагувань.

З цих результатів автори коментують:

‘Результати підкреслюють значну обмеженість адверсарних порушень для захисту. Замість того, щоб заважати відповідності, адверсарні порушення часто підвищують реакцію генеративної моделі на інструкції, випадково дозволяючи порушникам створювати виходи, які відповідають їхнім цілям. Такий захист не заважає процесу редагування зображень і може не бути здатним запобігти використанню незаконного матеріалу.

‘Непередбачувані наслідки використання адверсарних порушень розкривають вразливості існуючих методів і підкреслюють термінову необхідність більш ефективних методів захисту.’

Автори пояснюють, що несподівані результати можна простежити до того, як працюють дифузійні моделі: ЛДМ редагують зображення, спочатку перетворюючи їх у стиснуту версію, звану латентним; шум потім додається до цього латентного через багато кроків, поки дані не стають майже випадковими.

Модель повертає цей процес під час генерації, видаляючи шум крок за кроком. На кожному етапі цього повернення текстова інструкція допомагає керувати тим, як шум повинен бути видалений, поступово формуючи зображення, щоб воно відповідало інструкції:

Порівняння генерацій з незахищеного зображення та зображення, захищеного PhotoGuard, з проміжними латентними станами, перетвореними назад у зображення для візуалізації.

Методи захисту додають невеликі кількості додаткового шуму до оригінального зображення перед тим, як воно вступає в цей процес. Хоча ці порушення є незначними на початку, вони накопичуються, коли модель застосовує свої власні шари шуму.

Цей накопичення залишає більше частин зображення «невизначеними», коли модель починає видаляти шум. З більшим невизначенням модель більше спирається на текстову інструкцію, щоб заповнити відсутні деталі, надаючи інструкції великого впливу, ніж вони мали б звичайно.

Фактично, захист робить його легшим для ІІ змінити зображення, щоб воно відповідало інструкції, а не складніше.

Нарешті, автори провели тест, який замінив створені порушення з наукової праці «Raising the Cost of Malicious AI-Powered Image Editing» на чистий гауссовський шум.

Результати слідували тому ж шаблону, що й раніше: у всіх тестах значення Відсоткової зміни залишилися позитивними. Навіть цей випадковий, неструктурований шум призвів до сильнішої відповідності між згенерованими зображеннями та інструкціями.

Ефект симульованого захисту за допомогою гауссовського шуму на наборі даних Flickr8k.

Це підтвердило основне пояснення, що будь-який доданий шум, незалежно від його конструкції, створює більшу невизначеність для моделі під час генерації, дозволяючи текстовій інструкції мати ще більший контроль над кінцевим зображенням.

Висновок

Дослідницька спільнота доволі довго намагається вирішити проблему авторських прав для ЛДМ за допомогою адверсарних порушень; однак не з’явилося жодного стійкого рішення з величезної кількості опублікованих робіт на цю тему.

Або нав’язані порушення надмірно знижують якість зображення, або ці закономірності виявляються нестійкими до маніпуляцій та трансформаційних процесів.

Однак це складна мрія, яку потрібно відмовитися, оскільки альтернативою здається моніторинг та рамки довіри, такі як схема C2PA, яку очолює Adobe, яка намагається підтримувати ланцюг володіння зображеннями від датчика камери, але не має жодного внутрішнього зв’язку з зображуваним змістом.

У будь-якому випадку, якщо адверсарні порушення насправді роблять проблему гіршою, як вказує нова праця, можна задуматися, чи пошуки захисту авторських прав такими засобами належать до «алхімії».

Опубліковано вперше в понеділок, 9 червня 2025 року