Кодування зображень проти використання в системах глибокого підфакту та синтезу зображень

Найбільш відомим напрямком дослідження в галузі боротьби з глибокими підробками є системи, які можуть розпізнавати артефакти або інші особливості глибоких підробок, синтезованих або інших підроблених чи “відредагованих” облич у відео- та зображеннях.

Такі підходи використовують різні тактики, включаючи виявлення глибини, перебої в освітленні монітора, відмінності в освітленні монітора (у потенційно глибоких підроблених відеодзвінках), біометричні ознаки, зовнішні області обличчя, і навіть приховані сили підсвідомої системи людини.

Що ці, і подібні методи мають спільного, то те, що в момент їх застосування, центральні механізми, з якими вони борються, вже були успішно навчені на тисячах, або сотнях тисяч зображень, взятих з інтернету – зображень, з яких автокодувальні системи можуть легко вивести ключові ознаки і створити моделі, які можуть точно накладати фальшиву ідентичність на відеозаписи або синтезовані зображення – навіть в реальному часі.

Коротко кажучи, коли такі системи стають активними, кінь уже втечав.

Зображення, ворожі архітектурам глибокого підфакту/синтезу

Відповідно до більш профілактичного підходу до загрози глибоких підробок і синтезу зображень, менш відомим напрямком дослідження в цій галузі є можливість зробити всі ці джерельні фотографії не дружніми до систем синтезу зображень штучного інтелекту, зазвичай незначними, або майже незначними способами.

Приклади включають FakeTagger, пропозицію 2021 року від різних інститутів у США та Азії, яка кодує повідомлення в зображення; ці кодування стійкі до процесу узагальнення і можуть бути відновлені навіть після того, як зображення були взяті з інтернету і навчені в Генеративній суперницькій мережі (GAN) типу, найбільш відомої за thispersondoesnotexist.com, і її багатьма похідними.

FakeTagger кодує інформацію, яка може пережити процес узагальнення при навчанні GAN, що робить можливим знати, чи конкретне зображення внесло свій внесок у генеративні можливості системи. Джерело: https://arxiv.org/pdf/2009.09869.pdf

Для ICCV 2021 інша міжнародна спроба встановила штучні відбитки для генеративних моделей, (див. зображення нижче) які знову дають відновлювані “відбитки” з виходу синтезу зображень GAN, такого як StyleGAN2.

ЕVEN під різних екстремальних маніпуляцій, обрізання і заміни обличчя, відбитки, передані через ProGAN, залишаються відновлюваними. Джерело: https://arxiv.org/pdf/2007.08457.pdf

Інші ітерації цієї концепції включають 2018 проект від IBM і цифрову систему водяних знаків того ж року, з Японії.

Більш інноваційно, 2021 ініціатива від Наньїнського університету аеронавтики і астронавтики намагалася “зашифрувати” тренувальні зображення таким чином, щоб вони могли бути ефективними тільки на авторизованих системах, але провалилися б катастрофічно, якщо були б використані як джерельні дані в загальному тренувальному процесі синтезу зображень.

Ефективно всі ці методи належать до категорії стеганографії, але в усіх випадках унікальна ідентифікуюча інформація в зображеннях повинна бути закодована як така “ознака” зображення, що немає жодного шансу, що автокодувальна архітектура або GAN-архітектура відкине такі відбитки як “шум” або неважливу інформацію, а навпаки закодує її разом з іншими ознаками обличчя.

Водночас процес не повинен бути допущений до того, щоб спотворити або іншим чином візуально вплинути на зображення так, що воно буде сприйматися випадковими глядачами як дефектне або низької якості.

TAFIM

Тепер нова німецька дослідницька робота (від Технічного університету Мюнхена і Sony Europe RDC Stuttgart) запропонувала техніку кодування зображень, за допомогою якої моделі глибоких підробок або фреймворки типу StyleGAN, навчені на оброблених зображеннях, будуть давати незадовільний синій або білий вихід, відповідно.

TAFIM’s низькорівневі порушення зображення адресують кілька можливих типів викривлення/заміни обличчя, змушуючи моделі, навчені на цих зображеннях, давати спотворений вихід, і, як повідомляють автори, застосовуються навіть в реальних сценаріях, таких як потокове передавання глибоких підробок в реальному часі DeepFaceLive. Джерело: https://arxiv.org/pdf/2112.09151.pdf

Стаття стаття, озаглавлена TAFIM: Цільові атаки на маніпуляції з обличчями, використовує нейронну мережу для кодування майже непомітних порушень у зображення. Після того, як зображення були навчені і узагальнені в архітектуру синтезу, отримана модель буде давати спотворений вихід для вхідної ідентичності, якщо буде використана в стилевому змішуванні або прямій заміні обличчя.

Перекодування інтернету..?

Однак у цьому випадку ми не розглядаємо деталі і архітектуру останньої версії цієї популярної концепції, а радше розглядаємо практичність всієї ідеї – особливо в світлі зростаючої суперечки про використання відкрито доступних зображень для потужних систем синтезу зображень, таких як Stable Diffusion, і подальших юридичних наслідків розробки комерційного програмного забезпечення на основі вмісту, який може (хоча б в деяких юрисдикціях) в кінцевому підсумку виявитися юридично захищеним проти використання в архітектурах синтезу штучного інтелекту.

Профілактичні, кодувальні підходи типу тих, що описані вище, мають свою ціну. Як мінімум, вони потребують встановлення нових і розширених процедур стиснення у стандартних веб-орієнтованих бібліотеках обробки, таких як ImageMagick, які забезпечують велику кількість процесів завантаження, включаючи багато інтерфейсів завантаження в соціальних мережах, призначених для перетворення надмірних оригінальних зображень користувачів у оптимізовані версії, більш придатні для легкого обміну і мережевого розподілу, а також для здійснення перетворень, таких як обрізання, і інших доповнень.

Основне питання, яке це викликає, полягає в тому, чи буде така схема реалізована “вперед”, або буде здійснена ширша і ретроспективна розгортка, яка адресує історичні медіа, які могли бути доступні, “неушкоджені”, протягом десятиліть?

Платформи, такі як Netflix, не проти витрат на перекодування свого архіву з новими кодеками, які можуть бути більш ефективними або можуть забезпечити користувачеві або постачальнику певні вигоди; подібно до того, як YouTube перетворив свою історичну контент на кодек H.264, очевидно, для забезпечення сумісності з Apple TV, логістично монументальна задача, не була визнана надто складною, незважаючи на масштаб.

Іронічно, навіть якщо великі частини медіа-контенту в інтернеті будуть підлягати перекодуванню у формат, який опирається навчанню, обмежена група впливових наборів даних комп’ютерного зору залишається неушкодженою. Однак, як припускають, системи, які використовують їх як джерельні дані, починають знижувати якість виходу, оскільки позначені водяними знаками дані будуть перешкоджати архітектурам трансформації.

Політичний конфлікт

У політичному сенсі існує певна напруженість між рішучістю урядів не відставати в розвитку штучного інтелекту і зробити поступки громадській турботі про використання відкрито доступних аудіо-, відео- і зображень в інтернеті як багатого ресурсу для трансформаційних систем штучного інтелекту.

Офіційно західні уряди схильні до лібералізму щодо здатності сектора комп’ютерного зору використовувати відкрито доступні медіа, не в останню чергу тому, що деякі більш авторитарні азійські країни мають більшу свободу формування своїх робочих процесів таким чином, щоб це вигідно їхнім власним дослідницьким зусиллям – лише один з факторів, який показує, що Китай стає глобальним лідером у сфері штучного інтелекту.

У квітні 2022 року Апеляційний суд США підтвердив, що публічні дані в інтернеті є справедливою грою для дослідницьких цілей, незважаючи на тривалі протести LinkedIn, який бажає, щоб його профіль користувача був захищений від таких процесів.

Якщо штучно стійкі зображення не будуть системно стандартними, нічого не заважає деяким з найбільших джерел тренувальних даних реалізувати такі системи, щоб їхній власний вихід став неродючим у латентному просторі.

Основним фактором у таких компаній-специфічних розгортаннях є те, що зображення повинні бути вроджено стійкими до навчання. Техніки блокчейну і рухи, такі як Ініціатива автентичності контенту, більше зайняті доведенням того, що зображення були підроблені або “стильовані”, а не запобіганням механізмам, які роблять такі трансформації можливими.

Касуальна інспекція

Хоча були запропоновані пропозиції щодо використання блокчейну для автентифікації справжньої походження і вигляду джерельного зображення, яке пізніше було включено в тренувальний набір даних, це не перешкоджає навчанню зображень або не надає жодного способу довести, з виходу таких систем, що зображення були включені в тренувальний набір даних.

У підході до водяних знаків, щоб виключити зображення з навчання, було б важливо не покладатися на те, що джерельні зображення впливового набору даних будуть відкрито доступні для інспекції. У відповідь на виступи художників щодо ліберального використання їхньої роботи Stable Diffusion, веб-сайт haveibeentrained.com дозволяє користувачам завантажувати зображення і перевіряти, чи були вони ймовірно включені в LAION5B набір даних, який живить Stable Diffusion:

‘Lenna’, буквально дівчина-постер для комп’ютерного зору до недавнього часу, безумовно, є учасником Stable Diffusion. Джерело: https://haveibeentrained.com/

Однак, майже всі традиційні набори даних глибоких підробок, наприклад, взяті з витягнутих відео і зображень в інтернеті в не публічні бази даних, де тільки деякий вид нейронно-стійкого водяного знаку міг би викрити використання конкретних зображень для створення похідних зображень і відео.

Далі, користувачі Stable Diffusion починають додавати контент – або через доопрацювання (продовження навчання офіційної моделі з додатковими зображенням/текстовими парами) або Текстову інверсію, яка додає один конкретний елемент або людину – який не з’явиться в жодному пошуку через мільярди зображень LAION.

Вбудовування водяних знаків на джерелі

Ще більш екстремальне потенційне застосування джерельного водяного знакування зображень полягає в тому, щоб включити приховану і неочевидну інформацію в суровий вихід відео- або зображень комерційних камер. Хоча концепція була експериментально реалізована і навіть впроваджена з певною силою на початку 2000-х років як відповідь на виниклу “загрозу” мультимедійного піратства, принцип технічно застосовний також для того, щоб зробити медіа-контент стійким або неприйнятним для систем навчання штучного інтелекту.

Одна реалізація, запропонована в патентній заяві кінця 1990-х років, пропонувала використовувати дискретні косинусні перетворення для вбудовування стеганографічних “підзображень” у відео і статичні зображення, припускаючи, що процедура могла б бути “включеною як вбудована функція для цифрових пристроїв запису, таких як статичні і відеокамери”.

У патентній заяві кінця 1990-х років Lenna наділена прихованими водяними знаками, які можуть бути відновлені за необхідності. Джерело: https://www.freepatentsonline.com/6983057.pdf

Менш складний підхід полягає в тому, щоб накладати явні водяні знаки на зображення на рівні пристрою – функція, яка неприваблива для більшості користувачів, і зайва для художників і професійних медіа-практиків, які можуть захистити джерельні дані і додати таку брендингову або заборонну інформацію, яку вони вважають за потрібне (не в останню чергу, компанії зі стокових зображень).

Хоча хоча б одна камера зараз дозволяє накладати логотипні водяні знаки, які могли б сигналізувати про несанкціоноване використання в похідній моделі штучного інтелекту, видалення логотипів через штучний інтелект стає досить тривіальним, і навіть комерціалізованим.

Перша публікація 25 вересня 2022 року.