Визначення джерел даних Deepfake за допомогою тегування на основі штучного інтелекту

Співробітництво між дослідниками в Китаї, Сінгапурі та США призвело до створення стійкої системи для “маркування” фотографій облич, настільки стійкої, що ідентифікуючі маркери не знищуються під час процесу створення deepfake, відкриваючи шлях для заяв про порушення прав інтелектуальної власності, які можуть суттєво обмежити можливість систем синтезу зображень “анонімізувати” незаконно витягнуті джерела даних.

Система, названа FakeTagger, використовує процес кодування/декодування для вкладення візуально нерозрізнимих ідентифікуючих даних у зображення на достатньо низькому рівні, щоб вбудовані дані були інтерпретовані як суттєві характеристики обличчя, і, отже, передавалися через процеси абстракції цілісними, так само, як, наприклад, дані про очі чи рот.

Огляд архітектури FakeTagger. Джерельні дані використовуються для генерації ‘надлишкової’ характеристики обличчя, ігноруючи фонову інформацію, яка буде маскована через типовий процес створення deepfake. Повідомлення можна відновити на іншому кінці процесу та ідентифікувати за допомогою відповідного алгоритму розпізнавання. Джерело: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Дослідження проведено в Школі кібербезпеки та інженерії Ухань, Ключовій лабораторії аерокосмічної інформації та довірчих обчислень Міністерства освіти Китаю, компанії Alibaba Group у США, Північно-Східному університеті Бостона та Наньянському технологічному університеті Сінгапуру.

Експериментальні результати з FakeTagger показують рівень повторної ідентифікації до майже 95% для чотирьох типових методологій створення deepfake: обмін ідентичністю (тобто DeepFaceLab, FaceSwap); повторне виконання обличчя; редагування атрибутів; і повна синтез.

Недоліки виявлення Deepfake

Хоча за останні три роки з’явилося багато нових підходів до методологій виявлення deepfake, всі ці підходи ґрунтуються на виправних недоліках процесів створення deepfake, таких як блиск в очах у недообучених моделях, і відсутність моргання у ранніх deepfake з недостатньо різноманітними наборами облич. Коли виявляються нові ключі, вільні та відкриті джерела програмного забезпечення усувають їх, або свідомо, або як побічний продукт покращення методів створення deepfake.

Нова стаття зауважує, що найефективніший пост-фактний метод виявлення, отриманий з останнього конкурсу виявлення deepfake Facebook (DFDC), обмежений 70% точністю щодо виявлення deepfake в дикій природі. Дослідники приписують цю репрезентативну невдачу поганій узагальненості проти нових і інноваційних систем генерації зображень на основі ГАН і кодувальників/декодувальників, а також часто поганій якості заміни deepfake.

У другому випадку це може бути викликано низькоякісною роботою deepfake, або артефактами стиснення, коли відео завантажуються на платформи обміну, які намагаються обмежити витрати на пропускну здатність, і再кодують відео з суттєво нижчими швидкостями біт, ніж подання. Іронічно, що ця деградація зображення не заважає очевидній автентичності deepfake, а фактично може посилити ілюзію, оскільки відео deepfake підпадає під загальний, низькоякісний візуальний ідом, який сприймається як автентичний.

Стійке маркування як допомога інверсії моделі

Визначення джерел даних з виводу моделей машинного навчання – це відносно нова і зростаюча галузь, і вона робить можливим нову епоху судових процесів, заснованих на правах інтелектуальної власності, оскільки чинні дозвільні правила збору інформації з екрана (розроблені для того, щоб не стримувати національну дослідницьку перевагу в умовах глобальної “гонки озброєння” штучного інтелекту) еволюціонують у суворіші законодавчі акти, оскільки галузь стає комерціалізованою.

Інверсія моделі займається відображенням і ідентифікацією джерел даних з виводу, згенерованого синтезними системами в кількох галузях, включаючи генерацію природної мови (NLG) і синтез зображень. Інверсія моделі особливо ефективна для повторної ідентифікації облич, які були розмиті, пікселізовані або пройшли через процес абстракції генеративної суперрозрізнювальної мережі або системи кодувальника/декодувальника, такої як DeepFaceLab.

Додавання цілевого маркування до нових або існуючих зображень обличчя – це потенційна нова допомога технікам інверсії моделі, з водяними знаками як новою галуззю.

Пост-фактне маркування

FakeTagger призначений як пост-процесний підхід. Наприклад, коли користувач завантажує фото на соціальну мережу (що зазвичай включає певний процес оптимізації та рідко прямий і неушкоджений перехід оригінального зображення), алгоритм обробляє зображення для застосування передбачуваних незнищенних характеристик до обличчя.

Альтернативно, алгоритм можна застосувати до історичних колекцій зображень, як це stalo кілька разів за останні двадцять років, коли великі сайти зображень та комерційних зображень шукали методи для визначення змісту, який був повторно використаний без дозволу.

FakeTagger намагається вкладати відновлювані ідентифікуючі характеристики з різних процесів створення deepfake.

Розробка та тестування

Дослідники протестували FakeTagger проти кількох програмних застосунків для створення deepfake по чотирьом вищезгаданим підходам, включаючи найбільш використовуваний репозиторій DeepFaceLab; Face2Face Стенфордського університету, який може передавати вирази обличчя через зображення та ідентичності; і STGAN, який може редагувати атрибути обличчя.

Тестування проводилось з CelebA-HQ, популярним публічним репозиторієм, який містить 30 000 зображень облич знаменитостей різної роздільності до 1024 x 1024 пікселів.

Як базовий рівень, дослідники спочатку протестували традиційні техніки водяних знаків зображень, щоб побачити, чи виживуть накладені теги під час процесів створення deepfake, але ці методи не пройшли жодного з чотирьох підходів.

Вбудовані дані FakeTagger були введені на стадії кодування у зображення обличчя за допомогою архітектури, заснованої на U-Net конволюційній мережі для сегментації біомедичних зображень, випущеної в 2015 році. Надалі розділ декодера框架 був навчений знаходити вбудовані дані.

Процес був випробуваний у симуляторі ГАН, який використовував вищезгадані вільні та відкриті застосунки/алгоритми, у чорній скриньці без дискретного або спеціального доступу до робочих процесів кожної системи. Випадкові сигнали були прикріплені до зображень знаменитостей і записані як пов’язані дані з кожним зображенням.

У чорній скриньці FakeTagger зміг досягти точності понад 88,95% за чотири підходи застосунків. У паралельному білому скриньці сценарії точність зросла майже до 100%. Однак, оскільки це припускає майбутні ітерації програмного забезпечення для створення deepfake, яке включає FakeTagger безпосередньо, це малоймовірний сценарій у найближчому майбутньому.

Підрахунок витрат

Дослідники зауважують, що найскладнішим сценарієм для FakeTagger є повна синтез зображень, така як генерація абстрактних зображень на основі CLIP, оскільки вхідні дані для навчання піддаються найглибшим рівням абстракції в такому випадку. Однак це не стосується процесів створення deepfake, які домінували в заголовках за останні кілька років, оскільки вони залежать від вірної репродукції ідентифікуючих характеристик обличчя.

Стаття також зауважує, що противники-атакувачі можуть спробувати додати перешкоди, такі як штучний шум і зернистість, щоб обманути таку систему маркування, хоча це, ймовірно, матиме негативний вплив на автентичність виводу deepfake.

Крім того, вони зауважують, що FakeTagger потрібно додавати надлишкові дані до зображень, щоб забезпечити виживання вкладених тегів, і що це може мати суттєву обчислювальну вартість у масштабі.

Автори висновують, що FakeTagger може мати потенціал для відстеження походження в інших галузях, таких як противні атаки дощу та інші типи атак, заснованих на зображенні, такі як противні експозиційні атаки, туман, розмиття, вігнетування і колірне змішування.

, і що це може мати суттєву обчислювальну вартість у масштабі.
Автори висновують, що FakeTagger може мати потенціал для відстеження походження в інших галузях, таких як атаки на зображення, і що це може мати суттєву обчислювальну вартість у масштабі.