Менші глибокі підробки можуть бути більшим загрозою

Інструменти розмовного штучного інтелекту, такі як ChatGPT і Google Gemini, тепер використовуються для створення глибоких підробок, які не міняють обличчя, а змінюють історію всередині зображення більш тонкими способами. Зміна жестів, реквізиту та фону цих редакцій обманюють як системи виявлення штучного інтелекту, так і людей, підвищуючи ставки для визначення того, що є реальним в Інтернеті.

У поточному кліматі, особливо після значимих законодавчих актів, таких як закон TAKE IT DOWN, багато з нас асоціюють глибокі підробки та штучно створену ідентичність з неповажним штучним порно та політичною маніпуляцією – загалом, грубими спотвореннями правди.

Це звикає нас очікувати, що штучно змінені зображення завжди будуть прагнути до високих ставок змісту, де якість рендерингу та маніпуляція контекстом можуть досягти успіху в короткостроковій перспективі.

Історично ж більш тонкі зміни часто мали більш зловісний і тривалий ефект – наприклад, фотографічні трюки, які дозволяли Сталіну видалити тих, хто впав у немилість, з фотографічного запису, як це було висміяно в романі Джорджа Орвелла 1984, де головний герой Вінстон Сміт проводить свої дні, переписуючи історію та створюючи, знищуючи і “виправляючи” фотографії.

У наведеному нижче прикладі проблема з другою картиною полягає в тому, що ми “не знаємо, чого не знаємо” – тобто колишній голова секретної поліції Сталіна Микола Єжов займав місце, де тепер знаходиться тільки бар’єр безпеки:

Тепер ти бачиш його, тепер його немає… Сталінська фотографічна маніпуляція видаляє з історії незаконого члена партії. Джерело: публічний домен, через https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Такі течії, багаторазово повторювані, зберігаються у багатьох аспектах; не тільки культурно, а й у комп’ютерному баченні, яке виводить тенденції з статистично домінантних тем і мотивів у навчальних наборах даних. Як приклад, той факт, що смартфони знизили бар’єр для входу та значно знизили вартість фотографії, означає, що їх іконографія стала невід’ємно пов’язаною з багатьма абстрактними поняттями, навіть коли це не доречно.

Якщо звичайне створення глибоких підробок можна сприймати як акт “нападу”, то пернicious і тривалі незначні зміни в аудіовізуальних засобах масової інформації більше схожі на “газлайтинг”. Крім того, можливість того, що такий вид створення глибоких підробок може пройти непоміченим, робить його важким для виявлення за допомогою сучасних систем виявлення глибоких підробок (які шукають грубі зміни). Цей підхід більше схожий на воду, яка роз’їдає скелю протягом тривалого періоду, ніж на камінь, спрямований у голову.

Мультивсесвіт глибоких підробок

Дослідники з Австралії зробили спробу звернути увагу на відсутність уваги до “тонких” глибоких підробок у літературі, створивши значний новий набір даних із маніпуляціями зображеннями, орієнтованими на людей, які змінюють контекст, емоції та розповідь без зміни основної ідентичності суб’єкта:

Вибірка з нового зібрання, реальні/фальшиві пари, з деякими змінами більш тонкими, ніж інші. Наприклад, втрачена влада азіатської жінки, нижче праворуч, коли її стетоскоп лікаря видаляється штучним інтелектом. Водночас заміна блокнота лікаря на кліпборд не має очевидної семантичної точки зору. Джерело: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Названий Мультивсесвіт глибоких підробок, колекція складається з 845 826 зображень, згенерованих за допомогою моделей мови та зору (VLM), які можна отримати онлайн і завантажити, з дозволу.

Автори заявляють:

‘Цей підхід, керований VLM, дозволяє здійснити семантичні, контекстно-чутливі зміни, такі як зміна дій, сцен та взаємодій людини з об’єктами, а не синтетичні або низькорівневі зміни ідентичності та регіональні редагування, які є поширеними в існуючих наборах даних.’

‘Наші експерименти показують, що сучасні системи виявлення глибоких підробок і люди мають труднощі з виявленням цих тонких, але значимих маніпуляцій.’

Дослідники протестували людей і провідні системи виявлення глибоких підробок на своєму новому наборі даних, щоб побачити, як добре ці тонкі маніпуляції можуть бути визначені. Люди мали труднощі, правильно класифікуючи зображення як реальні або фальшиві лише близько 62% часу, і мали ще більшу трудність у визначенні, які частини зображення були змінені.

Існуючі детектори глибоких підробок, навчені в основному на більш очевидних наборах даних з заміною облич або інпейнтінгом, також показали погані результати, часто не реєструючи жодних маніпуляцій. Навіть після тонкої настройки на Мультивсесвіт глибоких підробок, показники виявлення залишилися низькими, демонструючи, як погано сучасні системи обробляють ці тонкі, пов’язані з розповіддю редагування.

Нова робота опублікована під назвою Мультивсесвіт через глибокі підробки: Набір даних Мультивсесвіт глибоких підробок про візуальні та концептуальні маніпуляції, орієнтовані на людей, і надійшла від п’яти дослідників з Університету Монаша в Мельбурні та Університету Куртін у Перті. Код і пов’язані дані були випущені на GitHub, крім хостингу Hugging Face, згаданого раніше.

Метод

Набір даних Мультивсесвіт глибоких підробок був створений з чотирьох реальних наборів зображень, що зображують людей у різних ситуаціях: EMOTIC; PISC, PIPA і PIC 2.0. Починаючи з 86 952 оригінальних зображень, дослідники створили 758 041 маніпульованих версій.

Gemini-2.0-Flash і ChatGPT-4o були використані для пропозиції шести мінімальних редагувань для кожного зображення – редагувань, призначених для тонкої зміни того, як найбільш помітна людина на зображенні буде сприйнята глядачем.

Моделі були інструктовані генерувати зміни, які зробили б суб’єкт наївним, гордим, кающимся, недосвідченим або безтурботним, або змінити деякий фактичний елемент у сцені. Разом з кожним редагуванням моделі також створили відносну експресію, щоб чітко ідентифікувати ціль зміни, забезпечуючи подальший процес редагування застосував зміни до правильної людини або об’єкта всередині зображення.

Автори уточнюють:

‘Примітка, що відносна експресія – це широко досліджувана галузь у спільноті, яка означає фразу, яка може роз’яснити ціль у зображенні, наприклад, для зображення з двома чоловіками, що сидять за столом, один говорить по телефону, а інший переглядає документи, підходящою відносною експресією для останнього буде чоловік ліворуч, який тримає аркуш паперу.’

Як тільки редагування були визначені, фактичне маніпулювання зображенням було здійснено за допомогою моделей мови та зору, які застосовували вказані зміни, залишаючи решту сцени цілою. Дослідники протестували три системи для цього завдання: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; і ICEdit.

Після генерації двадцяти двох тисяч зразкових зображень Gemini-2.0-Flash виявився найбільш послідовним методом, створюючи редагування, які природно вписувалися в сцену без введення видимих артефактів; ICEdit часто створював більш очевидні підробки з помітними дефектами у змінених регіонах; і GPT-Image-1 іноді впливав на ненавмисні частини зображення, частково через його відповідність фіксованим співвідношенням сторін виходу.

Аналіз зображень

Кожне маніпульоване зображення було порівняно зі своїм оригіналом, щоб визначити, яку частину зображення було змінено. Розраховано розходження на рівні пікселів між двома версіями, з фільтрацією малих випадкових шумів, щоб зосередитися на значимих редагуваннях. У деяких зображеннях змінювалися лише дрібні ділянки; в інших до вісімдесяти відсотків сцени було змінено.

Для оцінки того, як змінилося значення кожного зображення після цих змін, були згенеровані підписи для оригінальних і маніпульованих зображень за допомогою моделі мови та зору ShareGPT-4V.

Ці підписи були потім перетворені на вкладення за допомогою Long-CLIP, що дозволило порівняти, наскільки зміст відрізнявся між версіями. Найбільші семантичні зміни спостерігалися в випадках, коли об’єкти поблизу або безпосередньо пов’язані з людиною були змінені, оскільки ці дрібні зміни могли суттєво змінити інтерпретацію зображення.

Gemini-2.0-Flash був потім використаний для класифікації типу маніпуляції, застосованої до кожного зображення, на основі місця та способу редагування. Маніпуляції були згруповані в три категорії: редагування рівня людини включали зміни виразу обличчя суб’єкта, пози, погляду, одягу або інших особистих ознак; редагування рівня об’єкта впливали на об’єкти, пов’язані з людиною, такі як об’єкти, які вони тримали або взаємодіяли з ними на передньому плані; і редагування рівня сцени включали фонові елементи або ширші аспекти середовища, які не безпосередньо стосувалися людини.

Поток генерації набору даних Мультивсесвіт глибоких підробок починається з реальних зображень, де моделі мови та зору пропонують пов’язані з розповіддю редагування, орієнтовані на людей, об’єкти чи сцени. Ці інструкції потім застосовуються моделями редагування зображень. Права панель показує розподіл редагувань рівня людини, рівня об’єкта та рівня сцени по всьому наборі даних. Джерело: https://arxiv.org/pdf/2506.00868

Оскільки окремі зображення могли містити кілька типів редагувань одночасно, розподіл цих категорій був відображений по всьому набору даних. Приблизно одна третина редагувань була орієнтована лише на людину, близько однієї п’ятої частини впливала лише на сцену, і близько однієї шостої частини була обмежена об’єктами.

Оцінка сприйняття

Gemini-2.0-Flash був використаний для оцінки того, як маніпуляції можуть змінити сприйняття глядача в шести областях: емоції, особиста ідентичність, динаміка влади, нарратив сцени, інтент маніпуляції і етичні проблеми.

Для емоцій редагування часто описувалися термінами, такими як радісні, захоплюючі або доступні, що свідчить про зміни в тому, як суб’єкти були емоційно представлені. У розповідному плані слова, такі як професійний або різний, вказували на зміни в імпліцитній історії або середовищі:

Gemini-2.0-Flash був запрограмований для оцінки того, як кожна маніпуляція вплинула на шість аспектів сприйняття глядача. Зліва: приклад структури запиту, що керує оцінкою моделі. Справа: хмари слів, що підсумовують зміни в емоціях, ідентичності, розповіді сцени, інтенті, динаміці влади та етичних проблемах по всьому наборі даних.

Описи змін ідентичності включали терміни, такі як молодший, грайливий і вразливий, показуючи, як дрібні зміни могли впливати на сприйняття окремих осіб. Інтент багатьох редагувань був позначений як переконливий, обманний або естетичний. Хоча більшість редагувань були оцінені як такі, що викликають лише легкі етичні проблеми, дрібна частина була розглянута як така, що має помірні або серйозні етичні наслідки.

Приклади з Мультивсесвіту глибоких підробок, що показують, як дрібні редагування зміщують сприйняття глядача. Жовті рамки виділяють змінені ділянки, з супроводжуючим аналізом змін емоцій, ідентичності, розповіді та етичних проблем.

Метрики

Візуальна якість колекції Мультивсесвіт глибоких підробок була оцінена за трьома стандартними метриками: Піковий коефіцієнт сигнал-шум (PSNR); Індекс структуальної подібності (SSIM); і Відстань Фреше-Інсепшн (FID):

Бали якості зображень для Мультивсесвіту глибоких підробок, виміряні за PSNR, SSIM і FID.

Рейтинг SSIM у 0,5774 відображає помірний рівень подібності, що відповідає меті збереження більшої частини зображення при застосуванні цільових редагувань; рейтинг FID у 3,30 свідчить про те, що згенеровані зображення зберігають високу якість і різноманітність; і значення PSNR у 66,30 децибел вказує на те, що зображення зберігають хорошу візуальну відрізність після маніпуляцій.

Дослідження користувачів

Було проведено дослідження користувачів, щоб побачити, як добре люди можуть виявляти тонкі підробки в Мультивсесвіті глибоких підробок. Вісімнадцять учасників побачили п’ятдесят зображень, рівномірно розділених між реальними та маніпульованими прикладами, що охоплювали ряд типів редагувань. Кожна людина була просита класифікувати, чи є зображення реальним чи фальшивим, і, якщо фальшивим, визначити, який тип маніпуляції було застосовано.

Загальна точність визначення реального чи фальшивого зображення склала 61,67 відсотка, що означає, що учасники неправильно класифікували зображення понад одну третину часу.

Автори заявляють:

‘Аналіз людських прогнозів рівнів маніпуляцій для фальшивих зображень показав, що середнє перехоплення між передбачуваними та фактичними рівнями маніпуляцій становило 24,96%. ‘

‘Це показує, що для людських спостерігачів не тривіально визначити ділянки маніпуляцій у нашому наборі даних.’

Створення набору даних Мультивсесвіт глибоких підробок вимагало значних обчислювальних ресурсів: для генерації інструкцій редагування було зроблено понад 845 000 запитів до моделей Gemini і GPT, а ці завдання коштували близько 1000 доларів; генерація зображень на основі Gemini коштувала приблизно 2867 доларів; а генерація зображень за допомогою GPT-Image-1 коштувала близько 200 доларів. Зображення ICEdit були створені локально на GPU NVIDIA A6000, завершивши завдання за приблизно двадцять чотири години.

Тести

Перед тестами набір даних був розділений на навчальні, валідні та тестові набори шляхом вибору 70% реальних зображень для навчання; 10% для валідації; і 20% для тестування. Маніпульовані зображення, згенеровані з кожного реального зображення, були призначені до того ж набору, що і відповідне оригінальне зображення.

Додаткові приклади реального (зліва) та зміненого (праворуч) вмісту з набору даних.

Результати виявлення підробок були оцінені за допомогою точності на рівні зображень (чи система правильно класифікує все зображення як реальне або фальшиве) та балів F1. Для визначення маніпульованих ділянок оцінка проводилася за допомогою площі під кривою (AUC), балів F1 та перехоплення (IoU).

Набір даних Мультивсесвіт глибоких підробок був застосований до провідних систем виявлення глибоких підробок на повному тестовому наборі, з суперницькими рамками CnnSpot; AntifakePrompt; TruFor; і заснованою на моделі мови та зору SIDA. Кожна модель була спочатку оцінена в zero-shot режимі, використовуючи її оригінальні попередньо натреновані ваги без подальших корректировок.

Дві моделі, CnnSpot і SIDA, були потім тонко налаштовані на навчальних даних Мультивсесвіту глибоких підробок, щоб оцінити, чи покращення результатів після повторної настройки.

Результати виявлення глибоких підробок на Мультивсесвіті глибоких підробок у zero-shot та тонко налаштованих умовах. Числа в дужках показують зміни після тонкої настройки.

З цих результатів автори заявляють:

‘[Моделі] навчені на попередніх наборах даних з інпейнтінгом борються з ідентифікацією наших VLM-редагувань, зокрема CNNSpot схильна класифікувати майже всі зображення як реальні. AntifakePrompt має найкращу zero-shot продуктивність з 66,87% середньої класової точності та 55,55% балів F1. ‘

‘Після тонкої настройки на наш навчальний набір ми спостерігаємо покращення продуктивності як у CNNSpot, так і у SIDA-13B, причому CNNSpot перевершує SIDA-13B за середню класову точність (на 1,92%) та бал F1 (на 1,97%).’

SIDA-13B був оцінений на Мультивсесвіті глибоких підробок, щоб виміряти, наскільки точно він міг локалізувати маніпульовані ділянки всередині кожного зображення. Модель була протестована в своєму оригінальному стані та після тонкої настройки на наборі даних.

У своєму оригінальному стані вона досягла коефіцієнта перехоплення 13,10, балів F1 19,92 та площі під кривою 14,06, що свідчить про слабку локалізаційну продуктивність.

Після тонкої настройки оцінки покращилися до 24,74 для коефіцієнта перехоплення, 39,40 для балів F1 та 37,53 для площі під кривою. Однак навіть після додаткової настройки модель все ще мала труднощі з виявленням точних місць редагувань, підкреслюючи, наскільки складно виявити ці види малих, цільових змін.

Висновок

Нове дослідження розкриває сліпоту як у людському, так і в машинному сприйнятті: хоча велика частина публічної дискусії про глибокі підробки зосереджена на замінах облич, ці більш тихі “нарративні редагування” складніше виявити та потенційно більш корозійні в довгостроковій перспективі.

З появою систем, таких як ChatGPT і Gemini, які відіграють更加 активну роль у створенні такого типу вмісту, і з тим, як ми самі більш активно беремо участь у зміні реальності наших власних потоків фотографій, моделі виявлення, які покладаються на виявлення грубих маніпуляцій, можуть пропонувати недостатню оборону.

Мультивсесвіт глибоких підробок демонструє не те, що виявлення глибоких підробок зазнало невдачі, а те, що принаймні частина проблеми може переходити у більш складну, повільніше рухому форму: одну, де дрібні візуальні брехні накопичуються непоміченими.

Вперше опубліковано четвер, 5 червня 2025