JPEG AI розмитнює межу реальністю та синтетичними зображеннями

У лютому цього року був опублікований міжнародний стандарт JPEG AI, після декількох років досліджень, спрямованих на використання технік машинного навчання для створення меншого та легше передаваного та зберігаємого кодека зображень, без втрати перцептивної якості.

З офіційного потоку публікацій для JPEG AI, порівняння між піковим співвідношенням сигнал-шум (PSNR) та підходом JPEG AI з підтримкою машинного навчання. Джерело: https://jpeg.org/jpegai/documentation.html

Одна з можливих причин, чому це відкриття мало висвітлення в ЗМІ, полягає в тому, що основні PDF-файли для цього оголошення (іронічно) не були доступні через вільні портали, такі як Arxiv. Тим не менш, Arxiv вже опублікував ряд досліджень, що вивчають значення JPEG AI з різних аспектів, включаючи незвичайні артефакти стиснення та його значення для судової експертизи.

Одне дослідження порівнювало артефакти стиснення, включаючи ті, що належать до попередньої версії JPEG AI, і виявило, що новий метод мав тенденцію розмитнювати текст – не дрібниця у випадках, коли кодек міг би сприяти ланцюгу доказів. Джерело: https://arxiv.org/pdf/2411.06810

Через те, що JPEG AI змінює зображення способами, які імітують артефакти синтетичних генераторів зображень, існуючі судові інструменти мають труднощі з розрізненням реальних та фальшивих зображень:

Після стиснення JPEG AI сучасні алгоритми вже не можуть надійно розрізняти справжній контент від маніпульованих регіонів у картах локалізації, згідно з недавньою статтею (березень 2025 року). Приклади джерела, показані на лівому боці, є маніпульованими/фальшивими зображеннями, де маніпульовані регіони чітко виділені стандартними судовими методами (центральне зображення). Однак стиснення JPEG AI надає фальшивим зображенням певний рівень достовірності (зображення праворуч). Джерело: https://arxiv.org/pdf/2412.03261

Одна з причин полягає в тому, що JPEG AI навчений за допомогою моделі архітектури, подібної до тих, які використовуються генеративними системами, які судові інструменти намагаються виявити:

Нова стаття ілюструє подібність між методами АІ-компресії зображень та справжніми АІ-генерованими зображеннями. Джерело: https://arxiv.org/pdf/2504.03191

Отже, обидві моделі можуть продукувати деякі подібні візуальні характеристики з судової точки зору.

Квантування

Це перехрестя відбувається через квантування, спільне для обох архітектур, і яке використовується в машинному навчанні як метод перетворення безперервних даних у дискретні точки даних, і як техніка оптимізації, яка може суттєво зменшити розмір файлу навченої моделі (ентузіасти генерації зображень будуть знайомі з очікуванням між офіційним випуском моделі та версією, оптимізованою спільнотою, яка може працювати на локальному обладнанні).

У цьому контексті квантування відноситься до процесу перетворення безперервних значень у латентному представленні зображення в фіксовані, дискретні кроки. JPEG AI використовує цей процес для зменшення кількості даних, необхідних для зберігання або передачі зображення, спрощуючи внутрішнє числове представлення.

Хоча квантування робить кодування більш ефективним, воно також вводить структуровані регулярності, які можуть нагадувати артефакти, залишені генеративними моделями – настільки тонкі, що їх важко сприйняти, але такі, що порушують судові інструменти.

У відповідь автори нової роботи під назвою Три судові підказки для зображень JPEG AI пропонують інтерпретовані, ненеуральні техніки, які виявляють стиснення JPEG AI; визначають, чи було зображення пере стиснено; і розрізняють стиснені реальні зображення від тих, які були повністю згенеровані АІ.

Метод

Колірні кореляції

Стаття пропонує три ‘судові підказки’ для зображень JPEG AI: кореляції кольорових каналів, введені під час попередніх кроків JPEG AI; вимірювані спотворення якості зображення через повторювані стиснення, які розкривають події пере стиснення; і моделі квантування латентного простору, які допомагають розрізняти зображення, стиснені JPEG AI, від тих, які були згенеровані моделями АІ.

Відносно підходу, заснованого на кореляції кольорів, попередня частина JPEG AI вводить статистичні залежності між кольоровими каналами зображення, створюючи підпис, який може служити судовою підказкою.

JPEG AI перетворює зображення RGB у простір кольорів YUV і здійснює хрома-субдискретизацію 4:2:0, яка включає зниження роздільної здатності хроматичних каналів перед стисненням. Це призводить до тонких кореляцій між високочастотними залишками червоних, зелених і синіх каналів – кореляцій, яких немає у незстиснених зображеннях, і які відрізняються за силою від тих, які виробляються традиційним стисненням JPEG або синтетичними генераторами зображень.

Порівняння того, як стиснення JPEG AI змінює кореляції кольорів у зображеннях..

Вище ми бачимо порівняння з статті, яке показує, як стиснення JPEG AI змінює кореляції кольорів у зображеннях, використовуючи червоний канал як приклад.

Панель А порівнює незстиснені зображення з тими, які стиснені JPEG AI, показуючи, що стиснення суттєво збільшує міжканальну кореляцію; панель Б ізолює ефект попередньої обробки JPEG AI – тільки перетворення кольорів і субдискретизацію – демонструючи, що навіть цей крок sám збільшує кореляції помітно; панель В показує, що традиційне стиснення JPEG також збільшує кореляції трохи, але не в такій же мірі; і панель Г досліджує синтетичні зображення, де Midjourney-V5 і Adobe Firefly демонструють помірне збільшення кореляції, тоді як інші залишаються ближче до незстиснених рівнів.

Швидкість-деформація

Підказка швидкості-деформації визначає пере стиснення JPEG AI, відстежуючи, як якість зображення, виміряна піковим співвідношенням сигнал-шум (PSNR), знижується у передбачуваному порядку через багаторазові стиснення.

Дослідження стверджує, що багаторазове стиснення зображення з допомогою JPEG AI призводить до поступового, але все ж таки вимірюваного, зниження якості зображення, яке кількісно визначається PSNR, і що це поступове погіршення утворює основу для судової підказки для виявлення того, чи було зображення пере стиснено.

На відміну від традиційного JPEG, де попередні методи відстежували зміни в конкретних блоках зображення, JPEG AI вимагає іншого підходу через свою нейронну архітектуру стиснення; тому автори пропонують відстежувати, як якісність зображення та швидкість бітового потоку змінюються через багаторазові стиснення. Кожен раунд стиснення змінює зображення менше, ніж попередній, і це зменшення змін (при використанні графіка проти швидкості бітового потоку) може показати, чи пройшло зображення через кілька стадій стиснення:

Ілюстрація того, як повторне стиснення впливає на якість зображення через різні кодеки, показує результати для JPEG AI та нейронного кодека, розробленого на https://arxiv.org/pdf/1802.01436; обидва демонструють поступове зниження PSNR з кожним додатковим стисненням, навіть при нижчих швидкостях бітового потоку. Натомість традиційне стиснення JPEG підтримує відносно стабільну якість через багаторазові стиснення, якщо тільки швидкість бітового потоку не висока.

На зображенні вище ми бачимо графічні криві швидкості-деформації для JPEG AI; другого кодека на основі АІ; і традиційного JPEG, виявляючи, що JPEG AI та нейронний кодек демонструють стабільне зниження PSNR через усі швидкості бітового потоку, тоді як традиційне стиснення JPEG показує помітне погіршення лише при набагато вищих швидкостях бітового потоку. Це поведінка пропонує кількісний сигнал, який можна використовувати для позначення пере стиснених зображень JPEG AI.

Відстежуючи, як швидкість бітового потоку та якість зображення змінюються через багаторазові раунди стиснення, автори аналогічно створили підпис, який допомагає позначити, чи було зображення пере стиснено, пропонуючи потенційну практичну судову підказку у контексті JPEG AI.

Квантування

Як ми бачили раніше, однією з більш складних судових проблем, які піднімає JPEG AI, є його візуальна подібність до синтетичних зображень, згенерованих моделями дифузії. Обидві системи використовують архітектури кодера-декодера, які обробляють зображення у стиснутому латентному просторі та часто залишають після себе тонкі артефакти апсамплінгу.

Ці спільні риси можуть плутати детектори – навіть ті, які були переобучені на зображеннях JPEG AI. Однак ключова структурова відмінність залишається: JPEG AI застосовує квантування, крок, який округлює латентні значення до дискретних рівнів для ефективного стиснення, тоді як генеративні моделі зазвичай цього не роблять.

Нова стаття використовує цю відмінність для розробки судової підказки, яка непрямо перевіряє наявність квантування. Метод аналізує, як латентне представлення зображення реагує на округлення, виходячи з припущення, що якщо зображення вже було кванталізовано, його латентна структура буде демонструвати вимірюваний шаблон вирівнювання з округленими значеннями.

Ці шаблони, хоча й невидимі для ока, створюють статистичні відмінності, які можуть допомогти розрізняти стиснені реальні зображення від повністю синтетичних.

Приклад середніх спектрів Фур’є показує, що як зображення, стиснені JPEG AI, так і ті, що згенеровані моделями дифузії, такими як Midjourney-V5 і Stable Diffusion XL, демонструють регулярні ґратчасті шаблони у частотній області – артефакти, звичайно пов’язані з апсамплінгом. Натомість реальні зображення не мають цих шаблонів. Це перекриття спектральної структури пояснює, чому судові інструменти часто плутають стиснені реальні зображення з синтетичними.

Важливо, що автори показують, що ця підказка працює через різні генеративні моделі і залишається ефективною навіть тоді, коли стиснення досить сильне, щоб обнулити цілі секції латентного простору. Натомість синтетичні зображення демонструють значно слабші реакції на цей тест округлення, пропонуючи практичний спосіб розрізнення між цими двома.

Результат призначений як легкий і інтерпретований інструмент, спрямований на основну відмінність між стисненням і генерацією, а не на залежність від хитких поверхневих артефактів.

Дані та тести

Стиснення

Для оцінки того, чи може їхня підказка кореляції кольорів надійно виявити стиснення JPEG AI (тобто перший прохід з незстиснутого джерела), автори протестували її на високоякісних незстиснених зображеннях з набору даних RAISE, стиснувши їх на різних швидкостях бітового потоку, використовуючи референсну імплементацію JPEG AI.

Вони тренували простий ліс випадкових дерев на статистичних шаблонах кореляцій кольорових каналів (особливо того, як залишковий шум у кожному каналі вирівнювався з іншими) і порівняли це з ResNet50 нейронною мережею, тренованою безпосередньо на пікселях зображення.

Точність виявлення стиснення JPEG AI за допомогою функцій кореляції кольорів, порівняна через різні швидкості бітового потоку. Метод є найбільш ефективним на нижчих швидкостях бітового потоку, де артефакти стиснення сильніші, і показує кращу узагальнюваність до невиданих рівнів стиснення порівняно з базовою моделлю ResNet50.

Хоча ResNet50 досягла вищої точності, коли тестові дані близько збігалися з умовами її тренування, вона мала труднощі з узагальнюванням через різні рівні стиснення. Підхід, заснований на кореляції, хоча й значно простіший, виявився більш стабільним через усі швидкості бітового потоку, особливо на нижчих швидкостях стиснення, де попередня обробка JPEG AI мала сильніший ефект.

Ці результати свідчать про те, що навіть без глибокого навчання можна виявити стиснення JPEG AI, використовуючи статистичні підказки, які залишаються інтерпретованими та стійкими.

Пере стиснення

Для оцінки того, чи можна надійно виявити пере стиснення JPEG AI, дослідники протестували підказку швидкості-деформації на наборі зображень, стиснутих на різних швидкостях бітового потоку – деякі тільки один раз, а інші вдруге за допомогою JPEG AI.

Цей метод включав витягання 17-мірного векторного простору функцій для відстеження того, як швидкість бітового потоку та PSNR зображення змінювалися через три раунди стиснення. Цей набір функцій захоплював, скільки якості втрачалося на кожному етапі, і як поводилися латентна та гіперпріорна швидкості – метрики, до яких традиційні піксельні методи не можуть легко доступитися.

Дослідники тренували ліс випадкових дерев на цих функціях і порівняли його продуктивність з ResNet50, тренованою на пікселях зображення:

Результати для точності класифікації лісу випадкових дерев, тренованого на функціях швидкості-деформації для виявлення того, чи було зображення JPEG AI пере стиснено. Метод працює найкраще, коли перше стиснення сильне (тобто на нижчих швидкостях бітового потоку), і потім послідовно перевершує піксельну ResNet50 – особливо в випадках, коли друге стиснення м’якше за перше.

Ліс випадкових дерев виявився особливо ефективним, коли перше стиснення було сильним (тобто на нижчих швидкостях бітового потоку), розкриваючи чіткі відмінності між зображеннями, стиснутими один раз і двічі. Як і у випадку з попередньою підказкою, ітерація ResNet50 мала труднощі з узагальнюванням, особливо коли тестувалася на рівнях стиснення, яких вона не бачила під час тренування.

Функції швидкості-деформації, натомість, залишилися стабільними через широкий спектр сценаріїв. Зокрема, підказка працювала навіть тоді, коли застосовувалася до іншого кодека на основі АІ, що свідчить про те, що підхід узагальнюється за межами JPEG AI.

JPEG AI та синтетичні зображення

Для останнього раунду тестування автори протестували, чи можуть їхні функції квантування розрізняти зображення, стиснені JPEG AI, від повністю синтетичних зображень, згенерованих моделями, такими як Midjourney, Stable Diffusion, DALL-E 2, Glide, і Adobe Firefly.

Для цього дослідники використали підмножину набору даних Synthbuster, змішавши реальні фотографії з бази даних RAISE з згенерованими зображеннями з різних дифузійних та ГАН-моделей.

Приклади синтетичних зображень у Synthbuster, згенерованих за допомогою текстових промптів, натхнених природними фотографіями з набору даних RAISE-1k. Зображення були створені різними дифузійними моделями, з промптами, призначеними для створення фотореалістичних контентів і текстур, а не стилізованих чи художніх інтерпретацій. Джерело: https://ieeexplore.ieee.org/document/10334046

Реальні зображення були стиснуті за допомогою JPEG AI на різних рівнях швидкості бітового потоку, і класифікація була поставлена як двостороння задача: або JPEG AI проти конкретного генератора, або конкретна швидкість бітового потоку проти Stable Diffusion XL.

Функції квантування (кореляції, витягнуті з латентних представлень) були розраховані з фіксованої області 256×256 пікселів і подані класифікатору лісу випадкових дерев. Як базовий варіант була тренована ResNet50 на пікселях зображення з тих самих даних.

Точність класифікації лісу випадкових дерев, який використовує функції квантування для розрізнення зображень, стиснених JPEG AI, від синтетичних зображень.

Через більшість умов підхід, заснований на квантуванні, перевершував базовий ResNet50, особливо на нижчих швидкостях бітового потоку, де артефакти стиснення були сильнішими.

Автори заявляють:

‘Базовий ResNet50 працює найкраще для зображень Glide з точністю 66,1%, але в інших випадках узагальнюється гірше, ніж функції квантування. Функції квантування демонструють хорошу узагальнюваність через рівні стиснення та типи генераторів.

‘Важливість коефіцієнтів, які квантуються до нуля, показана у дуже поважній продуктивності_TRUNCATED [функцій], які в багатьох випадках виконують порівняно з класифікатором ResNet50.

‘Однак функції квантування, які використовують необрізаний, повний цілочисельний [вектор], все ж таки виконують помітно краще. Ці результати підтверджують, що кількість нулів після квантування є важливою підказкою для розрізнення АІ-стиснених та АІ-генерованих зображень.

‘Відповідно, це також показує, що інші фактори внесли свій внесок. Точність повного вектора для виявлення JPEG AI становить для всіх швидкостей бітового потоку понад 91,0%, і сильніше стиснення призводить до вищої точності.’

Проєкція простору функцій за допомогою UMAP показала чітке розрізнення між зображеннями JPEG AI та синтетичними зображеннями, з нижчими швидкостями бітового потоку, які збільшують відстань між класами. Одним зі стабільних аутлайерів був Glide, чийі зображення кластеризувалися по-іншому і мали найнижчу точність виявлення серед усіх генераторів, протестованих.

Двовимірна візуалізація UMAP зображень JPEG AI та синтетичних зображень на основі функцій квантування. Лівий графік показує, що нижчі швидкості бітового потоку JPEG AI створюють більшу відстань від синтетичних зображень; правий графік показує, як зображення різних генераторів кластеризуються окремо у просторі функцій.

Нарешті, автори оцінили, як добре функції витримують типову постобробку, таку як пере стиснення JPEG або зниження роздільної здатності. Хоча продуктивність знижувалася з більшою обробкою, спад був поступовим, що свідчить про те, що підхід зберігає деяку стійкість навіть у погіршених умовах.

Оцінка стійкості функцій квантування під час постобробки, включаючи пере стиснення JPEG (JPG) та зміну розміру зображення (RS).

Висновок

Не гарантовано, що JPEG AI буде широко прийнятий. По-перше, існує достатньо інфраструктурного боргу, щоб створити тертя будь-якому новому кодеку; і навіть традиційний кодек з доброю репутацією та широкою згодою щодо його цінності, такий як AV1, має труднощі з витісненням добре встановлених традиційних методів.

Відносно потенційного конфлікту системи з генераторами АІ, характерні артефакти квантування, які допомагають поточному поколінню детекторів зображень АІ, можуть бути зменшені або в кінцевому підсумку замінені слідами іншого типу, у пізніших системах (припускаючи, що генератори АІ завжди залишають судову слід, що не є певним).

Це означатиме, що власні характеристики квантування JPEG AI, можливо, разом з іншими підказками, визначеними у новій статті, можуть не зіткнутися з судовою слідові найбільш ефективних нових генеративних систем АІ.

Якщо ж JPEG AI продовжить працювати як де-факто ‘АІ-обмивання’, суттєво розмитнюючи межу між реальністю та згенерованими зображеннями, буде важко зробити переконливий випадок для його прийняття.

Опубліковано вперше у вівторок, 8 квітня 2025 року