JPEG AI rozostřuje hranici mezi skutečnými a syntetickými obrázky

V únoru letošního roku byla zveřejněna mezinárodní standardizace JPEG AI, po několika letech výzkumu zaměřeného na využití technik strojového učení pro vytvoření menších a lehce přenosných a ukládaných obrazových kodeků, bez ztráty percepční kvality.

Z oficiálního publikačního proudu pro JPEG AI, srovnání mezi Peak Signal-to-Noise Ratio (PSNR) a ML-augmentovaným přístupem JPEG AI. Zdroj: https://jpeg.org/jpegai/documentation.html

Jedním z možných důvodů, proč toto vydání vyvolalo málo pozornosti, je, že základní PDF dokumenty pro toto oznámení nebyly (ironicky) dostupné prostřednictvím volně přístupných portálů, jako je Arxiv. Nicméně, Arxiv již dříve zveřejnil několik studií, které zkoumají význam JPEG AI z různých hledisek, včetně jeho netypických kompresních artifactů a jeho významu pro forenzní analýzu.

Jedna studie srovnávala kompresní artefakty, včetně těch z dřívější verze JPEG AI, a zjistila, že nová metoda má tendenci rozostřovat text – což není zanedbatelná záležitost v případech, kdy by kodek mohl přispět k řetězci důkazů. Zdroj: https://arxiv.org/pdf/2411.06810

Protože JPEG AI mění obrázky způsobem, který napodobuje artefakty syntetických obrazových generátorů, existující forenzní nástroje mají potíže s rozlišením skutečných a falešných obrazů:

Po kompresi JPEG AI nemohou pokročilé algoritmy již spolehlivě rozlišit autentické obsahy od manipulovaných oblastí v lokalizačních mapách, podle nedávné studie (březen 2025). Zdrojové příklady na levé straně jsou manipulované/falešné obrázky, kde jsou zmanipulované oblasti jasně vymezeny pomocí standardních forenzních technik (střední obrázek). Nicméně, komprese JPEG AI dodává falešným obrázkům vrstvu důvěryhodnosti (obrázek vpravo). Zdroj: https://arxiv.org/pdf/2412.03261

Jedním z důvodů je, že JPEG AI je trénován pomocí modelové architektury podobné těm, které jsou používány generativními systémy, které forenzní nástroje snaží detekovat:

Nová studie ilustruje podobnost mezi metodami AI-poháněné obrazové komprese a skutečnými AI-generovanými obrázky. Zdroj: https://arxiv.org/pdf/2504.03191

Proto se obě modely mohou projevit podobnými základními vizuálními charakteristikami z forenzního hlediska.

Quantizace

Tento překryv nastává kvůli quantizaci, která je společná pro obě architektury, a která se používá v strojovém učení jak jako metoda pro převod kontinuálních dat na diskrétní datové body, tak jako optimalizační technika, která může výrazně zmenšit velikost souboru trénovaného modelu (příznivci obrazové syntézy budou znalí čekání mezi nevyhovujícím oficiálním vydáním modelu a komunitou vedenou kvantizovaným verzím, která může běžet na místním hardwaru).

V tomto kontextu se quantizace týká procesu převodu kontinuálních hodnot v latentní reprezentaci obrázku na pevné, diskrétní kroky. JPEG AI používá tento proces k snížení množství dat potřebných pro uložení nebo přenos obrázku tím, že zjednoduší vnitřní numerickou reprezentaci.

Ačkoli quantizace činí kódování efektivnějším, také ukládá strukturální pravidelnosti, které mohou připomínat artefakty zanechané generativními modely – dostatečně jemné, aby unikly vnímání, ale rušivé pro forenzní nástroje.

V reakci na to autoři nové práce nazvané Tři forenzní signály pro JPEG AI obrázky navrhují interpretovatelné, ne-neuronové techniky, které detekují kompresi JPEG AI; určují, zda byl obrázek rekompresován; a rozlišují komprimované reálné obrázky od těch, které jsou zcela generovány AI.

Metoda

Barvové korelace

Studie navrhuje tři ‘forenzní signály’ přizpůsobené pro JPEG AI obrázky: barvové kanálové korelace, které jsou zavedeny během předzpracování JPEG AI; měřitelné zkreslení kvality obrazu napříč opakovanými kompresemi, které odhalují rekompresní události; a latentní prostorové kvantizační vzory, které pomáhají rozlišit mezi obrázky komprimovanými JPEG AI a těmi, které jsou generovány modely AI.

Co se týče barvové korelační metody, pipeline předzpracování JPEG AI zavádí statistické závislosti mezi barvovými kanály obrázku, vytvářející signaturu, která může sloužit jako forenzní signál.

JPEG AI převádí RGB obrázky do YUV barevného prostoru a provádí 4:2:0 chroma subsampling, který zahrnuje downsampling chrominancí před kompresí. Tento proces vede k jemným korelacím mezi vysokofrekvenčními zbytky červených, zelených a modrých kanálů – korelacemi, které nejsou přítomny v nekompresovaných obrázcích a které se liší v síle od těch, které jsou produkovány tradiční kompresí JPEG nebo syntetickými obrazovými generátory.

Srovnání toho, jak komprese JPEG AI mění barvové korelace v obrázcích..

Nahoře lze vidět srovnání z práce, které ilustruje, jak komprese JPEG AI mění barvové korelace v obrázcích, pomocí červeného kanálu jako příkladu.

Panel A srovnává nekompresované obrázky s těmi, které jsou komprimovány JPEG AI, ukazující, že komprese výrazně zvyšuje mezikanálovou korelaci; panel B izoluje efekt předzpracování JPEG AI – pouze barevnou konverzi a subsampling – ukazující, že již tento krok sám o sobě zvyšuje korelaci znatelně; panel C ukazuje, že tradiční komprese JPEG také zvyšuje korelaci mírně, ale ne ve stejném rozsahu; a Panel D zkoumá syntetické obrázky, s Midjourney-V5 a Adobe Firefly, které zobrazují mírné zvýšení korelace, zatímco ostatní zůstávají blízko nekompresovaným úrovním.

Rate-Distortion

Rate-distortion signál identifikuje rekompresi JPEG AI sledováním, jak se kvalita obrazu, měřená Peak Signal-to-Noise Ratio (PSNR), snižuje v předvídatelném vzoru napříč opakovanými kompresemi.

Výzkum tvrdí, že opakované komprimování obrázku pomocí JPEG AI vede k postupnému, ale stále měřitelnému, poklesu kvality obrazu, jak je kvantifikováno PSNR, a že tento postupný pokles tvoří základ forenzního signálu pro detekci, zda byl obrázek rekompresován.

Na rozdíl od tradičního JPEG, kde dříve používané metody sledovaly změny v konkrétních blocích obrazu, JPEG AI vyžaduje odlišný přístup, kvůli své neuronové kompresní architektuře; proto autoři navrhují sledování, jak se bitrate a PSNR vyvíjejí napříč opakovanými kompresemi. Každé kolo komprese mění obrázek méně než předchozí, a tento pokles (při zobrazení proti bitrate) může odhalit, zda byl obrázek podroben vícekompresnímu procesu:

Ilustrace toho, jak opakované komprimování ovlivňuje kvalitu obrazu napříč různými kodeky, zahrnující výsledky z JPEG AI a neuronového kodeku vyvinutého na https://arxiv.org/pdf/1802.01436; obě vykazují stálý pokles PSNR s každou další kompresí, i při nižších bitratech. Naopak, tradiční komprese JPEG udržuje relativně stabilní kvalitu napříč opakovanými kompresemi, pokud není bitrate vysoký.

V obrázku výše lze vidět grafické znázornění rate-distortion křivek pro JPEG AI; druhý AI-založený kodek; a tradiční JPEG, ukazující, že JPEG AI a neuronový kodek vykazují stálý pokles PSNR napříč všemi bitratech, zatímco tradiční JPEG ukazuje znatelné zhoršení kvality pouze při mnohem vyšších bitratech. Tento chování poskytuje kvantifikovatelný signál, který lze použít k identifikaci rekompresovaných JPEG AI obrázků.

Extrakcí toho, jak se bitrate a kvalita obrazu vyvíjejí napříč opakovanými kompresními cykly, autoři obdobně vytvořili signaturu, která pomáhá identifikovat, zda byl obrázek rekompresován, poskytující potenciální praktický forenzní signál v kontextu JPEG AI.

Quantizace

Jak jsme již viděli, jednou z více náročných forenzních problémů, které JPEG AI vyvolává, je jeho vizuální podobnost se syntetickými obrázky generovanými difuzními modely. Oba systémy používají encoder-decoder architektury, které zpracovávají obrázky v komprimovaném latentním prostoru a často zanechávají jemné upsampling artefakty.

Tyto sdílené rysy mohou zmást detektory – dokonce i ty, které jsou přeškoleny na obrázky JPEG AI. Nicméně, jeden klíčový strukturální rozdíl zůstává: JPEG AI aplikuje quantizaci, krok, který zaokrouhluje latentní hodnoty na diskrétní úrovně pro efektivní kompresi, zatímco generativní modely typicky ne.

Nová studie využívá tohoto rozdílu k navržení forenzního signálu, který nepřímo testuje přítomnost quantizace. Metoda analyzuje, jak se latentní reprezentace obrázku chová při zaokrouhlování, s předpokladem, že pokud byl obrázek již kvantizován, jeho latentní struktura bude vykazovat měřitelný vzorec shody se zaokrouhlenými hodnotami.

Tyto vzory, i když nejsou vidět okem, produkují statistické rozdíly, které mohou pomoci rozlišit komprimované reálné obrázky od plně syntetických.

Příklad průměrných Fourierových spekter ukazuje, že jak JPEG AI komprimované obrázky, tak ty, které jsou generovány difuzními modely, jako je Midjourney-V5 a Stable Diffusion XL, vykazují pravidelné mřížkové vzory v frekvenčním doměnu – artefakty běžně spojené s upsamplingem. Naopak, reálné obrázky tyto vzory postrádají. Tento překryv ve spektrální struktuře pomáhá vysvětlit, proč forenzní nástroje často pletou komprimované reálné obrázky se syntetickými.

Důležité je, že autoři ukazují, že tento signál funguje napříč různými generativními modely a zůstává efektivní i v případech, kdy je komprese dostatečně silná, aby vymazala celé sekce latentního prostoru. Naopak, syntetické obrázky vykazují mnohem slabší reakce na tento test zaokrouhlování, nabízející praktický způsob, jak rozlišit mezi nimi.

Výsledek je navržen jako lehký a interpretovatelný nástroj zaměřený na základní rozdíl mezi kompresí a generací, spíše než spoléhání se na křehké povrchové artefakty.

Data a testy

Komprese

Aby vyhodnotili, zda jejich barvová korelační metoda může spolehlivě detekovat kompresi JPEG AI (tj. první průchod z nekompresovaného zdroje), autoři otestovali ji na vysoce kvalitních nekompresovaných obrázcích z RAISE datasetu, komprimovaných na různých bitratech, pomocí referenční implementace JPEG AI.

Trénovali jednoduchý random forest na statistických vzorcích barvových kanálových korelací (zejména na tom, jak se zbytkový šum v každém kanálu shodoval s ostatními) a srovnali ho s ResNet50 neuronovou sítí, trénovanou přímo na pixelových datech obrázků.

Detekční přesnost komprese JPEG AI pomocí barvových korelačních funkcí, srovnávaná napříč různými bitratech. Metoda je nejúčinnější při nižších bitratech, kde jsou kompresní artefakty silnější, a ukazuje lepší generalizaci na neviditelné kompresní úrovně než referenční ResNet50 model.

Zatímco ResNet50 dosáhl vyšší přesnosti, když testovací data úzce odpovídala jeho trénovacím podmínkám, měl potíže generalizovat napříč různými kompresními úrovněmi. Barvová korelační metoda, ačkoli mnohem jednodušší, prokázala větší konzistenci napříč bitratech, zejména při nižších kompresních rychlostech, kde předzpracování JPEG AI má silnější efekt.

Tyto výsledky naznačují, že i bez hlubokého učení je možné detekovat kompresi JPEG AI pomocí statistických signálů, které zůstávají interpretovatelné a odolné.

Rekompresní testy

Aby vyhodnotili, zda rekompresi JPEG AI lze spolehlivě detekovat, výzkumníci otestovali rate-distortion signál na sadě obrázků komprimovaných na různých bitratech – některé pouze jednou a jiné podruhé pomocí JPEG AI.

Tato metoda zahrnovala extrakci 17-rozměrného vektoru funkcí pro sledování, jak se bitrate a PSNR obrázku vyvíjejí napříč třemi kompresními cykly. Tento vektor funkcí zachycoval, kolik kvality se ztratilo v každém kroku, a jak se latentní a hyperprior rychlosti chovají – metriky, které tradiční pixel-založené metody nemohou snadno získat.

Výzkumníci trénovali random forest na těchto funkcích a srovnali jeho výkon s ResNet50 trénovaným na obrazkových patčích:

Výsledky pro klasifikační přesnost random forestu trénovaného na rate-distortion funkcích pro detekci, zda byl JPEG AI obrázek rekompresován. Metoda funguje nejlépe, když je počáteční komprese silná (tj. při nižších bitratech), a poté konzistentně překonává pixel-založený ResNet50 – zejména v případech, kdy je druhá komprese mírnější než první.

Random forest se ukázal být pozoruhodně efektivní, když byla počáteční komprese silná (tj. při nižších bitratech), odhalující zřetelné rozdíly mezi jednokrát a dvakrát komprimovanými obrázky. Stejně jako u předchozího signálu, ResNet50 měl potíže s generalizací, zejména když byl testován na kompresních úrovních, které neviděl během trénování.

Rate-distortion funkce, na druhé straně, zůstaly stabilní napříč širokým spektrem scénářů. Značně, signál fungoval i při aplikaci na jiný AI-založený kodek, naznačující, že přístup generalizuje za hranice JPEG AI.

JPEG AI a syntetické obrázky

Pro poslední kolo testování autoři otestovali, zda jejich kvantizační funkce mohou rozlišit mezi JPEG AI komprimovanými obrázky a plně syntetickými obrázky generovanými modely, jako je Midjourney, Stable Diffusion, DALL-E 2, Glide, a Adobe Firefly.

Pro tento účel použili podmnožinu Synthbuster datasetu, kombinující reálné fotografie z RAISE databáze s generovanými obrázky z různých difuzních a GAN-založených modelů.

Příklad syntetických obrázků v Synthbuster, generovaných pomocí textových promptů inspirovaných přírodními fotografiemi z RAISE-1k datasetu. Obrázky byly vytvořeny pomocí různých difuzních modelů, s prompty navržené pro produkci fotorealistických obsahů a textur, spíše než stylizovaných nebo uměleckých renderingů. Zdroj: https://ieeexplore.ieee.org/document/10334046

Reálné obrázky byly komprimovány pomocí JPEG AI na různých bitratech, a klasifikace byla formulována jako dvousměrná úloha: buď JPEG AI versus konkrétní generátor, nebo konkrétní bitrate versus Stable Diffusion XL.

Kvantizační funkce (korelace extrahované z latentních reprezentací) byly vypočteny z pevné 256×256 oblasti a zavedeny do random forest klasifikátoru. Jako referenční bod byl použit ResNet50 trénovaný na pixelových patčích ze stejné datové sady.

Klasifikační přesnost random forestu, který používá kvantizační funkce pro rozlišení JPEG AI komprimovaných obrázků od syntetických.

Přímo napříč většinou podmínek, kvantizační přístup překonal referenční ResNet50, zejména při nižších bitratech, kde kompresní artefakty byly silnější.

Autoři uvádějí:

‘Referenční ResNet50 dosahuje nejlepších výsledků pro Glide obrázky s přesností 66,1%, ale jinde generalizuje hůře než kvantizační funkce. Kvantizační funkce vykazují dobrou generalizaci napříč kompresními silami a typy generátorů.

‘Důležitost koeficientů, které jsou kvantizovány na nulu, je ukázána ve velmi respektabilním výkonu zkrácených [funkcí], které v mnoha případech fungují srovnatelně s ResNet50 klasifikátorem.

‘Nicméně, kvantizační funkce, které používají nezkratečné, plné celočíselné [vektory], stále fungují pozoruhodně lépe. Tyto výsledky potvrzují, že množství nul po kvantizaci je důležitým signálem pro rozlišení AI-komprimovaných a AI-generovaných obrázků.

‘Nicméně, také ukazují, že další faktory přispívají. Přesnost plného vektoru pro detekci JPEG AI je pro všechny bitratech nad 91,0%, a silnější komprese vede k vyšším přesnostem.’

Projekce prostoru funkcí pomocí UMAP ukázala jasnou separaci mezi JPEG AI a syntetickými obrázky, s nižšími bitratech zvyšujícími vzdálenost mezi třídami. Jedinou konzistentní výjimkou byl Glide, jehož obrázky se shlukovaly odlišně a měly nejnižší detekční přesnost ze všech testovaných generátorů.

Dvourozměrná UMAP vizualizace JPEG AI komprimovaných a syntetických obrázků, založená na kvantizačních funkcích. Levý graf ukazuje, že nižší bitrate JPEG AI vytváří větší separaci od syntetických obrázků; pravý graf, jak obrázky z různých generátorů shlukují odlišně v prostoru funkcí.

Nakonec, autoři vyhodnotili, jak dobře funkce vydržely typické post-procesní operace, jako je rekompresní JPEG nebo downsampling. Zatímco výkon poklesl s těžšími procesy, pokles byl postupný, naznačující, že přístup si uchovává určitou odolnost i v degradovaných podmínkách.

Vyhodnocení robustnosti kvantizačních funkcí vůči post-procesním operacím, včetně rekompresního JPEG (JPG) a image resizing (RS).

Závěr

Není zaručeno, že JPEG AI bude široce přijat. Jedním z důvodů je, že existuje dostatek infrastrukturního dluhu, který by mohl brzdit přijetí jakéhokoli nového kodeku; a dokonce i ‘konvenční’ kodek s jasným pedigreem a širokým konsenzem o jeho hodnotě, jako je AV1, má obtížné nahradit zavedené metody.

Co se týče potenciálního střetu s AI generátory, charakteristické kvantizační artefakty, které pomáhají aktuální generaci AI obrazových detektorů, mohou být oslabeny nebo nakonec nahrazeny stopami jiného druhu, v pozdějších systémech (předpokládajíc, že AI generátory vždy zanechávají forenzní stopy, což není jisté).

To by znamenalo, že vlastní kvantizační charakteristiky JPEG AI, možná spolu s dalšími signály identifikovanými novou studií, nemusí nakonec kolidovat s forenzní stopou nejúčinnějších nových generativních AI systémů.

Jestliže však JPEG AI bude pokračovat v provozu jako de facto ‘AI wash’, významně rozostřující hranici mezi skutečnými a generovanými obrázky, bude obtížné vytvořit přesvědčivý případ pro jeho přijetí.

Poprvé publikováno v úterý, 8. dubna 2025