JPEG AI Estompează Linia Dintre Imaginile Reale și Cele Sintetice

În luna februarie a acestui an, a fost publicat standardul internațional JPEG AI, după mai mulți ani de cercetare menită să utilizeze tehnici de învățare automată pentru a produce un codec de imagine mai mic și mai ușor de transmis și stocat, fără a pierde calitatea percepției.

Din fluxul de publicare oficial pentru JPEG AI, o comparație între Raportul Semnal-Zgomot de Vârf (PSNR) și abordarea ML-augmentată a JPEG AI. Sursă: https://jpeg.org/jpegai/documentation.html

Unul dintre motivele pentru care acest eveniment a făcut puține știri este că documentele PDF de bază pentru acest anunț nu au fost disponibile prin portaluri de acces gratuit, cum ar fi Arxiv. Cu toate acestea, Arxiv a prezentat deja o serie de studii care examinează importanța JPEG AI din diverse perspective, inclusiv artefactele de compresie neobișnuite ale metodei și importanța sa pentru criminalistică.

Un studiu a comparat artefactele de compresie, inclusiv cele ale unei versiuni anterioare a JPEG AI, descoperind că noua metodă are tendința de a estompa textul. Sursă: https://arxiv.org/pdf/2411.06810

Deoarece JPEG AI modifică imaginile în moduri care imită artefactele generatorilor de imagini sintetice, uneltele criminalistice existente au dificultăți în a diferenția imaginile reale de cele false:

După compresia JPEG AI, algoritmii de ultimă generație nu mai pot separa în mod fiabil conținutul autentic de regiunile manipulate în hărțile de localizare. Sursă: https://arxiv.org/pdf/2412.03261

Un motiv pentru aceasta este că JPEG AI este antrenat utilizând o arhitectură de model similară cu cele utilizate de sistemele generative pe care uneltele criminalistice încearcă să le detecteze:

Noul articol ilustrează similaritatea dintre metodologiile compresiei de imagine bazate pe IA și imagini generate de IA. Sursă: https://arxiv.org/pdf/2504.03191

Prin urmare, ambele modele pot produce unele caracteristici vizuale subiacente similare, din punct de vedere criminalistic.

Cuantificare

Acest transfer are loc din cauza cuantificării, comune ambelor arhitecturi, și care este utilizată în învățarea automată atât ca metodă de conversie a datelor continue în puncte de date discrete, cât și ca tehnică de optimizare care poate reduce semnificativ dimensiunea fișierului unui model antrenat (entuziaștii de sinteză de imagini vor fi familiarizați cu așteptarea dintre lansarea oficială a unui model voluminos și versiunea comunitară cuantificată care poate rula pe hardware local).

În acest context, cuantificarea se referă la procesul de conversie a valorilor continue din reprezentarea latentă a imaginii în pași discreți fixi. JPEG AI utilizează acest proces pentru a reduce cantitatea de date necesară pentru a stoca sau transmite o imagine, simplificând reprezentarea numerică internă.

Deși cuantificarea face ca codarea să fie mai eficientă, ea impune și regularități structurale care pot semăna cu artefactele lăsate de modelele generative – suficient de subtile pentru a evita percepția, dar perturbatoare pentru uneltele criminalistice.

Ca răspuns, autorii unui nou studiu intitulat Trei indicii criminalistice pentru imagini JPEG AI propun tehnici interpretabile, non-neurale, care detectează compresia JPEG AI; determină dacă o imagine a fost recomprimată; și diferențiază imagini reale comprimate de cele generate în întregime de IA.

Metodă

Corelații de culoare

Articolul propune trei “indicii criminalistice” specializate pentru imagini JPEG AI: corelații de canal de culoare, introduse în timpul pașilor de preprocesare a JPEG AI; distorsionări măsurabile ale calității imaginii, care se extind pe compresii repetate și care dezvăluie evenimente de recomprimare; și modele de cuantificare în spațiu latent, care ajută la diferențierea dintre imagini comprimate de JPEG AI și cele generate de modele AI.

În ceea ce privește abordarea bazată pe corelații de culoare, pipeline-ul de preprocesare a JPEG AI introduce dependențe statistice între canalele de culoare ale imaginii, creând o semnătură care poate servi ca indiciu criminalistic.

JPEG AI convertește imagini RGB în spațiul de culoare YUV și efectuează subsampling cromatic 4:2:0, care implică diminuarea canalelor de crominanță înainte de compresie. Acest proces conduce la corelații subtile între reziduurile de înaltă frecvență ale canalelor roșu, verde și albastru – corelații care nu sunt prezente în imagini necomprimate și care diferă în intensitate de cele produse de compresia JPEG tradițională sau de generatori de imagini sintetice.

O comparație a modului în care compresia JPEG AI modifică corelațiile de culoare în imagini.

Mai sus, putem vedea o comparație din articol care ilustrează modul în care compresia JPEG AI modifică corelațiile de culoare în imagini, utilizând canalul roșu ca exemplu.

Panoul A compară imagini necomprimate cu cele comprimate JPEG AI, arătând că compresia crește semnificativ corelația inter-canale; panoul B izolează efectul preprocesării JPEG AI – doar conversia de culoare și subsamplingul – demonstrând că chiar și acest pas singur crește corelațiile în mod semnificativ; panoul C arată că compresia JPEG tradițională crește și ea corelațiile, dar nu la același nivel; și panoul D examinează imagini sintetice, cu Midjourney-V5 și Adobe Firefly care prezintă creșteri moderate ale corelației, în timp ce altele rămân mai aproape de nivelurile imagini necomprimate.

Rată-Distorsiune

Indiciul rată-distorsiune identifică recomprimarea JPEG AI prin urmărirea modului în care calitatea imaginii, măsurată prin Raportul Semnal-Zgomot de Vârf (PSNR), scade într-un model previzibil pe multiple treceri de compresie.

Cercetarea susține că comprimarea repetată a unei imagini cu JPEG AI duce la pierderi progresive, dar încă măsurabile, ale calității imaginii, așa cum este cuantificată de PSNR, și că această degradare treptată formează baza unui indiciu criminalistic pentru detectarea faptului dacă o imagine a fost recomprimată.

În contrast cu JPEG-ul tradițional, unde metodele anterioare urmăreau modificări în blocuri de imagine specifice, JPEG AI necesită o abordare diferită, datorită arhitecturii sale de compresie neurală; prin urmare, autorii propun monitorizarea modului în care atât bitrate-ul, cât și PSNR-evoluează pe compresii succesive. Fiecare rundă de compresie modifică imaginea mai puțin decât cea anterioară, și această schimbare diminuată (atunci când este plotată împotriva bitrate-ului) poate dezvălui dacă o imagine a trecut prin multiple etape de compresie:

O ilustrare a modului în care compresia repetată afectează calitatea imaginii la diferite codec-uri, prezentând rezultate de la JPEG AI și un codec neural dezvoltat la https://arxiv.org/pdf/1802.01436; ambele prezintă o scădere constantă a PSNR la fiecare compresie suplimentară, chiar și la debite mai mici.

În imaginea de mai sus, putem vedea curbele rată-distorsiune pentru JPEG AI; un al doilea codec bazat pe IA; și JPEG tradițional, găsind că JPEG AI și codec-ul neural prezintă o scădere constantă a PSNR la toate debitele, în timp ce compresia JPEG tradițională prezintă o deteriorare semnificativă doar la debite mult mai mari. Acest comportament oferă un semnal cuantificabil care poate fi utilizat pentru a semnala imagini JPEG AI recomprimate.

Prin extragerea modului în care bitrate-ul și calitatea imaginii evoluează pe multiple runde de compresie, autorii au construit în mod similar o semnătură care ajută la identificarea faptului dacă o imagine a fost recomprimată, oferind un potențial indiciu criminalistic practic în contextul JPEG AI.

Cuantificare

Așa cum am văzut mai devreme, una dintre problemele criminalistice mai dificile ridicate de JPEG AI este similaritatea sa vizuală cu imaginile sintetice generate de modelele de difuzie. Ambele sisteme utilizează arhitecturi encoder-decoder care procesează imagini într-un spațiu latent comprimat și adesea lasă în urmă artefacte subtile de suprasampling.

Aceste trăsături comune pot confunda detectoarele – chiar și pe cele reantrenate pe imagini JPEG AI. Cu toate acestea, o diferență structurală cheie rămâne: JPEG AI aplică cuantificare, un pas care rotunjește valorile latente la niveluri discrete pentru compresia eficientă, în timp ce modelele generative nu o fac de obicei.

Noul articol utilizează această distincție pentru a proiecta un indiciu criminalistic care testează indirect prezența cuantificării. Metoda analizează modul în care reprezentarea latentă a unei imagini răspunde la rotunjire, pe presupunerea că, dacă o imagine a fost deja cuantificată, structura sa latentă va prezenta un model măsurabil de aliniere cu valorile rotunjite.

Aceste modele, deși invizibile pentru ochi, produc diferențe statistice care pot ajuta la separarea imaginilor reale comprimate de cele sintetice.

Un exemplu de spectre Fourier medii arată că atât imaginile comprimate JPEG AI, cât și cele generate de modele de difuzie, prezintă modele regulate de grilă în domeniul frecvenței.

Este important de remarcat că autorii arată că acest indiciu funcționează pe modele generative diferite și rămâne eficient chiar și atunci când compresia este suficient de puternică pentru a anula întregi secțiuni ale spațiului latent. În contrast, imaginile sintetice prezintă răspunsuri mult mai slabe la acest test de rotunjire, oferind o modalitate practică de a diferenția între cele două.

Rezultatul este destinat să fie un instrument ușor și interpretabil care vizează diferența fundamentală dintre compresie și generare, mai degrabă decât să se bazeze pe artefacte de suprafață fragile.

Date și Teste

Compresie

Pentru a evalua dacă indiciul de corelație de culoare ar putea detecta în mod fiabil compresia JPEG AI (adică, o primă trecere de la sursa necomprimată), autorii au testat-o pe imagini de înaltă calitate, necomprimate, din setul de date RAISE, comprimându-le la o varietate de debite, utilizând implementarea de referință a JPEG AI.

Ei au antrenat un forest aleator pe modelele statistice ale corelațiilor de canal de culoare (în special modul în care zgomotul rezidual în fiecare canal se alinia cu celelalte) și l-au comparat cu un rețea neurală ResNet50 antrenată direct pe pixelii imaginii.

Acuratețea detectării compresiei JPEG AI utilizând caracteristici de corelație de culoare, comparate la multiple debite.

În timp ce ResNet50 a obținut o acuratețe mai mare atunci când datele de test se potriveau îndeaproape cu condițiile de antrenare, a avut dificultăți în a generaliza pe diferite niveluri de compresie. Abordarea bazată pe corelație, deși mult mai simplă, s-a dovedit a fi mai consistentă pe debite, în special la rate de compresie mai mici, unde preprocesarea JPEG AI are un efect mai puternic.

Aceste rezultate sugerează că, chiar și fără învățare profundă, este posibil să se detecteze compresia JPEG AI utilizând indicii statistice care rămân interpretabile și robuste.

Recompresie

Pentru a evalua dacă recomprimarea JPEG AI poate fi detectată în mod fiabil, cercetătorii au testat indiciul rată-distorsiune pe un set de imagini comprimate la debite diverse – unele doar o dată și altele a doua oară, utilizând JPEG AI.

Această metodă a implicat extragerea unui vector de caracteristici de 17 dimensiuni pentru a urmări modul în care bitrate-ul și PSNR-ul imaginii evoluează pe trei treceri de compresie. Acest set de caracteristici a capturat cât de multă calitate s-a pierdut la fiecare pas și cum se comportă ratele latente și hiperprior – metrici pe care metodele tradiționale bazate pe pixeli nu le pot accesa ușor.

Cercetătorii au antrenat un forest aleator pe aceste caracteristici și au comparat performanța sa cu a unei rețele ResNet50 antrenate pe patch-uri de imagine:

Rezultate pentru acuratețea clasificării unui forest aleator antrenat pe caracteristici de rată-distorsiune pentru detectarea faptului dacă o imagine JPEG AI a fost recomprimată.

Forestul aleator s-a dovedit a fi remarcabil de eficient atunci când compresia inițială a fost puternică (adică, la debite mai mici), dezvăluind diferențe clare între imagini comprimate o singură dată și cele comprimate de două ori. La fel ca în cazul indiciului anterior, iterația ResNet50 a avut dificultăți în a generaliza, în special atunci când a fost testată pe niveluri de compresie pe care nu le-a văzut în timpul antrenării.

Caracteristicile rată-distorsiune, pe de altă parte, au rămas stabile pe o gamă largă de scenarii. În mod remarcabil, abordarea a funcționat chiar și atunci când a fost aplicată unui codec bazat pe IA diferit, sugerând că metoda se generalizează dincolo de JPEG AI.

JPEG AI și Imagini Sintetice

Pentru ultima rundă de testare, autorii au testat dacă caracteristicile bazate pe cuantificare pot diferenția între imagini comprimate JPEG AI și imagini sintetice generate de modele cum ar fi Midjourney, Stable Diffusion, DALL-E 2, Glide și Adobe Firefly.

Pentru aceasta, cercetătorii au utilizat un subset din setul de date Synthbuster, amestecând fotografii reale din baza de date RAISE cu imagini generate de o varietate de modele de difuzie și GAN.

Exemple de imagini sintetice din Synthbuster, generate utilizând prompturi de text inspirate de fotografii naturale din setul de date RAISE-1k. Sursă: https://ieeexplore.ieee.org/document/10334046

Imaginile reale au fost comprimate utilizând JPEG AI la mai multe niveluri de debit, iar clasificarea a fost abordată ca o sarcină cu două căi: fie JPEG AI versus un generator specific, fie un anumit nivel de debit versus Stable Diffusion XL.

Caracteristicile de cuantificare (corelații extrase din reprezentări latente) au fost calculate dintr-o regiune fixă de 256×256 și au fost alimentate într-un clasificator forest aleator. Ca bază de comparație, un ResNet50 a fost antrenat pe patch-uri de imagine din aceleași date.

Acuratețea clasificării unui forest aleator utilizând caracteristici de cuantificare pentru a separa imagini comprimate JPEG AI de imagini sintetice.

Pe majoritatea condițiilor, abordarea bazată pe cuantificare a depășit modelul ResNet50 de bază, în special la debite mai mici, unde artefactele de compresie erau mai puternice.

Autorii afirmă:

‘Modelul ResNet50 de bază obține cea mai bună acuratețe pentru imagini Glide, cu o acuratețe de 66,1%, dar altfel generalizează mai prost decât caracteristicile de cuantificare. Caracteristicile de cuantificare prezintă o bună generalizare pe diferite puteri de compresie și tipuri de generatori.

‘Importanța coeficienților care sunt cuantificați la zero este arătată de performanța respectabilă a caracteristicilor trunchiate, care în multe cazuri se desfășoară comparabil cu clasificatorul ResNet50.

‘Cu toate acestea, caracteristicile de cuantificare care utilizează vectorul integer complet, netăiat, funcționează și mai bine. Rezultatele confirmă că cantitatea de zerouri după cuantificare este un indiciu important pentru diferențierea între imagini comprimate AI și imagini generate AI.

‘Totuși, aceasta arată și că alte factori contribuie. Acuratețea vectorului complet pentru detectarea JPEG AI este pentru toate debitele peste 91,0%, și o compresie mai puternică conduce la acuratețe mai mari.’

O proiecție a spațiului de caracteristici utilizând UMAP a arătat o separare clară între imagini JPEG AI și imagini sintetice, cu debite mai mici crescând distanța între clase. Un outlier constant a fost Glide, ale cărui imagini s-au grupat diferit și au avut cea mai mică acuratețe de detectare a oricărui generator testat.

Vizualizare bidimensională UMAP a imaginilor comprimate JPEG AI și a imaginilor sintetice, pe baza caracteristicilor de cuantificare.

În final, autorii au evaluat cât de bine caracteristicile au rezistat procesării post-comprimare tipice, cum ar fi recomprimarea JPEG sau redimensionarea. Deși performanța a scăzut cu procesarea mai puternică, scăderea a fost treptată, sugerând că abordarea păstrează o anumită robustețe chiar și în condiții degradate.

Evaluarea robusteții caracteristicilor de cuantificare sub procesare post-comprimare, incluzând recomprimarea JPEG și redimensionarea imaginii.

Concluzie

Nu este garantat că JPEG AI va avea o adoptare largă. Pe de o parte, există suficientă datorie infrastructurală pentru a impune fricțiuni oricărui nou codec; și chiar și un codec “convențional” cu o genealogie fină și un consens larg asupra valorii sale, cum ar fi AV1, are dificultăți în a înlocui metodele bine stabilite.

În ceea ce privește potențialul său conflict cu generatorii de imagini AI, artefactele de cuantificare caracteristice care ajută la detectarea actuală a generatorilor de imagini AI pot fi diminuate sau înlocuite în sistemele viitoare cu urme de alt tip, presupunând că generatorii de imagini AI vor lăsa întotdeauna urme criminalistice, ceea ce nu este cert.

Aceasta ar însemna că caracteristicile de cuantificare ale JPEG AI, poate împreună cu alte indicii identificate de noul articol, nu vor ajunge să se ciocnească cu urma criminalistică a noilor sisteme generative de imagini AI mai eficiente.

Dacă, însă, JPEG AI continuă să funcționeze ca o “spălare de AI” de facto, estomând semnificativ distincția dintre imagini reale și generate, ar fi dificil să se facă un caz convingător pentru adoptarea sa.

Publicat pentru prima dată marți, 8 aprilie 2025