JPEG AI-blurerer grensen mellom ekte og syntetiske bilder

I februar i år ble den JPEG AI internasjonale standarden publisert, etter flere års forskning rettet mot å bruke maskinlærings-teknikker for å produsere en mindre og mer overførbar og lagrbar bildekodek, uten tap i perseptuell kvalitet.

Fra den offisielle publikasjonstrømmen for JPEG AI, en sammenligning mellom Peak Signal-to-Noise Ratio (PSNR) og JPEG AI’s ML-forbedrede tilnærming. Kilde: https://jpeg.org/jpegai/documentation.html

En mulig grunn til at denne begivenheten fikk få overskrifter er at de grunnleggende PDF-ene for denne annonseringen ikke var tilgjengelige gjennom gratis-tilgangsportalene som Arxiv. Likevel hadde Arxiv allerede lagt frem en rekke studier som undersøkte betydningen av JPEG AI over flere aspekter, inkludert metoden sin uvanlige komprimeringsartefakter og dens betydning for kriminalteknikk.

En studie sammenlignet komprimeringsartefakter, inkludert de fra en tidligere utkast av JPEG AI, og fant at den nye metoden hadde en tendens til å blurre tekst – ikke en ubetydelig sak i tilfeller hvor kodeken kan bidra til en beviskjede. Kilde: https://arxiv.org/pdf/2411.06810

Fordi JPEG AI endrer bilder på måter som ligner artefaktene fra syntetiske bildegeneratore, har eksisterende kriminaltekniske verktøy vanskeligheter med å skille ekte fra falske bilder:

Etter JPEG AI-komprimering kan state-of-the-art-algoritmer ikke lenger pålitelig skille autentiske innhold fra manipulerte regioner i lokaliseringskart, ifølge en nylig artikkel (mars 2025). Eksemplene på venstre side er manipulerte/falske bilder, hvor de manipulerte regionene er tydelig avgrenset under standard kriminaltekniske teknikker (midterbilde). Likevel gir JPEG AI-komprimering de falske bildene et lag av troverdighet (bilde til høyre). Kilde: https://arxiv.org/pdf/2412.03261

En grunn til dette er at JPEG AI er trent med en modellarkitektur som ligner de som brukes av generative systemer som kriminaltekniske verktøy forsøker å detektere:

Den nye artikkelen illustrerer likheten mellom metodene for Ai-drevet bildekomprimering og faktiske AI-genererte bilder. Kilde: https://arxiv.org/pdf/2504.03191

Derfor kan begge modellene produsere noen lignende underliggende visuelle egenskaper, fra et kriminalteknisk ståsted.

Kvantifisering

Dette kryssningspunktet skjer på grunn av kvantifisering, som er felles for begge arkitekturer, og som brukes i maskinlæring både som en metode for å konvertere kontinuerlige data til diskrete datapunkter, og som en optimeringsteknikk som kan betydelig slimme ned filstørrelsen på en trent modell (uformelle bilde-syntese-entusiaster vil være kjent med ventetiden mellom en ubehandlet offisiell modellutgivelse og en community-drevet kvantifisert versjon som kan kjøres på lokal maskinvare).

I denne sammenhengen refererer kvantifisering til prosessen med å konvertere de kontinuerlige verdiene i bildets latent representasjon til faste, diskrete trinn. JPEG AI bruker denne prosessen til å redusere mengden data som trengs for å lagre eller overføre et bilde ved å forenkle den interne numeriske representasjonen.

Selv om kvantifisering gjør kodning mer effektiv, påfører den også strukturelle regelmessigheter som kan ligne artefaktene etter generative modeller – subtile nok til å unngå persepsjon, men disruptivt for kriminaltekniske verktøy.

Som respons foreslår forfatterne av en ny artikkel med tittelen Three Forensic Cues for JPEG AI Images tolkbare, ikke-neurale teknikker som detekterer JPEG AI-komprimering; bestemmer om et bilde har blitt rekompimert; og skille komprimerte ekte bilder fra de som er generert helt av AI.

Metode

Fargekorrelasjoner

Artikkelen foreslår tre ‘kriminaltekniske signaler’ tilpasset JPEG AI-bilder: fargekanal-korrelasjoner, introdusert under JPEG AI’s forbehandlingssteg; målbare forvrengninger i bildekvalitet over gjentatte komprimeringer som avslører rekompimeringsevent; og latentspace-kvantifiseringsmønster som hjelper å skille bilder komprimert av JPEG AI fra de generert av AI-modeller.

Med hensyn til fargekorrelasjonsbasert tilnærming, introduserer JPEG AI’s forbehandlingspipeline statistiske avhengigheter mellom bildets fargekanaler, som skaper en signatur som kan fungere som en kriminalteknisk signal.

JPEG AI konverterer RGB-bilder til YUV-fargerommet og utfører 4:2:0 kromasubsampling, som innebærer nedsampling av krominanskanalene før komprimering. Denne prosessen fører til subtile korrelasjoner mellom høyfrekvens-residuen av røde, grønne og blå kanaler – korrelasjoner som ikke er til stede i ukomprimerte bilder, og som skiller seg i styrke fra de produsert av tradisjonell JPEG-komprimering eller syntetiske bildegeneratore.

En sammenligning av hvordan JPEG AI-komprimering endrer fargekorrelasjoner i bilder..

Ovenfor kan vi se en sammenligning fra artikkelen som viser hvordan JPEG AI-komprimering endrer fargekorrelasjoner i bilder, med rød kanalen som eksempel.

Panel A sammenligner ukomprimerte bilder med JPEG AI-komprimerte bilder, og viser at komprimering betydelig øker inter-kanalkorrelasjon; panel B isolerer effekten av JPEG AI’s forbehandling – bare fargekonvertering og subsampling – og demonstrerer at selv dette steget alene øker korrelasjonene merkbart; panel C viser at tradisjonell JPEG-komprimering også øker korrelasjonene noe, men ikke like mye; og Panel D undersøker syntetiske bilder, med Midjourney-V5 og Adobe Firefly som viser moderate korrelasjonsøkninger, mens andre forblir nærmere ukomprimerte nivåer.

Rate-Distortion

Rate-Distortion-signalet identifiserer JPEG AI-rekompimering ved å spore hvordan bildekvalitet, målt i Peak Signal-to-Noise Ratio (PSNR), synker i et forutsigbart mønster over flere komprimeringsrunder.

Forskningen hevder at å komprimere et bilde med JPEG AI flere ganger fører til stadig mindre, men likevel målbare, tap i bildekvalitet, som kvantifiseres av PSNR, og at denne gradvise forverringen danner grunnlaget for en kriminalteknisk signal for å detektere om et bilde har blitt rekompimert.

I motsetning til tradisjonell JPEG, hvor tidligere metoder fulgte endringer i bestemte bildeblokker, krever JPEG AI en annen tilnærming, på grunn av sin neurale komprimeringsarkitektur; derfor foreslår forfatterne å overvåke hvordan både bitrate og PSNR utvikler seg over påfølgende komprimeringer. Hver runde med komprimering endrer bildet mindre enn den foregående, og denne avtagende endringen (når den plottes mot bitrate) kan avsløre om et bilde har gått gjennom flere komprimeringsstadier:

En illustrasjon av hvordan gjentakende komprimering påvirker bildekvalitet over forskjellige kodeker, med resultater fra JPEG AI og en neuralt kodek utviklet på https://arxiv.org/pdf/1802.01436; begge viser en jevn nedgang i PSNR med hver ytterligere komprimering, selv ved lavere bitrate. I motsetning til dette opprettholder tradisjonell JPEG-komprimering en relativt stabil kvalitet over flere komprimeringer, med mindre bitraten er høy.

I bildet ovenfor ser vi grafiske rate-distortion-kurver for JPEG AI; en annen Ai-basert kodek; og tradisjonell JPEG, og finner at JPEG AI og den neurale kodeken viser en jevn PSNR-nedgang over alle bitrater, mens tradisjonell JPEG bare viser merkbart forverring ved mye høyere bitrater. Dette mønsteret gir et kvantifiserbart signal som kan brukes til å flagge rekompimerte JPEG AI-bilder.

Ved å trekke ut hvordan bitrate og bildekvalitet utvikler seg over flere komprimeringsrunder, konstruerte forfatterne på lignende måte en signatur som hjelper å flagge om et bilde har blitt rekompimert, og tilbyr et potensielt praktisk kriminalteknisk signal i sammenheng med JPEG AI.

Kvantifisering

Som vi så tidligere, er ett av de mer utfordrende kriminaltekniske problemene som JPEG AI reiser, dens visuelle likhet med syntetiske bilder generert av diffusjonsmodeller. Begge systemene bruker encoder-decoder-arkitekturer som prosesserer bilder i et komprimert latent rom og ofte etterlater subtile upsampling-artefakter.

Disse felles trekkene kan forvirre detektorer – selv de som er omtrukket på JPEG AI-bilder. Likevel er det en nøkkelstrukturell forskjell: JPEG AI anvender kvantifisering, et steg som runder latentverdier til diskrete nivåer for effektiv komprimering, mens generative modeller vanligvis ikke gjør det.

Den nye artikkelen bruker denne forskjellen til å designe en kriminalteknisk signal som indirekte tester på tilstedeværelsen av kvantifisering. Metoden analyserer hvordan den latente representasjonen av et bilde reagerer på avrunding, under antagelse av at hvis et bilde allerede har blitt kvantifisert, vil dets latente struktur vise en målbar mønster av justering med avrundede verdier.

Disse mønsterene, selv om de er usynlige for øyet, produserer statistiske forskjeller som kan hjelpe å skille komprimerte ekte bilder fra fullstendig syntetiske bilder.

Et eksempel på gjennomsnittlige Fourier-spektra viser at både JPEG AI-komprimerte bilder og de generert av diffusjonsmodeller som Midjourney-V5 og Stable Diffusion XL viser regelmessige grid-lignende mønster i frekvensdomenet – artefakter som vanligvis kobles til upsampling. I motsetning til dette mangler ekte bilder disse mønsterene. Denne overlap i spektral struktur hjelper å forklare hvorfor kriminaltekniske verktøy ofte forvirrer komprimerte ekte bilder med syntetiske bilder.

Viktig er at forfatterne viser at denne signalet fungerer over forskjellige generative modeller og forblir effektiv selv når komprimeringen er sterk nok til å nullstille hele seksjoner av det latente rommet. I motsetning til dette viser syntetiske bilder svært svake responser på denne avrundingstesten, og tilbyr en praktisk måte å skille mellom de to.

Resultatet er ment som et lettvekts- og tolkbart verktøy som tar sikte på den grunnleggende forskjellen mellom komprimering og generering, i stedet for å stole på skjøre overfladeartefakter.

Data og tester

Komprimering

For å evaluere om deres fargekorrelasjons-signal kunne pålitelig detektere JPEG AI-komprimering (dvs. en første pass fra ukomprimert kilde), testet forfatterne det på høykvalitets ukomprimerte bilder fra RAISE-databasen, komprimerte disse med forskjellige bitrater, og brukte JPEG AI-referanseimplementeringen.

De trente en enkel random forest på statistiske mønster av fargekanal-korrelasjoner (spesielt hvordan residiell støy i hver kanal justerte seg med de andre) og sammenlignet dette med en ResNet50 neuralt nettverk trent direkte på bildepiksler.

Deteksjonsnøyaktighet av JPEG AI-komprimering ved å bruke fargekorrelasjons-egenskaper, sammenlignet over flere bitrater. Metoden er mest effektiv ved lavere bitrater, hvor komprimeringsartefakter er sterkere, og viser bedre generalisering til ukjente komprimeringsnivåer enn baseline ResNet50-modellen.

Mens ResNet50 oppnådde høyere nøyaktighet når testdataen lignet på treningbetingelser, hadde den vanskeligheter med å generalisere over forskjellige komprimeringsnivåer. Fargekorrelasjonsbasert tilnærming, selv om den var mye enklere, viste seg å være mer konsistent over bitrater, spesielt ved lavere komprimeringsrater hvor JPEG AI’s forbehandling hadde en sterkere effekt.

Disse resultatene antyder at selv uten dyp læring er det mulig å detektere JPEG AI-komprimering ved å bruke statistiske signaler som forblir tolkbare og robuste.

Rekompimering

For å evaluere om JPEG AI rekomprimering kan detekteres pålitelig, testet forskerne rate-distortion-signalet på en samling av bilder komprimerte med forskjellige bitrater – noen bare en gang og andre en gang til med JPEG AI.

Denne metoden involverte å trekke ut en 17-dimensjonal egenskapsvektor for å spore hvordan bildets bitrate og PSNR utviklet seg over tre komprimeringsrunder. Denne egenskapssettet fanget hvor mye kvalitet som gikk tapt ved hver runde, og hvordan de latente og hyperprior-rater oppførte seg – målinger som tradisjonelle piksel-baserte metoder ikke lett kan nå.

Forskere trente en random forest på disse egenskapene og sammenlignet dens ytelse med en ResNet50 trent på bildepiksler:

Resultater for klassifikasjonsnøyaktigheten av en random forest trent på rate-distortion-egenskaper for å detektere om et JPEG AI-bilde har blitt rekompimert. Metoden fungerer best når den første komprimeringen er sterk (dvs. ved lavere bitrater), og konsekvent overgår en piksel-basert ResNet50 – spesielt i tilfeller hvor den andre komprimeringen er mildere enn den første.

Random forest viste seg å være merkbart effektiv når den første komprimeringen var sterk (dvs. ved lavere bitrater), og avslørte tydelige forskjeller mellom enkelt- og dobbelt-komprimerte bilder. Som med det forrige signalet, hadde ResNet50-iterasjonen vanskeligheter med å generalisere, spesielt når testet på komprimeringsnivåer den ikke hadde sett under trening.

Rate-distortion-egenskapene, i motsetning til dette, forble robuste over et bredt spekter av scenarioer. Merkverdig var at signalet fungerte også når det ble anvendt på en annen Ai-basert kodek, noe som antyder at tilnærmingen generaliserer utover JPEG AI.

JPEG AI og syntetiske bilder

For den siste testrunden testet forfatterne om deres kvantifiseringsbaserte egenskaper kunne skille mellom JPEG AI-komprimerte bilder og fullstendig syntetiske bilder generert av modeller som Midjourney, Stable Diffusion, DALL-E 2, Glide, og Adobe Firefly.

For dette brukte de en undergruppe av Synthbuster-databasen, som blandet ekte fotografier fra RAISE-databasen med genererte bilder fra en rekke diffusjons- og GAN-baserte modeller.

Eksempler på syntetiske bilder i Synthbuster, generert ved hjelp av tekstprompts inspirert av naturlige fotografier fra RAISE-1k-databasen. Bildene ble skapt med forskjellige diffusjonsmodeller, med promter designet for å produsere fotorealistiske innhold og teksturer i stedet for stiliserte eller kunstneriske gjengivelser. Kilde: https://ieeexplore.ieee.org/document/10334046

De ekte bildene ble komprimerte med JPEG AI på flere bitratenivåer, og klassifikasjonen ble stilt som en toveisoppgave: enten JPEG AI versus en spesifikk generator, eller en spesifikk bitrate versus Stable Diffusion XL.

Kvantifiserings-egenskapene (korrelasjoner trekke fra latente representasjoner) ble beregnet fra et fast 256×256-område og matet til en random forest-klassifikator. Som en baseline ble en ResNet50 trent på piksel-patcher fra samme data.

Klassifikasjonsnøyaktighet av en random forest som bruker kvantifiserings-egenskaper for å skille JPEG AI-komprimerte bilder fra syntetiske bilder.

Over de fleste betingelser overgikk den kvantifiseringsbaserte tilnærmingen ResNet50-baselinjen, spesielt ved lavere bitrater hvor komprimeringsartefakter var sterkere.

Forfatterne slår fast:

‘Baseline ResNet50 utfører best for Glide-bilder med en nøyaktighet på 66,1%, men ellers generaliserer den dårligere enn kvantifiserings-egenskapene. Kvantifiserings-egenskapene viser en god generalisering over komprimeringsstyrker og generatortyper.

‘Viktigheten av koeffisientene som kvantifiseres til null er vist i den respektabelle ytelsen til de avkortede [egenskapene], som i mange tilfeller utfører like godt som ResNet50-klassifikatoren.

‘Men kvantifiserings-egenskaper som bruker den utavkortede, fulle heltalls-[vektor] utfører likevel merkbart bedre. Disse resultatene bekrefter at mengden nuller etter kvantifisering er et viktig signal for å skille Ai-komprimerte og Ai-genererte bilder.

‘Likevel viser det også at andre faktorer bidrar. Nøyaktigheten av den fulle vektoren for å detektere JPEG AI er for alle bitrater over 91,0%, og sterkere komprimering fører til høyere nøyaktigheter.’

En projeksjon av egenskapsrommet ved hjelp av UMAP viste en tydelig skille mellom JPEG AI og syntetiske bilder, med lavere bitrater som økte avstanden mellom klassene. En konsekvent outlier var Glide, hvis bilder klustret annerledes og hadde den laveste deteksjonsnøyaktigheten av noen generator testet.

To-dimensjonal UMAP-visning av JPEG AI-komprimerte og syntetiske bilder, basert på kvantifiserings-egenskaper. Venstre plot viser at lavere JPEG AI-bitrater skaper større skille fra syntetiske bilder; høyre plot viser hvordan bilder fra forskjellige generatore klusterer distinkt innenfor egenskapsrommet.

Til slutt evaluerte forfatterne hvor godt egenskapene holdt seg under typisk post-prosessering, som JPEG-rekompimering eller nedskaling. Mens ytelsen sank med kraftigere prosessering, var nedgangen gradvis, noe som antyder at tilnærmingen beholder en viss robusthet selv under degraderte forhold.

Evaluering av kvantifiserings-egenskaps robusthet under post-prosessering, inkludert JPEG-rekompimering (JPG) og bilde-omskaling (RS).

Konklusjon

Det er ikke garantert at JPEG AI vil oppnå bredt utbredelse. For det første er det nok infrastruktur-gjeld til å påføre friksjon på enhver ny kodek; og selv en ‘konvensjonell’ kodek med en fin ære og bred enighet om sin verdi, som AV1, har en hard tid å fortrenge etablerte metoder.

I forhold til systemets potensielle konflikt med Ai-generatore, kan de karakteristiske kvantifiseringsartefaktene som hjelper den nåværende generasjonen av Ai-bilde-detektorer muligens bli redusert eller erstattet av spor av en annen type, i senere systemer (under antagelse av at Ai-generatore alltid etterlater kriminaltekniske spor, noe som ikke er sikkert).

Dette ville bety at JPEG AI’s egne kvantifiseringskarakteristika, kanskje sammen med andre signaler identifisert av den nye artikkelen, muligens ikke vil kollidere med den kriminaltekniske sporet av de mest effektive nye generative Ai-systemene.

Hvis imidlertid JPEG AI fortsetter å fungere som en de facto ‘Ai-vask’, som betydelig utvisker skillet mellom ekte og genererte bilder, ville det være vanskelig å fremme en overbevisende sak for dens oppakning.

Først publisert tirsdag, 8. april 2025