JPEG AI vervaagt de grens tussen echte en synthetische beelden

In februari van dit jaar werd de JPEG AI-internationale standaard gepubliceerd, na jaren van onderzoek gericht op het gebruik van machine learning-technieken om een kleiner en gemakkelijker overdraagbaar en opslaanbaar beeldcodec te produceren, zonder verlies van perceptuele kwaliteit.

Uit de officiële publicatiestroom voor JPEG AI, een vergelijking tussen Peak Signal-to-Noise Ratio (PSNR) en JPEG AI’s ML-geënhanceerde benadering. Bron: https://jpeg.org/jpegai/documentation.html

Een mogelijke reden waarom deze ontwikkeling weinig aandacht kreeg, is dat de kern-PDF’s voor deze aankondiging (ironisch genoeg) niet beschikbaar waren via gratis toegangsportalen zoals Arxiv. Niettemin had Arxiv al een aantal studies gepubliceerd die de betekenis van JPEG AI onderzochten in verschillende aspecten, waaronder de methode’s ongebruikelijke compressie-artefacten en de betekenis voor forensische analyse.

Een studie vergeleek compressie-artefacten, waaronder die van een eerdere versie van JPEG AI, en vond dat de nieuwe methode de neiging had om tekst te vervagen – geen kleinigheid in gevallen waarin de codec mogelijk bijdraagt aan een bewijsketen. Bron: https://arxiv.org/pdf/2411.06810

Omdat JPEG AI beelden verandert op manieren die lijken op de artefacten van synthetische beeldgeneratoren, hebben bestaande forensische tools moeite om echt van nepbeelden te onderscheiden:

Na JPEG AI-compressie kunnen state-of-the-art-algoritmen authenticiteit van manipulatiegebieden in lokaliseringskaarten niet langer betrouwbaar scheiden, volgens een recente publicatie (maart 2025). De bronvoorbeelden links zijn gemanipuleerde/nepbeelden, waarin de gemanipuleerde gebieden duidelijk zijn aangegeven met standaardforensische technieken (middenafbeelding). Echter, JPEG AI-compressie geeft de nepbeelden een laag van geloofwaardigheid (rechtsafbeelding). Bron: https://arxiv.org/pdf/2412.03261

Een reden hiervoor is dat JPEG AI getraind is met een modelarchitectuur die lijkt op die van generatieve systemen die forensische tools proberen te detecteren:

Het nieuwe artikel illustreert de overeenkomst tussen de methodologieën van AI-gedreven beeldcompressie en daadwerkelijk AI-gegenereerde beelden. Bron: https://arxiv.org/pdf/2504.03191

Daarom kunnen beide modellen enkele vergelijkbare onderliggende visuele kenmerken produceren, vanuit een forensisch oogpunt.

Quantization

Deze overeenkomst treedt op vanwege quantization, die zowel in beide architecturen wordt gebruikt, en die in machine learning zowel als een methode voor het omzetten van continue gegevens in discrete datapunten, als een optimalisatietechniek die de bestandsgrootte van een getraind model aanzienlijk kan verkleinen (enthousiastelingen van beeldsynthese zullen bekend zijn met de wachttijd tussen een onhandelbare officiële modelrelease en een community-geleide gequantificeerde versie die op lokale hardware kan draaien).

In deze context verwijst quantization naar het proces van omzetten van de continue waarden in de latent representatie van het beeld in vaste, discrete stappen. JPEG AI gebruikt dit proces om de hoeveelheid gegevens die nodig zijn om een beeld op te slaan of over te dragen te verkleinen door de interne numerieke representatie te vereenvoudigen.

Hoewel quantization de codering efficiënter maakt, introduceert het ook structurele regelmatigheden die kunnen lijken op de artefacten die achtergelaten worden door generatieve modellen – subtiel genoeg om perceptie te ontwijken, maar storend voor forensische tools.

Als reactie daarop stellen de auteurs van een nieuw artikel getiteld Drie forensische aanwijzingen voor JPEG AI-beelden voorstellen voor interpreteerbare, niet-neurale technieken die JPEG AI-compressie detecteren; bepalen of een beeld opnieuw is gecomprimeerd; en onderscheiden gecomprimeerde echte beelden van die die volledig door AI-modellen zijn gegenereerd.

Methode

Kleurcorrelaties

Het artikel stelt drie ‘forensische aanwijzingen’ voor die zijn aangepast aan JPEG AI-beelden: kleurkanaalcorrelaties, die worden geïntroduceerd tijdens de voorverwerking van JPEG AI; meetbare verstoringen in beeldkwaliteit over herhaalde compressies die recompressiegebeurtenissen onthullen; en latent-ruimtequantisatiepatronen die helpen om gecomprimeerde echte beelden van die te onderscheiden die door AI-modellen zijn gegenereerd.

Met betrekking tot de kleurcorrelatie-gebaseerde benadering introduceert JPEG AI’s voorverwerkingpijplijn statistische afhankelijkheden tussen de kleurkanalen van het beeld, waardoor een signatuur ontstaat die als een forensische aanwijzing kan dienen.

JPEG AI converteert RGB-beelden naar de YUV-kleurruimte en voert 4:2:0 chromasubsampling uit, wat het downsamplen van de chrominantiekanalen voor compressie inhoudt. Dit proces leidt tot subtiele correlaties tussen de hoogfrequente resten van de rode, groene en blauwe kanalen – correlaties die niet aanwezig zijn in ongecomprimeerde beelden en die in sterkte verschillen van die geproduceerd door traditionele JPEG-compressie of synthetische beeldgeneratoren.

Een vergelijking van hoe JPEG AI-compressie de kleurcorrelaties in beelden verandert..

Bovenaan zien we een vergelijking uit het artikel dat illustreert hoe JPEG AI-compressie de kleurcorrelaties in beelden verandert, met de rode kanaal als voorbeeld.

Paneel A vergelijkt ongecomprimeerde beelden met JPEG AI-gecomprimeerde beelden, en toont aan dat compressie de interkanaalcorrelatie aanzienlijk verhoogt; paneel B isoleert het effect van JPEG AI’s voorverwerking – alleen de kleuromvorming en subsampling – en toont aan dat zelfs deze stap alleen al de correlaties aanzienlijk verhoogt; paneel C toont aan dat traditionele JPEG-compressie de correlaties ook enigszins verhoogt, maar niet in dezelfde mate; en paneel D onderzoekt synthetische beelden, waarbij Midjourney-V5 en Adobe Firefly matige correlatieverhogingen vertonen, terwijl anderen dichter bij ongecomprimeerde niveaus blijven.

Rate-Distortion

De rate-distortion-aanwijzing identificeert JPEG AI-recompressie door te volgen hoe de beeldkwaliteit, gemeten door Peak Signal-to-Noise Ratio (PSNR), afneemt in een voorspelbaar patroon over meerdere compressiepassen.

Het onderzoek stelt dat herhaaldelijk comprimeren van een beeld met JPEG AI leidt tot progressief kleinere, maar nog steeds meetbare, verliezen in beeldkwaliteit, zoals gemeten door PSNR, en dat deze geleidelijke degradatie de basis vormt van een forensische aanwijzing voor het detecteren van of een beeld opnieuw is gecomprimeerd.

In tegenstelling tot traditionele JPEG, waarbij eerdere methoden veranderingen in specifieke beeldblokken volgden, vereist JPEG AI een andere benadering vanwege zijn neurale compressiearchitectuur; daarom stellen de auteurs voor om te volgen hoe zowel bitrate als PSNR evolueren over opeenvolgende compressies. Elke ronde van compressie verandert het beeld minder dan de vorige, en deze afnemende verandering (wanneer geplot tegen bitrate) kan onthullen of een beeld meerdere compressiestadia heeft doorlopen:

Een illustratie van hoe herhaalde compressie de beeldkwaliteit beïnvloedt over verschillende codecs, met resultaten van JPEG AI en een neurale codec ontwikkeld op https://arxiv.org/pdf/1802.01436; beide vertonen een gestage daling in PSNR met elke aanvullende compressie, zelfs bij lagere bitrates. In tegenstelling tot traditionele JPEG-compressie, die relatief stabiele kwaliteit behoudt over meerdere compressies, tenzij de bitrate hoog is.

In de afbeelding hierboven zien we de rate-distortion-krommen voor JPEG AI; een tweede AI-gebaseerde codec; en traditionele JPEG, waaruit blijkt dat JPEG AI en de neurale codec een consistente daling in PSNR vertonen over alle bitrates, terwijl traditionele JPEG alleen een merkbare degradatie vertoont bij veel hogere bitrates. Dit gedrag biedt een kwantificeerbaar signaal dat kan worden gebruikt om gecomprimeerde JPEG AI-beelden te markeren.

Door te analyseren hoe bitrate en beeldkwaliteit evolueren over meerdere compressierondes, construeerden de auteurs een signatuur die helpt om te bepalen of een beeld opnieuw is gecomprimeerd, waardoor een potentieel praktisch forensisch signaal ontstaat in de context van JPEG AI.

Quantization

Zoals we eerder zagen, is een van de moeilijkere forensische problemen die door JPEG AI worden opgeworpen, de visuele overeenkomst met synthetische beelden gegenereerd door diffusiemodellen. Beide systemen gebruiken encoder-decoder-architecturen die beelden verwerken in een gecomprimeerde latent ruimte en vaak subtiele upsampling-artefacten achterlaten.

Deze gedeelde kenmerken kunnen detectors in de war brengen – zelfs die die opnieuw zijn getraind op JPEG AI-beelden. Echter, een belangrijk structureel verschil blijft bestaan: JPEG AI past quantization toe, een stap die latent waarden afrondt tot discrete niveaus voor efficiënte compressie, terwijl generatieve modellen dit typisch niet doen.

Het nieuwe artikel gebruikt dit onderscheid om een forensische aanwijzing te ontwerpen die indirect test op de aanwezigheid van quantization. De methode analyseert hoe de latent representatie van een beeld reageert op afronding, onder de veronderstelling dat als een beeld al is gequantiseerd, zijn latent structuur een meetbaar patroon van uitlijning met afgeronde waarden zal vertonen.

Deze patronen, die onzichtbaar zijn voor het oog, produceren statistische verschillen die kunnen helpen om gecomprimeerde echte beelden van volledig synthetische beelden te onderscheiden.

Een voorbeeld van gemiddelde Fourier-spectra toont aan dat zowel JPEG AI-gecomprimeerde beelden als die gegenereerd door diffusiemodellen zoals Midjourney-V5 en Stable Diffusion XL regelmatige grid-achtige patronen in de frequentiedomein vertonen – artefacten die vaak worden gelinkt aan upsampling. In tegenstelling tot echte beelden, die deze patronen ontbreken. Deze overlap in spectrale structuur helpt verklaren waarom forensische tools vaak gecomprimeerde echte beelden met synthetische beelden verwarren.

Belangrijk is dat de auteurs aantonen dat deze aanwijzing werkt over verschillende generatieve modellen en effectief blijft, zelfs wanneer compressie sterk genoeg is om hele secties van de latent ruimte uit te wissen. In tegenstelling tot synthetische beelden, die veel zwakkere reacties op deze afrondingstest vertonen, biedt dit een praktische manier om tussen de twee te onderscheiden.

Het resultaat is bedoeld als een lichtgewicht en interpreteerbare tool die zich richt op het fundamentele verschil tussen compressie en generatie, in plaats van te vertrouwen op broze oppervlakte-artefacten.

Gegevens en tests

Compressie

Om te evalueren of hun kleurcorrelatie-aanwijzing betrouwbaar JPEG AI-compressie kon detecteren (d.w.z. een eerste compressie vanuit ongecomprimeerde bron), testten de auteurs het op hoge-kwaliteit ongecomprimeerde beelden uit de RAISE-dataset, die op verschillende bitrates werden gecomprimeerd met de JPEG AI-referentie-implementatie.

Zij trainden een eenvoudige random forest op de statistische patronen van kleurkanaalcorrelaties (met name hoe residuen in elke kanaal met elkaar in overeenstemming waren) en vergeleken dit met een ResNet50 neurale netwerk getraind op de beeldpixels.

Detectie-accuratesse van JPEG AI-compressie met behulp van kleurcorrelatie-kenmerken, vergeleken over meerdere bitrates. De methode is het meest effectief bij lagere bitrates, waar compressie-artefacten sterker zijn, en toont betere generalisatie naar ongeziene compressieniveaus dan de ResNet50-baseline-model.

Terwijl de ResNet50 een hogere nauwkeurigheid bereikte wanneer de testgegevens dicht bij de trainingsvoorwaarden lagen, had het moeite om te generaliseren over verschillende compressieniveaus. De correlatie-gebaseerde benadering, hoewel veel eenvoudiger, bleek consistenter over bitrates, vooral bij lagere compressieratio’s waar JPEG AI’s voorverwerking een sterker effect had.

Deze resultaten suggereren dat het, zelfs zonder diepe neurale netwerken, mogelijk is om JPEG AI-compressie te detecteren met behulp van statistische aanwijzingen die interpreteerbaar en robuust blijven.

Recompressie

Om te evalueren of JPEG AI-recompressie betrouwbaar kan worden gedetecteerd, testten de onderzoekers de rate-distortion-aanwijzing op een set beelden die op verschillende bitrates waren gecomprimeerd – sommige slechts één keer en andere een tweede keer met JPEG AI.

Deze methode behelsde het extraheren van een 17-dimensionale kenmerkvector om te volgen hoe de bitrate en PSNR van het beeld evolueerden over drie compressiepassen. Deze kenmerkset ving de kwaliteitsverlies bij elke stap en het gedrag van de latent en hyperprior tarieven – metrics die traditionele pixel-gebaseerde methoden niet gemakkelijk kunnen benaderen.

De onderzoekers trainden een random forest op deze kenmerken en vergeleken de prestaties met een ResNet50 getraind op beeldpatches:

Resultaten voor de classificatie-accuratesse van een random forest getraind op rate-distortion-kenmerken voor het detecteren of een JPEG AI-beeld is gecomprimeerd. De methode presteert het beste wanneer de initiële compressie sterk is (d.w.z. bij lagere bitrates), en presteert dan consistent beter dan een pixel-gebaseerde ResNet50 – vooral in gevallen waarin de tweede compressie milder is dan de eerste.

De random forest bleek opvallend effectief wanneer de initiële compressie sterk was (d.w.z. bij lagere bitrates), waarbij duidelijke verschillen tussen enkelvoudig en dubbel gecomprimeerde beelden werden aangetoond. Net als bij de vorige aanwijzing, had de ResNet50-iteratie moeite om te generaliseren, vooral wanneer getest op compressieniveaus die het niet had gezien tijdens de training.

De rate-distortion-kenmerken, daarentegen, bleven stabiel over een breed scala aan scenario’s. Opmerkelijk is dat de aanwijzing werkte, zelfs toen deze werd toegepast op een andere AI-gebaseerde codec, wat suggereert dat de benadering generaliseert buiten JPEG AI.

JPEG AI en synthetische beelden

Voor de laatste testronde testten de auteurs of hun quantization-gebaseerde kenmerken konden onderscheiden tussen JPEG AI-gecomprimeerde beelden en volledig synthetische beelden gegenereerd door modellen zoals Midjourney, Stable Diffusion, DALL-E 2, Glide, en Adobe Firefly.

Hiervoor gebruikten de onderzoekers een subset van de Synthbuster-dataset, waarin echte foto’s uit de RAISE-database werden gemengd met gegenereerde beelden uit een reeks diffusie- en GAN-gebaseerde modellen.

Voorbeelden van synthetische beelden in Synthbuster, gegenereerd met behulp van tekstprompts geïnspireerd door natuurlijke foto’s uit de RAISE-1k-dataset. De beelden werden gemaakt met verschillende diffusiemodellen, met prompts ontworpen om fotorealistische inhoud en texturen te produceren in plaats van gestileerde of artistieke weergaven. Bron: https://ieeexplore.ieee.org/document/10334046

De echte beelden werden gecomprimeerd met JPEG AI op verschillende bitrate-niveaus, en de classificatie werd gepresenteerd als een tweezijdige taak: ofwel JPEG AI versus een specifieke generator, ofwel een specifieke bitrate versus Stable Diffusion XL.

De quantization-kenmerken (correlaties geëxtraheerd uit latent representaties) werden berekend uit een vaste 256×256-regio en gevoed aan een random forest-classificator. Als baseline werd een ResNet50 getraind op pixel-patches uit dezelfde gegevens.

Classificatie-accuratesse van een random forest die quantization-kenmerken gebruikt om JPEG AI-gecomprimeerde beelden te onderscheiden van synthetische beelden.

Over de meeste condities heen presteerde de quantization-gebaseerde benadering beter dan de ResNet50-baseline, vooral bij lagere bitrates waar compressie-artefacten sterker waren.

De auteurs verklaren:

‘De baseline ResNet50 presteert het beste voor Glide-beelden met een nauwkeurigheid van 66,1%, maar anders generaliseert het minder goed dan de quantization-kenmerken. De quantization-kenmerken vertonen een goede generalisatie over compressiesterkte en generatortypen.

‘Het belang van de coëfficiënten die naar nul worden gequantiseerd, wordt aangetoond door de respectabele prestaties van de afgeknotte [kenmerken], die in veel gevallen vergelijkbaar presteren met de ResNet50-classificator.

‘Echter, quantization-kenmerken die het ongeknotte, volledige gehele getal [vector] gebruiken, presteren nog steeds opvallend beter. Deze resultaten bevestigen dat de hoeveelheid nullen na quantisatie een belangrijke aanwijzing is voor het onderscheiden van AI-gecomprimeerde en AI-gegenereerde beelden.

‘Niettemin toont het ook aan dat andere factoren bijdragen. De nauwkeurigheid van de volledige vector voor het detecteren van JPEG AI is voor alle bitrates boven de 91,0%, en sterker compressie leidt tot hogere nauwkeurigheden.’

Een projectie van de kenmerkruimte met behulp van UMAP toonde duidelijke scheiding tussen JPEG AI- en synthetische beelden, waarbij lagere bitrates de afstand tussen klassen vergrootten. Een consistente outlier was Glide, waarvan de beelden anders clusterden en de laagste detectie-accuratesse van alle geteste generators hadden.

Tweedimensionale UMAP-visualisatie van JPEG AI-gecomprimeerde en synthetische beelden, op basis van quantization-kenmerken. Het linkerpaneel toont aan dat lagere JPEG AI-bitrates grotere scheiding van synthetische beelden creëren; het rechterpaneel toont aan hoe beelden van verschillende generators duidelijk clusteren binnen de kenmerkruimte.

Tenslotte evalueerden de auteurs hoe goed de kenmerken standhielden onder typische post-processing, zoals JPEG-recompressie of downsampling. Hoewel de prestaties daalden met zwaardere verwerking, was de daling geleidelijk, wat suggereert dat de benadering enige robuustheid behoudt, zelfs onder afgezwakte omstandigheden.

Evaluatie van de robuustheid van quantization-kenmerken onder post-processing, inclusief JPEG-recompressie (JPG) en beeldresampling (RS).

Conclusie

Het is niet gegarandeerd dat JPEG AI breed zal worden geadopteerd. Enerzijds is er voldoende infrastructuur-schuld aanwezig om wrijving te veroorzaken bij elke nieuwe codec; en zelfs een ‘conventionele’ codec met een goed pedigré en brede consensus over zijn waarde, zoals AV1, heeft moeite om gevestigde methoden te verdringen.

Met betrekking tot het potentieel van het systeem om in conflict te komen met AI-generatoren, kunnen de karakteristieke quantization-artefacten die de huidige generatie van AI-beeld detectors helpen, mogelijk worden verzwakt of uiteindelijk vervangen door sporen van een andere soort, in latere systemen (onder de aanname dat AI-generatoren altijd forensische residu achterlaten, wat niet zeker is).

Dit zou betekenen dat de eigen quantization-karakteristieken van JPEG AI, mogelijk samen met andere aanwijzingen geïdentificeerd door het nieuwe artikel, mogelijk niet in conflict komen met de forensische spoor van de meest effectieve nieuwe generatieve AI-systemen.

Als JPEG AI echter blijft functioneren als een de facto ‘AI-was’, waardoor de scheiding tussen echte en gegenereerde beelden aanzienlijk vervaagt, zou het moeilijk zijn om een overtuigend geval voor zijn adoptie te maken.

Publicatie op dinsdag 8 april 2025