JPEG AI Offusca la Linea tra Immagini Realistiche e Sintetiche

Nel mese di febbraio di quest’anno, lo standard internazionale JPEG AI è stato pubblicato, dopo diversi anni di ricerca finalizzati all’utilizzo di tecniche di apprendimento automatico per produrre un codec di immagini più piccolo e più facile da trasmettere o archiviare, senza perdita di qualità percettiva.

Dalla pubblicazione ufficiale di JPEG AI, un confronto tra Peak Signal-to-Noise Ratio (PSNR) e l’approccio ML-augmentato di JPEG AI. Fonte: https://jpeg.org/jpegai/documentation.html

Una possibile ragione per cui questo evento ha ricevuto poca attenzione è che i documenti principali per questo annuncio non erano disponibili attraverso portali di accesso gratuito come Arxiv. Tuttavia, Arxiv aveva già pubblicato diversi studi che esaminavano l’importanza di JPEG AI in diversi aspetti, tra cui gli insoliti artefatti di compressione e la sua rilevanza per le indagini forensi.

Uno studio ha confrontato gli artefatti di compressione, compresi quelli di una bozza precedente di JPEG AI, scoprendo che il nuovo metodo aveva la tendenza a sfumare il testo. Fonte: https://arxiv.org/pdf/2411.06810

Perché JPEG AI altera le immagini in modi che imitano gli artefatti dei generatori di immagini sintetiche, gli strumenti forensi esistenti hanno difficoltà a distinguere le immagini reali da quelle false:

Dopo la compressione JPEG AI, gli algoritmi all’avanguardia non possono più separare in modo affidabile il contenuto autentico dalle aree manomesse nelle mappe di localizzazione. Fonte: https://arxiv.org/pdf/2412.03261

Una ragione è che JPEG AI è stato addestrato utilizzando un’architettura di modello simile a quelle utilizzate dai sistemi generativi che gli strumenti forensi cercano di rilevare:

Il nuovo articolo illustra la somiglianza tra le metodologie della compressione di immagini guidata da AI e le immagini generate da AI. Fonte: https://arxiv.org/pdf/2504.03191

Pertanto entrambi i modelli possono produrre alcune caratteristiche visive sottostanti simili, da un punto di vista forense.

Quantizzazione

Questo incrocio si verifica a causa della quantizzazione, comune a entrambe le architetture, e che viene utilizzata nell’apprendimento automatico sia come metodo di conversione dei dati continui in punti di dati discreti, sia come tecnica di ottimizzazione che può ridurre notevolmente le dimensioni del file di un modello addestrato (gli appassionati di sintesi di immagini saranno familiari con l’attesa tra la pubblicazione ufficiale di un modello ingombrante e una versione quantizzata a cura della community che può essere eseguita su hardware locale).

In questo contesto, la quantizzazione si riferisce al processo di conversione dei valori continui nella rappresentazione latente dell’immagine in passi discreti fissi. JPEG AI utilizza questo processo per ridurre la quantità di dati necessari per archiviare o trasmettere un’immagine semplificando la rappresentazione numerica interna.

Sebbene la quantizzazione renda la codifica più efficiente, impone anche regolarità strutturali che possono assomigliare agli artefatti lasciati dai modelli generativi – abbastanza sottili da sfuggire alla percezione, ma disruptivi per gli strumenti forensi.

In risposta, gli autori di un nuovo lavoro intitolato Three Forensic Cues for JPEG AI Images propongono tecniche interpretabili e non neurali che rilevano la compressione JPEG AI; determinano se un’immagine è stata ricompattata; e distinguono immagini reali compresse da quelle generate interamente da AI.

Metodo

Correlazioni di Colore

L’articolo propone tre ‘indizi forensi’ personalizzati per le immagini JPEG AI: correlazioni dei canali di colore, introdotte durante i passaggi di pre-elaborazione di JPEG AI; distorsioni misurabili nella qualità dell’immagine attraverso compressioni ripetute che rivelano eventi di ricompressione; e modelli di quantizzazione nello spazio latente che aiutano a distinguere tra immagini compresse da JPEG AI e quelle generate da modelli AI.

Riguardo all’approccio basato sulla correlazione dei colori, la pipeline di pre-elaborazione di JPEG AI introduce dipendenze statistiche tra i canali di colore dell’immagine, creando una firma che può servire come indizio forense.

JPEG AI converte le immagini RGB nello spazio colore YUV e esegue un campionamento cromatico 4:2:0, che coinvolge il downsampling dei canali di crominanza prima della compressione. Questo processo porta a correlazioni sottili tra i residui ad alta frequenza dei canali rosso, verde e blu – correlazioni che non sono presenti nelle immagini non compresse e che differiscono in forza da quelle prodotte dalla compressione JPEG tradizionale o dai generatori di immagini sintetiche.

Un confronto di come la compressione JPEG AI altera le correlazioni di colore nelle immagini..

In alto possiamo vedere un confronto tratto dall’articolo che illustra come la compressione JPEG AI altera le correlazioni di colore nelle immagini, utilizzando il canale rosso come esempio.

Il pannello A confronta immagini non compresse con quelle compresse da JPEG AI, mostrando che la compressione aumenta notevolmente la correlazione inter-canale; il pannello B isola l’effetto della pre-elaborazione di JPEG AI – solo la conversione del colore e il campionamento – dimostrando che anche questo passaggio aumenta le correlazioni in modo significativo; il pannello C mostra che la compressione JPEG tradizionale aumenta leggermente le correlazioni, ma non allo stesso livello; e il pannello D esamina immagini sintetiche, con Midjourney-V5 e Adobe Firefly che mostrano aumenti di correlazione moderati, mentre altri rimangono più vicini ai livelli non compressi.

Tasso-Distorsione

L’indizio del tasso-di-distorsione identifica la ricompressione JPEG AI tracciando come la qualità dell’immagine, misurata dal Peak Signal-to-Noise Ratio (PSNR), declina in un modello prevedibile attraverso più passaggi di compressione.

La ricerca sostiene che la ricompressione ripetuta di un’immagine con JPEG AI porta a perdite progressive, ma ancora misurabili, nella qualità dell’immagine, come quantificata dal PSNR, e che questo declino graduale forma la base di un indizio forense per rilevare se un’immagine è stata ricompattata.

A differenza della compressione JPEG tradizionale, dove i metodi precedenti tracciavano i cambiamenti in blocchi di immagine specifici, JPEG AI richiede un approccio diverso, a causa della sua architettura di compressione neurale; pertanto gli autori propongono di monitorare come sia la velocità di bit che il PSNR evolvono attraverso compressioni successive. Ogni round di compressione altera l’immagine meno di quello precedente, e questo cambiamento diminuito (quando tracciato contro la velocità di bit) può rivelare se un’immagine è stata sottoposta a più fasi di compressione:

Un’illustrazione di come la ricompressione ripetuta influisca sulla qualità dell’immagine attraverso diversi codec, con risultati da JPEG AI e un codec neurale sviluppato su https://arxiv.org/pdf/1802.01436; entrambi esibiscono un declino costante del PSNR con ogni ulteriore compressione, anche a bitrate più bassi. Al contrario, la compressione JPEG tradizionale mantiene una qualità relativamente stabile attraverso più compressioni, a meno che il bitrate non sia alto.

Nell’immagine sopra, vediamo tracciati i curve di tasso-di-distorsione per JPEG AI; un secondo codec basato su AI; e la compressione JPEG tradizionale, trovando che JPEG AI e il codec neurale mostrano un declino costante del PSNR attraverso tutti i bitrate, mentre la compressione JPEG tradizionale mostra solo un degrado significativo a bitrate molto più alti. Questo comportamento fornisce un segnale quantificabile che può essere utilizzato per segnalare immagini JPEG AI ricompattate.

Estraendo come la velocità di bit e la qualità dell’immagine evolvono attraverso più round di compressione, gli autori costruirono in modo analogo una firma che aiuta a segnalare se un’immagine è stata ricompattata, offrendo un potenziale indizio forense pratico nel contesto di JPEG AI.

Quantizzazione

Come abbiamo visto in precedenza, uno dei problemi forensi più impegnativi sollevati da JPEG AI è la sua somiglianza visiva con le immagini sintetiche generate da modelli di diffusione. Entrambi i sistemi utilizzano architetture encoder-decoder che elaborano le immagini in uno spazio latente compresso e spesso lasciano dietro di sé sottili artefatti di upsampling.

Queste caratteristiche condivise possono confondere i rilevatori – anche quelli riaddestrati su immagini JPEG AI. Tuttavia, una chiave differenza strutturale rimane: JPEG AI applica la quantizzazione, un passaggio che arrotonda i valori latenti a livelli discreti per una compressione efficiente, mentre i modelli generativi di solito non lo fanno.

Il nuovo articolo utilizza questa distinzione per progettare un indizio forense che indirettamente testa la presenza di quantizzazione. Il metodo analizza come la rappresentazione latente di un’immagine risponde all’arrotondamento, sull’assunzione che se un’immagine è già stata quantizzata, la sua struttura latente esibirà un modello di allineamento con valori arrotondati misurabile.

Questi modelli, sebbene invisibili all’occhio, producono differenze statistiche che possono aiutare a separare immagini reali compresse da quelle interamente sintetiche.

Un esempio di spettri di Fourier medi rivela che sia le immagini compresse da JPEG AI che quelle generate da modelli di diffusione come Midjourney-V5 e Stable Diffusion XL esibiscono modelli a griglia regolari nel dominio della frequenza – artefatti comunemente collegati all’upsampling. Al contrario, le immagini reali mancano di questi modelli. Questo sovrapporsi nella struttura spettrale aiuta a spiegare perché gli strumenti forensi spesso confondono immagini reali compresse con quelle sintetiche.

È importante notare che gli autori mostrano che questo indizio funziona attraverso diversi modelli generativi e rimane efficace anche quando la compressione è sufficientemente forte da azzerare intere sezioni dello spazio latente. Al contrario, le immagini sintetiche mostrano risposte molto più deboli a questo test di arrotondamento, offrendo un modo pratico per distinguere tra le due.

Il risultato è inteso come uno strumento leggero e interpretabile che si concentra sulla differenza fondamentale tra compressione e generazione, piuttosto che affidarsi a fragili artefatti di superficie.

Dati e Test

Compressione

Per valutare se il loro indizio di correlazione di colore potesse rilevare in modo affidabile la compressione JPEG AI (cioè, un primo passaggio da sorgente non compressa), gli autori hanno testato su immagini ad alta qualità non compresse del set di dati RAISE, comprimendole a diversi bitrate utilizzando l’implementazione di riferimento di JPEG AI.

Hanno addestrato un semplice random forest sui modelli statistici delle correlazioni dei canali di colore (in particolare come il rumore residuo in ogni canale si allineava con gli altri) e lo hanno confrontato con un ResNet50 addestrato direttamente sui pixel dell’immagine.

Precisione di rilevamento della compressione JPEG AI utilizzando caratteristiche di correlazione di colore, confrontate attraverso diversi bitrate. Il metodo è più efficace a bitrate più bassi, dove gli artefatti di compressione sono più forti, e mostra una migliore generalizzazione a livelli di compressione non visti rispetto al modello di base ResNet50.

Mentre il ResNet50 ha raggiunto una maggiore precisione quando i dati di test si avvicinavano alle condizioni di addestramento, ha faticato a generalizzare attraverso diversi livelli di compressione. L’approccio basato sulla correlazione, sebbene molto più semplice, si è rivelato più coerente attraverso i bitrate, specialmente a tassi di compressione più bassi dove la pre-elaborazione di JPEG AI ha un effetto più forte.

Questi risultati suggeriscono che, anche senza apprendimento profondo, è possibile rilevare la compressione JPEG AI utilizzando indizi statistici che rimangono interpretabili e resilienti.

Ricompressione

Per valutare se la ricompressione JPEG AI può essere rilevata in modo affidabile, i ricercatori hanno testato l’indizio del tasso-di-distorsione su un set di immagini compresse a diversi bitrate – alcune solo una volta e altre una seconda volta utilizzando JPEG AI.

Questo metodo ha comportato l’estrazione di un vettore di caratteristiche a 17 dimensioni per tracciare come la velocità di bit e il PSNR dell’immagine evolvevano attraverso tre passaggi di compressione. Questo set di caratteristiche ha catturato quanta qualità era persa ad ogni passaggio e come le velocità latente e iperpriori si comportavano – metriche che i metodi basati sui pixel non possono facilmente accedere.

I ricercatori hanno addestrato un random forest su queste caratteristiche e hanno confrontato le sue prestazioni con un ResNet50 addestrato su patch di immagine:

Risultati per l’accuratezza di classificazione di un random forest addestrato su caratteristiche di tasso-di-distorsione per rilevare se un’immagine JPEG AI è stata ricompattata. Il metodo funziona meglio quando la compressione iniziale è forte (cioè, a bitrate più bassi), e poi supera costantemente un ResNet50 basato sui pixel – specialmente nei casi in cui la seconda compressione è più leggera della prima.

Il random forest si è rivelato notevolmente efficace quando la compressione iniziale era forte (cioè, a bitrate più bassi), rivelando chiare differenze tra immagini compresse una sola volta e quelle compresse due volte. Come per l’indizio precedente, il ResNet50 ha faticato a generalizzare, particolarmente quando testato su livelli di compressione che non aveva visto durante l’addestramento.

Le caratteristiche di tasso-di-distorsione, al contrario, sono rimaste stabili attraverso una vasta gamma di scenari. Notabilmente, l’indizio ha funzionato anche quando applicato a un diverso codec basato su AI, suggerendo che l’approccio si generalizza oltre JPEG AI.

JPEG AI e Immagini Sintetiche

Per l’ultimo round di test, gli autori hanno testato se le loro caratteristiche di quantizzazione possano distinguere tra immagini compresse da JPEG AI e immagini interamente sintetiche generate da modelli come Midjourney, Stable Diffusion, DALL-E 2, Glide, e Adobe Firefly.

Per questo, i ricercatori hanno utilizzato un subset del set di dati Synthbuster, mescolando foto reali del database RAISE con immagini generate da una varietà di modelli di diffusione e basati su GAN.

Esempi di immagini sintetiche in Synthbuster, generate utilizzando prompt di testo ispirati a fotografie naturali del set di dati RAISE-1k. Le immagini sono state create con vari modelli di diffusione, con prompt progettati per produrre contenuti fotorealistici e texture piuttosto che rendering stilizzati o artistici. Fonte: https://ieeexplore.ieee.org/document/10334046

Le immagini reali sono state compresse utilizzando JPEG AI a diversi livelli di bitrate, e la classificazione è stata posta come un compito a due vie: o JPEG AI contro un generatore specifico, o un bitrate specifico contro Stable Diffusion XL.

Le caratteristiche di quantizzazione (correlazioni estratte dalle rappresentazioni latenti) sono state calcolate da una regione fissa di 256×256 pixel e fornite a un classificatore random forest. Come baseline, un ResNet50 è stato addestrato su patch di pixel dai medesimi dati.

Accuratezza di classificazione di un random forest che utilizza caratteristiche di quantizzazione per separare immagini compresse da JPEG AI da immagini sintetiche.

Attraverso la maggior parte delle condizioni, l’approccio basato sulla quantizzazione ha superato la baseline ResNet50, particolarmente a bitrate più bassi dove gli artefatti di compressione erano più forti.

Gli autori affermano:

‘La baseline ResNet50 funziona meglio per le immagini Glide con un’accuratezza del 66.1%, ma altrimenti generalizza peggio delle caratteristiche di quantizzazione. Le caratteristiche di quantizzazione mostrano una buona generalizzazione attraverso forze di compressione e tipi di generatori.

‘L’importanza dei coefficienti che sono quantizzati a zero è mostrata nelle prestazioni rispettabili delle caratteristiche troncate, che in molti casi si eseguono in modo comparabile al classificatore ResNet50.

‘Tuttavia, le caratteristiche di quantizzazione che utilizzano il vettore intero non troncato, con interi completi, si eseguono ancora meglio. Questi risultati confermano che la quantità di zeri dopo la quantizzazione è un indizio importante per differenziare immagini compresse da AI e immagini generate da AI.

‘Tuttavia, mostra anche che altri fattori contribuiscono. L’accuratezza del vettore completo per la rilevazione di JPEG AI è per tutti i bitrate sopra il 91.0%, e una compressione più forte porta a maggiori accuratezze.’

Una proiezione dello spazio delle caratteristiche utilizzando UMAP ha mostrato una chiara separazione tra immagini JPEG AI e sintetiche, con bitrate più bassi che aumentano la distanza tra le classi. Un outlier costante è stato Glide, le cui immagini si sono raggruppate in modo diverso e hanno avuto la più bassa accuratezza di rilevamento tra i generatori testati.

Visualizzazione bidimensionale UMAP di immagini compresse da JPEG AI e sintetiche, basate su caratteristiche di quantizzazione. Il plot a sinistra mostra che bitrate più bassi di JPEG AI creano una maggiore separazione dalle immagini sintetiche; il plot a destra mostra come le immagini da diversi generatori si raggruppano distintamente all’interno dello spazio delle caratteristiche.

Infine, gli autori hanno valutato come le caratteristiche hanno retto sotto l’elaborazione post-compressione tipica, come la ricompressione JPEG o il downsampling. Sebbene le prestazioni siano diminuite con un’elaborazione più pesante, il declino è stato graduale, suggerendo che l’approccio mantiene una certa robustezza anche in condizioni degradate.

Valutazione della robustezza delle caratteristiche di quantizzazione sotto l’elaborazione post-compressione, inclusa la ricompressione JPEG (JPG) e il ridimensionamento dell’immagine (RS).

Conclusione

Non è garantito che JPEG AI godrà di un’ampia adozione. Innanzitutto, c’è abbastanza debito infrastrutturale per imporre attrito su qualsiasi nuovo codec; e anche un codec ‘tradizionale’ con un pedigree fine e un ampio consenso sulla sua validità, come AV1, ha difficoltà a scalzare metodi consolidati a lungo stabiliti.

Riguardo al suo potenziale conflitto con i generatori di immagini AI, le caratteristiche di quantizzazione che aiutano la generazione attuale di rilevatori di immagini AI potrebbero essere ridotte o sostituite da tracce di un tipo diverso, in sistemi successivi (supponendo che i generatori di immagini AI lasceranno sempre residui forensi, il che non è certo).

Ciò significherebbe che le caratteristiche di quantizzazione di JPEG AI, forse insieme ad altri indizi identificati dal nuovo articolo, potrebbero non entrare in collisione con la traccia forense dei nuovi sistemi di generazione di immagini AI più efficaci.

Se, tuttavia, JPEG AI continua a operare come un de facto ‘lavaggio AI’, sfumando notevolmente la distinzione tra immagini reali e generate, sarebbe difficile fare un caso convincente per la sua adozione.

Pubblicato per la prima volta martedì, 8 aprile 2025