Le JPEG AI brouille la frontière entre les images réelles et synthétiques

En février de cette année, la norme internationale JPEG AI a été publiée, après plusieurs années de recherche visant à utiliser des techniques d’apprentissage automatique pour produire un codec d’image plus petit et plus facile à transmettre et à stocker, sans perte de qualité perceptive.

À partir du flux de publication officiel pour JPEG AI, une comparaison entre le rapport signal-bruit de pic (PSNR) et l’approche renforcée par ML de JPEG AI. Source: https://jpeg.org/jpegai/documentation.html

L’une des raisons pour lesquelles cet événement a fait peu de gros titres est que les PDF de base pour cette annonce n’étaient pas disponibles via des portails d’accès libre tels qu’Arxiv. Néanmoins, Arxiv avait déjà mis en avant un certain nombre d’études examinant l’importance de JPEG AI dans plusieurs aspects, notamment les artéfacts de compression inhabituels de la méthode et son importance pour la science forensique.

Une étude a comparé les artefacts de compression, notamment ceux d’un projet antérieur de JPEG AI, constatant que la nouvelle méthode avait tendance à flouer le texte – ce qui n’est pas une question mineure dans les cas où le codec pourrait contribuer à une chaîne de preuves. Source: https://arxiv.org/pdf/2411.06810

Parce que JPEG AI modifie les images de manière à imiter les artefacts des générateurs d’images synthétiques, les outils forensiques existants ont du mal à distinguer les images réelles des images fausses:

Après la compression JPEG AI, les algorithmes de pointe ne peuvent plus séparer de manière fiable le contenu authentique des régions manipulées dans les cartes de localisation, selon un article récent (mars 2025). Les exemples de source vus à gauche sont des images manipulées / fausses, dans lesquelles les régions trafiquées sont clairement délimitées sous des techniques forensiques standard (image centrale). Cependant, la compression JPEG AI confère aux images fausses une couche de crédibilité (image la plus à droite). Source: https://arxiv.org/pdf/2412.03261

L’une des raisons est que JPEG AI est formé à l’aide d’une architecture de modèle similaire à celles utilisées par les systèmes génératifs que les outils forensiques visent à détecter:

Le nouveau document illustre la similarité entre les méthodologies de la compression d’image à base d’IA et des images générées par l’IA. Source: https://arxiv.org/pdf/2504.03191

Par conséquent, les deux modèles peuvent produire certaines caractéristiques visuelles sous-jacentes similaires, du point de vue de la science forensique.

Quantification

Ce chevauchement se produit en raison de la quantification, commune aux deux architectures, et qui est utilisée dans l’apprentissage automatique à la fois comme méthode de conversion de données continues en points de données discrets, et comme technique d’optimisation qui peut considérablement réduire la taille du fichier d’un modèle formé (les amateurs d’images synthétiques seront familiers avec l’attente entre une version officielle volumineuse et une version quantifiée par la communauté qui peut s’exécuter sur du matériel local).

Dans ce contexte, la quantification fait référence au processus de conversion des valeurs continues dans la représentation latente de l’image en étapes discrètes fixes. JPEG AI utilise ce processus pour réduire la quantité de données nécessaires pour stocker ou transmettre une image en simplifiant la représentation numérique interne.

Bien que la quantification rende la codification plus efficace, elle impose également des régularités structurelles qui peuvent ressembler aux artefacts laissés par les modèles génératifs – suffisamment subtils pour échapper à la perception, mais perturbateurs pour les outils forensiques.

En réponse, les auteurs d’un nouveau travail intitulé Three Forensic Cues for JPEG AI Images proposent des techniques interprétables et non neuronales pour détecter la compression JPEG AI; déterminer si une image a été recompressée; et distinguer les images réelles compressées de celles générées entièrement par l’IA.

Méthode

Corrélations de couleur

Le document propose trois « indices forensiques » adaptés aux images JPEG AI: corrélations de canal de couleur, introduites lors des étapes de prétraitement de JPEG AI; distorsions mesurables de la qualité d’image à travers des compressions répétées qui révèlent les événements de recompression; et modèles de quantification de l’espace latent qui aident à distinguer les images compressées par JPEG AI de celles générées par des modèles d’IA.

En ce qui concerne l’approche basée sur les corrélations de couleur, le pipeline de prétraitement de JPEG AI introduit des dépendances statistiques entre les canaux de couleur de l’image, créant une signature qui peut servir d’indice forensique.

JPEG AI convertit les images RGB en l’espace de couleur YUV et effectue un échantillonnage chromatique 4:2:0, qui implique la réduction des canaux de chrominance avant la compression. Ce processus conduit à des corrélations subtiles entre les résidus à haute fréquence des canaux rouge, vert et bleu – corrélations qui ne sont pas présentes dans les images non compressées et qui diffèrent en force de celles produites par la compression JPEG traditionnelle ou les générateurs d’images synthétiques.

Une comparaison de la façon dont la compression JPEG AI modifie les corrélations de couleur dans les images..

Au-dessus, nous pouvons voir une comparaison du document illustrant la façon dont la compression JPEG AI modifie les corrélations de couleur dans les images, en utilisant le canal rouge comme exemple.

Le panneau A compare les images non compressées aux images compressées JPEG AI, montrant que la compression augmente considérablement la corrélation inter-canal; le panneau B isole l’effet du prétraitement de JPEG AI – juste la conversion de couleur et l’échantillonnage – démontrant que même cette étape seule augmente les corrélations de manière notable; le panneau C montre que la compression JPEG traditionnelle augmente également les corrélations, mais pas à la même mesure; et le panneau D examine les images synthétiques, avec Midjourney-V5 et Adobe Firefly affichant des augmentations de corrélation modérées, tandis que d’autres restent plus proches des niveaux non compressés.

Taux-Distorsion

L’indice de taux-distorsion identifie la recompression JPEG AI en suivant la façon dont la qualité de l’image, mesurée par le rapport signal-bruit de pic (PSNR), diminue dans un modèle prévisible à travers plusieurs passes de compression.

La recherche soutient que la compression répétée d’une image avec JPEG AI conduit à des pertes progressives, mais toujours mesurables, de qualité d’image, telles que quantifiées par le PSNR, et que cette dégradation progressive forme la base d’un indice forensique pour détecter si une image a été recompressée.

Contrairement à la compression JPEG traditionnelle, où les méthodes antérieures suivaient les changements dans des blocs d’images spécifiques, JPEG AI nécessite une approche différente, en raison de son architecture de compression neuronale; par conséquent, les auteurs proposent de suivre l’évolution du débit et du PSNR au fil des compressions successives. Chaque cycle de compression modifie l’image moins que le précédent, et ce changement diminuant (lorsqu’il est tracé par rapport au débit) peut révéler si une image a subi plusieurs étapes de compression:

Une illustration de la façon dont la compression répétée affecte la qualité de l’image à travers différents codecs, mettant en vedette les résultats de JPEG AI et d’un codec neuronal développé à https://arxiv.org/pdf/1802.01436; les deux présentent une diminution constante du PSNR avec chaque compression supplémentaire, même à des débits plus faibles. En revanche, la compression JPEG traditionnelle maintient une qualité relativement stable à travers plusieurs compressions, à moins que le débit ne soit élevé.

Dans l’image ci-dessus, nous voyons les courbes de taux-distorsion tracées pour JPEG AI; un deuxième codec à base d’IA; et la compression JPEG traditionnelle, constatant que JPEG AI et le codec neuronal présentent une diminution constante du PSNR à tous les débits, tandis que la compression JPEG traditionnelle ne montre qu’une dégradation notable à des débits beaucoup plus élevés. Ce comportement fournit un signal quantifiable qui peut être utilisé pour signaler les images JPEG AI recompressées.

En extrayant la façon dont le débit et la qualité d’image évoluent au fil des cycles de compression, les auteurs ont construit de manière similaire une signature qui aide à signaler si une image a été recompressée, offrant un indice forensique pratique dans le contexte de JPEG AI.

Quantification

Comme nous l’avons vu plus tôt, l’un des problèmes forensiques les plus difficiles posés par JPEG AI est sa similarité visuelle avec les images synthétiques générées par les modèles de diffusion. Les deux systèmes utilisent des architectures encodeur-décodeur qui traitent les images dans un espace latent compressé et laissent souvent derrière eux des artefacts de sur-échantillonnage subtils.

Ces caractéristiques partagées peuvent tromper les détecteurs – même ceux réentraînés sur des images JPEG AI. Cependant, une différence structurelle clé demeure: JPEG AI applique la quantification, une étape qui arrondit les valeurs latentes à des niveaux discrets pour une compression efficace, tandis que les modèles génératifs ne le font généralement pas.

Le nouveau document utilise cette distinction pour concevoir un indice forensique qui teste indirectement la présence de quantification. La méthode analyse la façon dont la représentation latente d’une image répond au arrondi, en supposant que si une image a déjà été quantifiée, sa structure latente présentera un modèle mesurable d’alignement avec les valeurs arrondies.

Ces modèles, bien qu’invisibles pour l’œil, produisent des différences statistiques qui peuvent aider à séparer les images réelles compressées des images entièrement synthétiques.

Un exemple de spectres de Fourier moyens révèle que les images compressées JPEG AI et celles générées par les modèles de diffusion comme Midjourney-V5 et Stable Diffusion XL présentent des modèles de grille réguliers dans le domaine fréquentiel – des artefacts couramment liés au sur-échantillonnage. En revanche, les images réelles ne présentent pas ces modèles. Ce chevauchement de structure spectrale aide à expliquer pourquoi les outils forensiques confondent souvent les images réelles compressées avec les images synthétiques.

Il est important de noter que les auteurs montrent que cet indice fonctionne sur différents modèles génératifs et reste efficace même lorsque la compression est suffisamment forte pour annuler des sections entières de l’espace latent. En revanche, les images synthétiques présentent des réponses beaucoup plus faibles à ce test d’arrondi, offrant un moyen pratique de distinguer entre les deux.

Le résultat est destiné à être un outil léger et interprétable ciblant la différence fondamentale entre la compression et la génération, plutôt que de s’appuyer sur des artefacts de surface fragiles.

Données et tests

Compression

Pour évaluer si leur indice de corrélation de couleur pouvait détecter de manière fiable la compression JPEG AI (c’est-à-dire une première passe à partir de la source non compressée), les auteurs l’ont testé sur des images non compressées de haute qualité du dataset RAISE, en les compressant à différents débits, en utilisant la mise en œuvre de référence JPEG AI.

Ils ont formé un forêt aléatoire sur les modèles statistiques des corrélations de canal de couleur (notamment la façon dont le bruit résiduel dans chaque canal s’alignait avec les autres) et l’ont comparé à un ResNet50 formé directement sur les pixels de l’image.

Précision de détection de la compression JPEG AI en utilisant des caractéristiques de corrélation de couleur, comparée à différents débits. La méthode est la plus efficace à des débits plus faibles, où les artefacts de compression sont plus forts, et montre une meilleure généralisation à des niveaux de compression non vus qu’un modèle ResNet50 de base.

Alors que le ResNet50 a obtenu une précision plus élevée lorsque les données de test correspondaient étroitement à ses conditions de formation, il a eu du mal à généraliser à différents niveaux de compression. L’approche basée sur les corrélations, bien que beaucoup plus simple, s’est avérée plus cohérente à travers les débits, en particulier à des taux de compression plus faibles où le prétraitement de JPEG AI a un effet plus fort.

Ces résultats suggèrent qu’il est possible de détecter la compression JPEG AI en utilisant des indices statistiques qui restent interprétables et résistants, même sans apprentissage automatique.

Recompression

Pour évaluer si la recompression JPEG AI peut être détectée de manière fiable, les chercheurs ont testé l’indice de taux-distorsion sur un ensemble d’images compressées à différents débits – certaines seulement une fois et d’autres une deuxième fois en utilisant JPEG AI.

Cette méthode impliquait d’extraire un vecteur de caractéristiques de 17 dimensions pour suivre la façon dont le débit et le PSNR de l’image évoluaient au fil de trois passes de compression. Ce jeu de caractéristiques a capturé la quantité de qualité perdue à chaque étape et la façon dont les taux latents et hyperprior se comportaient – des métriques que les méthodes basées sur les pixels ne peuvent pas facilement accéder.

Les chercheurs ont formé une forêt aléatoire sur ces caractéristiques et ont comparé sa performance à un ResNet50 formé sur des patches d’images:

Résultats pour la précision de classification d’une forêt aléatoire formée sur des caractéristiques de taux-distorsion pour détecter si une image JPEG AI a été recompressée. La méthode fonctionne le mieux lorsque la compression initiale est forte (c’est-à-dire à des débits plus faibles), et dépasse ensuite de manière cohérente un ResNet50 basé sur les pixels – en particulier dans les cas où la deuxième compression est plus légère que la première.

La forêt aléatoire s’est avérée remarquablement efficace lorsque la compression initiale était forte (c’est-à-dire à des débits plus faibles), révélant des différences claires entre les images compressées une seule fois et celles compressées deux fois. Comme pour l’indice précédent, le ResNet50 a eu du mal à généraliser, en particulier lorsqu’il était testé sur des niveaux de compression qu’il n’avait pas vus pendant la formation.

Les caractéristiques de taux-distorsion, en revanche, sont restées stables dans une large gamme de scénarios. Notamment, l’indice a fonctionné même lorsqu’il était appliqué à un autre codec à base d’IA, suggérant que l’approche se généralise au-delà de JPEG AI.

JPEG AI et images synthétiques

Pour le dernier tour de tests, les auteurs ont testé si leurs caractéristiques basées sur la quantification pouvaient distinguer les images compressées JPEG AI des images entièrement synthétiques générées par des modèles tels que Midjourney, Stable Diffusion, DALL-E 2, Glide, et Adobe Firefly.

Pour cela, les chercheurs ont utilisé un sous-ensemble du dataset Synthbuster, en mélangeant des photos réelles de la base de données RAISE avec des images générées par une gamme de modèles de diffusion et basés sur GAN.

Exemples d’images synthétiques dans Synthbuster, générées à l’aide de prompts de texte inspirés de photographies naturelles de la base de données RAISE-1k. Les images ont été créées avec divers modèles de diffusion, avec des prompts conçus pour produire un contenu photoréaliste et des textures plutôt que des rendus stylisés ou artistiques. Source: https://ieeexplore.ieee.org/document/10334046

Les images réelles ont été compressées à l’aide de JPEG AI à différents niveaux de débit, et la classification a été posée comme une tâche à deux voies: soit JPEG AI par rapport à un générateur spécifique, soit un débit spécifique par rapport à Stable Diffusion XL.

Les caractéristiques de quantification (corrélations extraites des représentations latentes) ont été calculées à partir d’une région fixe de 256×256 et ont été fournies à un classificateur de forêt aléatoire. En tant que référence, un ResNet50 a été formé sur des patches de pixels à partir des mêmes données.

Précision de classification d’une forêt aléatoire utilisant des caractéristiques de quantification pour séparer les images compressées JPEG AI des images synthétiques.

À travers la plupart des conditions, l’approche basée sur la quantification a surpassé le modèle ResNet50 de référence, en particulier à des débits plus faibles où les artefacts de compression étaient plus forts.

Les auteurs déclarent:

« Le modèle ResNet50 de référence fonctionne le mieux pour les images Glide avec une précision de 66,1 %, mais généralise autrement moins bien que les caractéristiques de quantification. Les caractéristiques de quantification présentent une bonne généralisation à travers les forces de compression et les types de générateurs.

« L’importance des coefficients qui sont quantifiés à zéro est montrée par la performance très respectable des caractéristiques tronquées, qui dans de nombreux cas se comportent de manière comparable au classificateur ResNet50.

‘Cependant, les caractéristiques de quantification qui utilisent le vecteur entier non tronqué fonctionnent encore de manière notablement meilleure. Ces résultats confirment que la quantité de zéros après quantification est un indice important pour distinguer les images compressées par l’IA et les images générées par l’IA.

« Néanmoins, cela montre également que d’autres facteurs contribuent. La précision du vecteur complet pour la détection de JPEG AI est pour tous les débits supérieure à 91,0 %, et une compression plus forte conduit à des précisions plus élevées. »

Une projection de l’espace de caractéristiques à l’aide de UMAP a montré une séparation claire entre les images JPEG AI et les images synthétiques, avec des débits plus faibles augmentant la distance entre les classes. Un outlier constant était Glide, dont les images se regroupaient différemment et présentaient la plus faible précision de détection de tous les générateurs testés.

Visualisation bidimensionnelle UMAP des images compressées JPEG AI et des images synthétiques, basée sur des caractéristiques de quantification. Le graphique de gauche montre que des débits JPEG AI plus faibles créent une plus grande séparation des images synthétiques; le graphique de droite montre comment les images de différents générateurs se regroupent distinctement dans l’espace de caractéristiques.

Enfin, les auteurs ont évalué comment les caractéristiques résistaient à un traitement postérieur typique, tel que la recompression JPEG ou le redimensionnement. Même si les performances ont diminué avec un traitement plus lourd, la baisse a été progressive, suggérant que l’approche conserve une certaine robustesse même dans des conditions dégradées.

Évaluation de la robustesse des caractéristiques de quantification sous traitement postérieur, y compris la recompression JPEG (JPG) et le redimensionnement d’image (RS).

Conclusion

Il n’est pas garanti que JPEG AI connaîtra une adoption généralisée. Pour une chose, il y a suffisamment de dettes infrastructuelles pour imposer une friction sur tout nouveau codec; et même un codec « conventionnel » avec une bonne réputation et un large consensus quant à sa valeur, tel que AV1, a du mal à déloger les méthodes établies depuis longtemps.

En ce qui concerne le potentiel de collision du système avec les générateurs d’IA, les artefacts de quantification caractéristiques qui aident les détecteurs d’images d’IA actuels peuvent être atténués ou finalement remplacés par des traces d’un autre type, dans les systèmes ultérieurs (en supposant que les générateurs d’IA laisseront toujours des résidus forensiques, ce qui n’est pas certain).

Cela signifierait que les caractéristiques de quantification propres à JPEG AI, peut-être ainsi que d’autres indices identifiés par le nouveau document, peuvent ne pas entrer en collision avec la trace forensique des nouveaux systèmes d’IA génératifs les plus efficaces.

Si, cependant, JPEG AI continue de fonctionner comme un de facto « lavage d’IA », en brouillant considérablement la distinction entre les images réelles et générées, il serait difficile de faire un cas convaincant pour son adoption.

Publié pour la première fois mardi 8 avril 2025