JPEG AI Difumina a Linha entre Imagens Reais e Sintéticas

Em fevereiro deste ano, o padrão internacional JPEG AI foi publicado, após vários anos de pesquisa visando utilizar técnicas de aprendizado de máquina para produzir um codec de imagem menor e mais facilmente transmissível e armazenável, sem perda de qualidade perceptual.

Da publicação oficial do JPEG AI, uma comparação entre a Taxa de Sinal-Ruído de Pico (PSNR) e a abordagem ML-aumentada do JPEG AI. Fonte: https://jpeg.org/jpegai/documentation.html

Uma possível razão pela qual esse advento fez poucas manchetes é que os PDFs centrais para esse anúncio não estavam disponíveis por meio de portais de acesso livre, como o Arxiv. No entanto, o Arxiv já havia apresentado vários estudos examinando a importância do JPEG AI em vários aspectos, incluindo os artefatos de compressão incomuns do método e sua importância para a perícia.

Um estudo comparou artefatos de compressão, incluindo os de um rascunho anterior do JPEG AI, descobrindo que o novo método tinha uma tendência a desfocar o texto – não uma questão menor em casos onde o codec pode contribuir para uma cadeia de evidências. Fonte: https://arxiv.org/pdf/2411.06810

Porque o JPEG AI altera imagens de maneiras que imitam os artefatos de geradores de imagens sintéticas, as ferramentas forenses existentes têm dificuldade em distinguir imagens reais de imagens falsas:

Após a compressão do JPEG AI, algoritmos de ponta não podem mais separar com confiabilidade o conteúdo autêntico de regiões manipuladas em mapas de localização, de acordo com um artigo recente (março de 2025). Os exemplos de fonte vistos à esquerda são imagens manipuladas/falsas, nas quais as regiões alteradas são claramente delineadas sob técnicas forenses padrão (imagem do meio). No entanto, a compressão do JPEG AI concede às imagens falsas uma camada de credibilidade (imagem à direita). Fonte: https://arxiv.org/pdf/2412.03261

Uma razão é que o JPEG AI é treinado usando uma arquitetura de modelo semelhante àquelas usadas por sistemas gerativos que as ferramentas forenses visam detectar:

O novo artigo ilustra a semelhança entre as metodologias de compressão de imagem impulsionada por IA e imagens geradas por IA reais. Fonte: https://arxiv.org/pdf/2504.03191

Portanto, ambos os modelos podem produzir algumas características visuais subjacentes semelhantes, do ponto de vista forense.

Quantização

Essa sobreposição ocorre devido à quantização, comum a ambas as arquiteturas, e que é usada no aprendizado de máquina tanto como um método de conversão de dados contínuos em pontos de dados discretos, quanto como uma técnica de otimização que pode reduzir significativamente o tamanho do arquivo de um modelo treinado (entusiastas casuais de síntese de imagens estarão familiarizados com a espera entre uma versão oficial desajeitada e uma versão quantizada pela comunidade que pode ser executada em hardware local).

Nesse contexto, a quantização refere-se ao processo de converter os valores contínuos na representação latente da imagem em etapas fixas e discretas. O JPEG AI usa esse processo para reduzir a quantidade de dados necessários para armazenar ou transmitir uma imagem, simplificando a representação numérica interna.

Embora a quantização torne a codificação mais eficiente, ela também impõe regularidades estruturais que podem se assemelhar aos artefatos deixados por modelos gerativos – sutis o suficiente para evadir a percepção, mas disruptivos para as ferramentas forenses.

Em resposta, os autores de um novo trabalho intitulado Três Indícios Forenses para Imagens JPEG AI propõem técnicas interpretáveis e não neurais que detectam a compressão JPEG AI; determinam se uma imagem foi recomprimida; e distinguem imagens reais comprimidas de imagens geradas inteiramente por IA.

Método

Correlações de Cor

O artigo propõe três ‘indícios forenses’ personalizados para imagens JPEG AI: correlações de canal de cor, introduzidas durante os passos de pré-processamento do JPEG AI; distorsões mensuráveis na qualidade da imagem em compressões repetidas que revelam eventos de recompressão; e padrões de quantização no espaço latente que ajudam a distinguir entre imagens comprimidas pelo JPEG AI e aquelas geradas por modelos de IA.

Com relação à abordagem baseada em correlações de cor, o pipeline de pré-processamento do JPEG AI introduz dependências estatísticas entre os canais de cor da imagem, criando uma assinatura que pode servir como um indício forense.

O JPEG AI converte imagens RGB para o espaço de cor YUV e realiza uma subsampling de crominância 4:2:0, que envolve a redução das canais de crominância antes da compressão. Esse processo leva a correlações sutis entre os resíduos de alta frequência dos canais vermelho, verde e azul – correlações que não estão presentes em imagens não comprimidas e que diferem em força daquelas produzidas pela compressão JPEG tradicional ou geradores de imagens sintéticas.

Uma comparação de como a compressão JPEG AI altera as correlações de cor nas imagens..

Acima, podemos ver uma comparação do artigo que ilustra como a compressão JPEG AI altera as correlações de cor nas imagens, usando o canal vermelho como exemplo.

Painel A compara imagens não comprimidas com imagens comprimidas pelo JPEG AI, mostrando que a compressão aumenta significativamente a correlação entre canais; painel B isola o efeito do pré-processamento do JPEG AI – apenas a conversão de cor e a subsampling – demonstrando que mesmo essa etapa sozinha aumenta as correlações notavelmente; painel C mostra que a compressão JPEG tradicional também aumenta as correlações ligeiramente, mas não no mesmo grau; e painel D examina imagens sintéticas, com Midjourney-V5 e Adobe Firefly exibindo aumentos moderados de correlação, enquanto outros permanecem mais próximos dos níveis não comprimidos.

Taxa-Distorsão

O indício de taxa-distorsão identifica a recompressão JPEG AI rastreando como a qualidade da imagem, medida pela Taxa de Sinal-Ruído de Pico (PSNR), declina em um padrão previsível em compressões repetidas.

A pesquisa afirma que comprimir repetidamente uma imagem com o JPEG AI leva a perdas progressivamente menores, mas ainda mensuráveis, na qualidade da imagem, quantificadas pelo PSNR, e que essa degradação gradual forma a base de um indício forense para detectar se uma imagem foi recomprimida.

Ao contrário do JPEG tradicional, onde métodos anteriores rastreavam mudanças em blocos de imagem específicos, o JPEG AI exige uma abordagem diferente, devido à sua arquitetura de compressão neural; portanto, os autores propõem monitorar como a taxa de bits e o PSNR evoluem ao longo de compressões sucessivas. Cada rodada de compressão altera a imagem menos do que a anterior, e essa mudança diminuta (quando plotada contra a taxa de bits) pode revelar se uma imagem passou por várias etapas de compressão:

Uma ilustração de como a compressão repetida afeta a qualidade da imagem em diferentes codecs, apresentando resultados do JPEG AI e um codec neural desenvolvido em https://arxiv.org/pdf/1802.01436; ambos exibem uma declínio constante no PSNR com cada compressão adicional, mesmo em taxas de bits mais baixas. Em contraste, a compressão JPEG tradicional mantém uma qualidade relativamente estável em compressões múltiplas, a menos que a taxa de bits seja alta.

Na imagem acima, vemos curvas de taxa-distorsão para o JPEG AI; um segundo codec baseado em IA; e o JPEG tradicional, encontrando que o JPEG AI e o codec neural mostram uma declínio constante no PSNR em todas as taxas de bits, enquanto o JPEG tradicional só mostra degradação notável em taxas de bits mais altas. Esse comportamento fornece um sinal quantificável que pode ser usado para sinalizar imagens JPEG AI recomprimidas.

Ao extrair como a taxa de bits e a qualidade da imagem evoluem ao longo de várias rodadas de compressão, os autores construíram uma assinatura que ajuda a sinalizar se uma imagem foi recomprimida, proporcionando um indício forense potencial no contexto do JPEG AI.

Quantização

Como vimos anteriormente, um dos problemas forenses mais desafiadores levantados pelo JPEG AI é sua semelhança visual com imagens sintéticas geradas por modelos de difusão. Ambos os sistemas usam arquiteturas codificador-decodificador que processam imagens em um espaço latente comprimido e frequentemente deixam para trás artefatos de upsampling sutis.

Essas características compartilhadas podem confundir detectores – mesmo aqueles retreinados em imagens JPEG AI. No entanto, uma diferença estrutural importante permanece: o JPEG AI aplica a quantização, uma etapa que arredonda valores latentes para níveis discretos para compressão eficiente, enquanto modelos gerativos geralmente não o fazem.

O novo artigo usa essa distinção para projetar um indício forense que testa indiretamente a presença de quantização. O método analisa como a representação latente de uma imagem responde ao arredondamento, com a suposição de que, se uma imagem já foi quantizada, sua estrutura latente exibirá um padrão mensurável de alinhamento com valores arredondados.

Esses padrões, embora invisíveis ao olho, produzem diferenças estatísticas que podem ajudar a separar imagens reais comprimidas de imagens sintéticas completamente.

Um exemplo de espectros de Fourier médios revela que tanto as imagens comprimidas pelo JPEG AI quanto as geradas por modelos de difusão, como Midjourney-V5 e Stable Diffusion XL, exibem padrões de grade regulares no domínio de frequência – artefatos comumente ligados ao upsampling. Em contraste, as imagens reais carecem desses padrões. Essa sobreposição na estrutura espectral ajuda a explicar por que as ferramentas forenses frequentemente confundem imagens reais comprimidas com sintéticas.

É importante notar que os autores mostram que esse indício funciona em diferentes modelos gerativos e permanece eficaz mesmo quando a compressão é forte o suficiente para zerar completamente seções do espaço latente. Em contraste, as imagens sintéticas mostram respostas muito mais fracas a esse teste de arredondamento, oferecendo uma maneira prática de distinguir entre as duas.

O resultado é destinado a ser uma ferramenta leve e interpretável que visa a diferença central entre compressão e geração, em vez de confiar em artefatos superficiais frágeis.

Dados e Testes

Compressão

Para avaliar se o indício de correlação de cor poderia detectar confiavelmente a compressão JPEG AI (ou seja, uma primeira passagem de uma fonte não comprimida), os autores testaram-no em imagens de alta qualidade não comprimidas do conjunto de dados RAISE, comprimindo-as em várias taxas de bits, usando a implementação de referência do JPEG AI.

Eles treinaram uma floresta aleatória nos padrões estatísticos de correlações de canal de cor (particularmente como o ruído residual em cada canal se alinhava com os outros) e compararam isso com uma ResNet50 treinada diretamente nos pixels da imagem.

Acurácia de detecção da compressão JPEG AI usando recursos de correlação de cor, comparada em várias taxas de bits. O método é mais eficaz em taxas de bits mais baixas, onde os artefatos de compressão são mais fortes, e mostra uma melhor generalização para níveis de compressão não vistos do que o modelo ResNet50 de referência.

Embora a ResNet50 tenha alcançado uma precisão mais alta quando os dados de teste se aproximavam de suas condições de treinamento, ela teve dificuldade em generalizar em diferentes níveis de compressão. A abordagem baseada em correlações, embora muito mais simples, provou ser mais consistente em diferentes taxas de bits, especialmente em taxas de compressão mais baixas onde o pré-processamento do JPEG AI tem um efeito mais forte.

Esses resultados sugerem que, mesmo sem aprendizado profundo, é possível detectar a compressão JPEG AI usando indícios estatísticos que permanecem interpretáveis e resilientes.

Recompressão

Para avaliar se a recompressão JPEG AI pode ser detectada de forma confiável, os pesquisadores testaram o indício de taxa-distorsão em um conjunto de imagens comprimidas em taxas de bits variadas – algumas apenas uma vez e outras uma segunda vez usando o JPEG AI.

Esse método envolveu extrair um vetor de recursos de 17 dimensões para rastrear como a taxa de bits e o PSNR da imagem evoluem ao longo de três passos de compressão. Esse conjunto de recursos capturou quanto qualidade foi perdida a cada etapa e como as taxas latente e hiperprior se comportam—métricas que métodos baseados em pixels não podem acessar facilmente.

Os pesquisadores treinaram uma floresta aleatória nesses recursos e compararam seu desempenho com uma ResNet50 treinada em patches de imagem:

Resultados para a acurácia de classificação de uma floresta aleatória treinada em recursos de taxa-distorsão para detectar se uma imagem JPEG AI foi recomprimida. O método se sai melhor quando a compressão inicial é forte (ou seja, em taxas de bits mais baixas), e então consistentemente supera uma ResNet50 baseada em pixels – especialmente em casos onde a segunda compressão é mais suave do que a primeira.

A floresta aleatória provou ser notavelmente eficaz quando a compressão inicial era forte (ou seja, em taxas de bits mais baixas), revelando diferenças claras entre imagens comprimidas uma e duas vezes. Como no indício anterior, a iteração da ResNet50 teve dificuldade em generalizar, particularmente quando testada em níveis de compressão que não havia visto durante o treinamento.

Os recursos de taxa-distorsão, por outro lado, permaneceram estáveis em uma ampla gama de cenários. Notavelmente, o indício funcionou mesmo quando aplicado a um codec baseado em IA diferente, sugerindo que a abordagem se generaliza além do JPEG AI.

JPEG AI e Imagens Sintéticas

Para a rodada final de testes, os autores testaram se os recursos de quantização podem distinguir entre imagens comprimidas pelo JPEG AI e imagens sintéticas geradas por modelos como Midjourney, Stable Diffusion, DALL-E 2, Glide e Adobe Firefly.

Para isso, os pesquisadores usaram um subconjunto do conjunto de dados Synthbuster, misturando fotos reais do banco de dados RAISE com imagens geradas por uma variedade de modelos baseados em difusão e GAN.

Exemplos de imagens sintéticas no Synthbuster, geradas usando prompts de texto inspirados em fotografias naturais do conjunto de dados RAISE-1k. As imagens foram criadas com vários modelos de difusão, com prompts projetados para produzir conteúdo fotorealista e texturas, em vez de renderizações estilizadas ou artísticas. Fonte: https://ieeexplore.ieee.org/document/10334046

As imagens reais foram comprimidas usando o JPEG AI em vários níveis de taxa de bits, e a classificação foi apresentada como uma tarefa de duas vias: ou JPEG AI versus um gerador específico, ou uma taxa de bits específica versus Stable Diffusion XL.

Os recursos de quantização (correlações extraídas de representações latentes) foram calculados a partir de uma região fixa de 256×256 e alimentados em um classificador de floresta aleatória. Como baseline, uma ResNet50 foi treinada em patches de pixels dos mesmos dados.

Acurácia de classificação de uma floresta aleatória usando recursos de quantização para separar imagens comprimidas pelo JPEG AI de imagens sintéticas.

Em condições mais comuns, a abordagem baseada em quantização superou a baseline ResNet50, particularmente em taxas de bits mais baixas, onde os artefatos de compressão eram mais fortes.

Os autores afirmam:

‘A baseline ResNet50 alcança o melhor desempenho para imagens Glide com uma acurácia de 66,1%, mas de outra forma generaliza pior do que os recursos de quantização. Os recursos de quantização exibem uma boa generalização em diferentes forças de compressão e tipos de geradores.

‘A importância dos coeficientes que são quantizados para zero é mostrada no desempenho respeitável dos recursos truncados, que em muitos casos se sai de forma comparável ao classificador ResNet50.

‘No entanto, os recursos de quantização que usam o vetor inteiro não truncado ainda se saem de forma notavelmente melhor. Esses resultados confirmam que a quantidade de zeros após a quantização é um indício importante para diferenciar imagens comprimidas por IA e imagens geradas por IA.

‘Além disso, também mostra que outros fatores contribuem. A acurácia do vetor completo para detectar JPEG AI é para todas as taxas de bits acima de 91,0%, e a compressão mais forte leva a acurácias mais altas.’

Uma projeção do espaço de recursos usando UMAP mostrou uma separação clara entre imagens JPEG AI e sintéticas, com taxas de bits mais baixas aumentando a distância entre as classes. Um outlier consistente foi o Glide, cujas imagens se agruparam de forma diferente e tiveram a menor acurácia de detecção de qualquer gerador testado.

Visualização bidimensional UMAP de imagens comprimidas pelo JPEG AI e sintéticas, com base em recursos de quantização. O plot à esquerda mostra que taxas de bits mais baixas do JPEG AI criam uma maior separação de imagens sintéticas; o plot à direita, como as imagens de diferentes geradores se agrupam distintamente no espaço de recursos.

Finalmente, os autores avaliaram como os recursos se mantinham sob processamento pós-compressão típico, como recompressão JPEG ou redimensionamento de imagem. Embora o desempenho declinasse com processamento mais pesado, a queda foi gradual, sugerindo que a abordagem retém alguma robustez mesmo em condições degradadas.

Avaliação da robustez dos recursos de quantização sob processamento pós-compressão, incluindo recompressão JPEG (JPG) e redimensionamento de imagem (RS).

Conclusão

Não é garantido que o JPEG AI desfrutará de adoção ampla. Por um lado, há dívida infraestrutural suficiente para impor atrito em qualquer novo codec; e mesmo um codec ‘convencional’ com uma linhagem fina e um consenso amplo sobre seu valor, como o AV1, tem dificuldade em desalojar métodos estabelecidos há muito tempo.

No que diz respeito ao potencial choque do sistema com geradores de IA, os artefatos de quantização característicos que ajudam os detectores de imagem de IA atuais podem ser diminuídos ou eventualmente substituídos por vestígios de um tipo diferente, em sistemas posteriores (supondo que os geradores de IA sempre deixarão resíduos forenses, o que não é certo).

Isso significaria que as características de quantização do próprio JPEG AI, talvez junto com outros indícios identificados pelo novo artigo, podem não acabar colidindo com a trilha forense dos novos sistemas de IA gerativos mais eficazes.

Se, no entanto, o JPEG AI continuar a operar como um de facto ‘lavagem de IA’, borrando significativamente a distinção entre imagens reais e geradas, seria difícil fazer um caso convincente para sua adoção.

Publicado pela primeira vez na terça-feira, 8 de abril de 2025