A Inteligência Artificial Pode Classificar Secretamente Imagens por Marca de Dispositivo, Não por Conteúdo

Pesquisas recentes descobriram que sistemas de inteligência artificial baseados em imagens populares não apenas olham para o que está em uma foto, mas também capturam detalhes ocultos sobre como a foto foi tirada. Detalhes ocultos, como o tipo de câmera ou a qualidade da imagem, podem afetar silenciosamente o que a inteligência artificial acha que vê, levando a resultados errados – apenas porque a foto veio de um dispositivo diferente.

Em 2012, foi revelado que um site de viagens estava mostrando regularmente preços mais altos para usuários que podiam ser deduzidos como navegando em dispositivos Apple, equiparando a marca Apple (AAPL ) com um poder de compra mais alto. Investigações posteriores concluíram que essa “detecção de carteira” focada no dispositivo havia se tornado quase rotineira para sites de comércio eletrônico.

Da mesma forma, qual smartphone ou dispositivo de captura tirou uma fotografia particular pode ser deduzido por meios forenses, com base nas características conhecidas de uma quantidade limitada de lentes nos modelos. Nesses casos, o modelo do dispositivo de captura é geralmente estimado por vestígios visuais; e, como no incidente de 2012, saber que tipo de câmera tirou uma imagem é uma característica potencialmente explorável

Embora os dispositivos de captura tendam a incorporar metadados significativos em uma imagem, essa função pode ser frequentemente desativada pelos usuários; mesmo quando está ativada, plataformas de distribuição, como redes sociais, podem remover alguns ou todos os metadados, seja por razões logísticas ou de privacidade, ou ambos.

No entanto, metadados em imagens carregadas por usuários são frequentemente reescritos ou interpretados (em vez de excluídos) ou deixados intactos, como uma fonte secundária de informação, não sobre o que está na imagem, mas sobre como a imagem foi tirada. Como o caso de 2012 revelou, informações desse tipo podem ser valiosas – não apenas para plataformas comerciais, mas também, potencialmente, para hackers e atores mal-intencionados.

Dois Pontos de Vista

Uma nova colaboração de pesquisa entre o Japão e a República Tcheca descobriu que os vestígios deixados por hardware de câmera e processamento de imagem (como qualidade JPEG ou afinação de lente) não são apenas detectáveis por ferramentas forenses, mas também são silenciosamente codificados na ‘compreensão global’ dos principais modelos de visão de inteligência artificial.

Isso inclui CLIP e outros codificadores visuais em grande escala, que são amplamente usados em tudo, desde motores de busca até moderação de conteúdo. O novo trabalho demonstra que esses modelos não apenas interpretam o que está na foto, mas também podem aprender como a foto foi feita; e esse sinal oculto pode às vezes superar o conteúdo visível.

Exemplos de pares de imagens do conjunto de dados PairCams dos autores, criado para testar como o tipo de câmera afeta os modelos de imagem de inteligência artificial. Cada par mostra o mesmo objeto ou cena fotografada no mesmo momento usando um não smartphone (esquerda) e um smartphone (direita). Fonte: https://arxiv.org/pdf/2508.10637

O estudo afirma que, mesmo quando os modelos de inteligência artificial são dados versões fortemente mascaradas ou recortadas de uma imagem, eles ainda podem adivinhar a marca e o modelo da câmera com surpreendente precisão. Isso significa que o espaço de representação que esses sistemas usam para julgar a semelhança de imagens pode se tornar emaranhado com fatores irrelevantes, como o dispositivo do usuário, com consequências imprevisíveis.

Por exemplo, em tarefas downstream, como classificação ou recuperação de imagens, esse “peso” indesejável pode fazer com que o sistema favoreça certos tipos de câmera, independentemente do que a imagem realmente mostra.

O artigo afirma:

‘Rótulos de metadados que deixam vestígios em codificadores visuais ao ponto de ofuscar informações semânticas podem levar a resultados imprevisíveis, comprometendo a generalização, a robustez e potencialmente minando a confiabilidade dos modelos.

‘Mais criticamente, esse efeito pode ser explorado de forma maliciosa; por exemplo, um ataque adversário pode manipular metadados para intencionalmente enganar ou enganar um modelo, apresentando riscos em domínios sensíveis como saúde, vigilância ou sistemas autônomos.’

O artigo descobre que os sistemas de Visão-Linguagem Contrastiva (CVL), como o CLIP, agora um dos codificadores mais influentes em visão computacional, são particularmente propensos a obter essas inferências a partir dos dados:

Resultados de busca para uma imagem de consulta, mostrando como os modelos de base rankiam imagens semelhantes com base não apenas no conteúdo visual, mas também em metadados ocultos, como compressão JPEG ou modelo de câmera.

O novo artigo é intitulado Vestígios de processamento e aquisição em codificadores visuais: O que o CLIP sabe sobre sua câmera?, e vem de seis pesquisadores da Universidade de Osaka e da Universidade Técnica Tcheca em Praga.

Método e Dados*

Para testar a influência de metadados ocultos em codificadores visuais, como o CLIP, os autores trabalharam com duas categorias de metadados: parâmetros de processamento de imagem (como compressão JPEG ou afinação) e parâmetros de aquisição (como modelo de câmera ou configurações de exposição).

Rather than treinar novos modelos, os pesquisadores avaliaram 47 codificadores visuais amplamente utilizados em seu estado pré-treinado e congelado, incluindo modelos de visão-linguagem contrastiva, como o CLIP, modelos auto-supervisionados, como DINO, e redes supervisionadas convencionais.

Para parâmetros de processamento, os pesquisadores aplicaram transformações controladas nos conjuntos de dados ImageNet e iNaturalist 2018, incluindo seis níveis de compressão JPEG, três configurações de afinação, três escalas de redimensionamento e quatro métodos de interpolação.

Exemplos de imagens e anotações associadas do conjunto de dados iNaturalist. Fonte: https://arxiv.org/pdf/1707.06642

Os modelos foram testados em sua capacidade de recuperar cada configuração de transformação usando apenas o conteúdo da imagem, com previsões bem-sucedidas indicando que o codificador retém informações sobre essas escolhas de processamento em sua representação interna.

Para examinar parâmetros de aquisição, os pesquisadores compilaram um conjunto de dados de 356.459 imagens chamado FlickrExif, contendo metadados Exif preservados, e construíram um segundo conjunto de dados chamado PairCams, composto por 730 pares de imagens capturadas simultaneamente com um smartphone e uma câmera não smartphone.

O conjunto de dados FlickrExif foi construído usando a API do Flickr para baixar imagens com metadados Exif. Entre 2.000 e 4.000 imagens seguras para trabalho foram coletadas por mês, datadas de início de 2000 a meados de 2024, e filtradas para incluir apenas aquelas com licenças permissivas. Para prevenir a super-representação por usuários prolíficos, cada contribuinte individual foi limitado a dez imagens por mês para qualquer ano dado.

Para o conjunto de dados PairCams, cada foto foi tirada usando configurações automáticas e sem flash, permitindo uma comparação de como os codificadores visuais respondem às diferenças em hardware de câmera sozinho, independentemente do conteúdo da imagem:

Mais exemplos do conjunto de dados PairCams curado pelos autores.

Os autores testaram para dois conjuntos de parâmetros: parâmetros de processamento de imagem, como compressão e transformações de cor; e parâmetros de aquisição, como marca ou modelo de câmera:

Parâmetros de processamento e aquisição de imagem analisados, com número de classes para cada.

Testes

Para determinar se informações sobre processamento de imagem e tipo de câmera são preservadas nas representações do modelo, os autores treinaram um classificador para prever rótulos de metadados diretamente a partir dessas representações. Se o classificador não funcionasse melhor do que o acaso, sugeriria que detalhes sobre processamento ou dispositivo não são capturados pelo modelo.

No entanto, qualquer desempenho acima do acaso indicaria que esses vestígios técnicos são de fato codificados e podem influenciar tarefas downstream.

Para testar vestígios de processamento, os autores atribuíram a cada imagem de treinamento uma configuração de processamento aleatória, como um nível de compressão JPEG específico, enquanto todas as imagens de teste em um lote compartilhavam a mesma configuração.

A precisão de classificação média em todos os ajustes foi então combinada com ensaios repetidos sob diferentes sementes aleatórias, para que pudesse ser determinado se detalhes técnicos de processamento de imagem eram consistentemente capturados na representação interna do modelo:

Precisão de classificação para prever parâmetros de processamento de imagem a partir de representações de codificador, usando um classificador linear aplicado a modelos congelados. Os resultados são mostrados para compressão JPEG, afinação, redimensionamento e interpolação, com três categorias de modelo, visão-linguagem contrastiva (laranja), supervisionada (verde) e auto-supervisionada (azul), avaliadas em ImageNet (linha superior) e iNaturalist 2018 (linha inferior). As linhas tracejadas marcam as bases de adivinhação aleatória.

Ao longo de todos os quatro parâmetros de processamento, os modelos de visão-linguagem contrastiva mostraram a maior capacidade de reconhecer manipulações de imagem ocultas. Alguns dos modelos alcançaram mais de 80% de precisão ao prever configurações de compressão JPEG, afinação e redimensionamento a partir de representações de ImageNet.

Os codificadores supervisionados, particularmente aqueles baseados em ConvNeXt, também se saíram bem, enquanto os modelos auto-supervisionados foram consistentemente mais fracos.

A interpolação foi o parâmetro mais difícil de detectar, mas os principais modelos CVL e supervisionados ainda alcançaram resultados bem acima da base aleatória de 25% em ambos os conjuntos de dados.

Em seguida, para testar se informações de câmera estão embutidas nas representações do modelo, os autores criaram conjuntos de treinamento e teste separados para cada parâmetro de aquisição (como marca de câmera, modelo de câmera, exposição, abertura, ISO e distância focal).

Para a maioria dos parâmetros, apenas classes com pelo menos 5.000 exemplos foram usadas; 500 imagens foram aleatoriamente definidas para teste, e os exemplos restantes foram subamostrados para que cada classe tivesse 200 amostras de treinamento. Para os parâmetros ‘modelo (todos)’ e ‘modelo (smart)’, que tinham menos dados por classe, os autores usaram classes com pelo menos 500 imagens e dividiram cada classe em subconjuntos de treinamento e teste em uma proporção de quatro para um.

Os fotógrafos foram mantidos separados em conjuntos de treinamento, validação e teste, e um classificador simples foi treinado para prever informações de câmera com base nas características da imagem.

Para garantir que o classificador não fosse influenciado pelo conteúdo semântico das imagens, 90% de cada imagem foi mascarada (veja exemplos abaixo). Os autores afirmam que nesse nível de mascaramento, todos os codificadores visuais se saem perto do acaso em ImageNet, indicando que o sinal semântico foi efetivamente suprimido:

Precisão de classificação de ImageNet como uma função da razão de mascaramento. Em 90% de mascaramento, todos os modelos caem para um desempenho próximo ao acaso na previsão de rótulos semânticos, indicando que os sinais semânticos foram efetivamente removidos. As imagens de exemplo na parte inferior ilustram os níveis de mascaramento.

Mesmo com 90% de cada imagem mascarada, a maioria dos modelos de visão-linguagem contrastiva e os codificadores supervisionados ConvNeXt ainda previram rótulos relacionados à câmera em níveis bem acima do acaso. Muitos modelos CVL excederam 70% de precisão ao distinguir imagens de smartphone e não smartphone.

Outros codificadores supervisionados, SigLIP, e todos os modelos auto-supervisionados se saíram muito pior. Quando nenhuma mascaramento foi aplicada, os modelos CVL novamente mostraram a maior capacidade de agrupamento por tipo de câmera, confirmando que esses modelos incorporam informações de aquisição mais profundamente do que os outros:

Visualizações t-SNE para dois codificadores visuais, com cores indicando se cada imagem foi capturada por um smartphone ou uma câmera não smartphone.

Significância Downstream

Tendo estabelecido que os metadados influenciam os modelos dessa forma, a propensão de vestígios de processamento ocultos para interferir na interpretação de imagens foi então avaliada.

Quando duas versões da mesma imagem foram processadas de forma diferente, as representações frequentemente foram organizadas de acordo com o estilo de processamento em vez do conteúdo. Em vários casos, uma foto de um cão fortemente comprimida foi tratada como mais semelhante a uma imagem não relacionada com a mesma configuração de compressão do que à sua própria versão não comprimida:

Impacto de parâmetros de processamento na previsão semântica, apresentando precisão de classificação semântica para ImageNet (topo) e iNaturalist (fundo) sob cinco configurações de processamento. Na linha de base, todas as imagens de treinamento e teste compartilham o mesmo rótulo de processamento; no ajuste all-diff, a imagem de teste usa um valor de processamento não presente no conjunto de treinamento; em pos-same e neg-same, o rótulo de processamento é alinhado com imagens semanticamente semelhantes ou dissimilares; no ajuste uniforme, rótulos de processamento são atribuídos aleatoriamente ao longo do conjunto de treinamento. Os resultados são relatados usando k = 10 para ImageNet e k = 1 para iNaturalist.

Os distorções mais fortes foram causados pela compressão JPEG, seguida por afinação e redimensionamento, enquanto a interpolação produziu apenas um efeito menor. Os autores afirmam que esses resultados demonstram que vestígios de processamento podem superar informações semânticas e ditar como uma imagem é compreendida.

Em conclusão, eles advertiram:

‘Embora tenhamos identificado que rótulos de metadados são codificados em codificadores visuais fundamentais e fornecido pistas sobre causas potenciais, não podemos definitivamente identificar a fonte do problema. Investigar isso mais a fundo é desafiador devido ao custo de retreinar esses modelos e ao uso frequente de conjuntos de dados privados e detalhes de implementação não divulgados.

‘Embora não proponhamos técnicas de mitigação específicas, destacamos a questão como uma área importante para pesquisas futuras.’

Conclusão

Na literatura, há um interesse forense crescente em relação a vestígios e sinais de “método sobre conteúdo”; quanto mais fácil for identificar um domínio de moldura ou um conjunto de dados específico, mais fácil será aproveitar essa informação na forma de, por exemplo, detectores de deepfakes, ou sistemas projetados para categorizar a proveniência ou a idade de dados e modelos.

Isso vai contra a intenção central de treinar modelos de inteligência artificial, que é que conceitos centrais distillados sejam curados independentemente dos meios de produção e não contenham vestígios deles. Na verdade, conjuntos de dados e dispositivos de captura têm características e traços de domínio que são efetivamente impossíveis de separar do conteúdo, porque, em si mesmos, também representam uma “perspectiva histórica”.

* O artigo é apresentado de forma não convencional, e vamos adaptar o melhor possível à sua formatação e apresentação incomuns. Uma grande quantidade de material que deveria estar em uma seção de “Método” (inexistente) foi transferida para diversas partes do apêndice, presumivelmente para restringir o artigo principal a oito páginas – embora ao custo considerável da clareza. Se perdemos alguma oportunidade de melhorar isso devido à falta de tempo, pedimos desculpas.

Publicado pela primeira vez na quarta-feira, 20 de agosto de 2025