Sistemas de Visão de IA Nem Sempre Estão Realmente “Olhando”

Os sistemas de visão de IA podem estar explicando imagens com estereótipos em vez do que realmente veem. Remova o rótulo e as supostas explicações visuais colapsam.

Desde que as plataformas de IA de ponta estão constantemente sangrando dinheiro na esperança de um horizonte de eventos de IA, pequenas economias em sua provisão e serviços igualam grandes economias: por exemplo, toda vez que um LLM pode fornecer uma resposta a partir de sua própria matriz treinada em vez de fazer uma viagem baseada em RAG para a web para obter informações atuais que precisarão ser destiladas e refinadas, ele responde mais rapidamente e economiza dinheiro para o provedor.

É claro que é mais provável que alucine, sem gastar tokens e energia extras para contextualizar e verificar suas suposições.

Da mesma forma, mesmo quando um LLM realmente alcança a web, ele muito frequentemente cita URLs vagas, inapropriadas ou até mesmo sem sentido e não relacionadas, porque economizou energia apenas avaliando os metadados dessas páginas, em vez de realmente lê-las.

Similarmente, se você carregar um PDF para um LLM e desejar discuti-lo, o LLM pode eventualmente apagar o conteúdo do PDF da memória e usar apenas metadados esparsos sobre ele para responder às suas consultas, sem sequer declarar que você deve carregá-lo novamente – levando a erros, suposições erradas e ainda mais alucinações.

Testes Industriais

Essas são economias pragmáticas, se não inteiramente honestas, impostas ao usuário por motivos operacionais. No mundo de montante de coleta de dados e treinamento de modelos, onde milhões – até centenas de milhões – de imagens devem ser processadas em massa, e não podem ser anotadas manualmente por humanos, a pressão para minimizar o gasto de energia e tempo é igualmente intensa.

Um desses “atalhos” é usar um modelo de linguagem de visão intermediário, como Contrastive Language Image Pretraining (CLIP), que mapeia imagens e texto em um espaço semântico compartilhado, para que conceitos visuais possam ser comparados usando linguagem, em vez de rótulos explícitos.

O que isso significa? Bem, imagine uma criança aprendendo com milhões de fotos legendadas até que ela desenvolva um senso aproximado de quais imagens e palavras naturalmente se encaixam.

O problema é que, muito frequentemente, as legendas foram escritas por proprietários de sites e outras entidades que estavam mais interessados em um bom SEO do que em uma boa legenda, levando a uma grande quantidade de “ruído” ou rótulos imprecisos.

No entanto, a escala em que um conceito e uma palavra relacionada se repetem em conjuntos de dados enormes geralmente significa que as palavras centrais serão associadas à imagem correta, desde que o número menor de rótulos “sem sentido” seja normalmente forçado a um gueto de outliers, e não ganhará associação com a imagem. Então, mais ou menos funciona, a maior parte do tempo.

A anotação de dados é feita dessa forma porque é barata e minimamente funcional, não porque é boa.

Fora do Rótulo

Nesse cenário problemático, um novo artigo do Carnegie Mellon ilustra claramente que muitas legendas atribuídas a imagens – por exemplo, pelo CLIP – são simplesmente estereótipos baseados em referências ao rótulo de imagem (textual), em vez de ativamente olhando para a imagem em si.

Em um exemplo notável do artigo, o CLIP é combinado com descritores gerados a partir do nome da classe ImageNet morango, e então testado em ImageNet-Sketch, onde todos os morangos são desenhos em preto e branco – no entanto, os descritores ainda insistem que a fruta é ‘vermelha’ e ‘madura’:

Descritores de nome de classe falham em ImageNet-Sketch: priors de linguagem dizem ‘vermelho’ e ‘maduro’, enquanto atributos baseados em imagem correspondem ao desenho em preto e branco. Fonte

Aqui, o CLIP é combinado com descritores gerados apenas a partir do nome da classe morango, via GPT-3 ou conhecimento externo. Esses nunca veem a imagem, então defaultam para traits canônicos como vermelho e folhoso. Quando aplicados às ilustrações monocromáticas em linha em ImageNet-Sketch, o processo falha.

Em contraste, atributos derivados das próprias imagens selecionam recursos que permanecem verdadeiros sob a mudança, como pontilhado ou em forma de coração.

Assim, podemos ver que o objeto identificado está sendo anunciado não pelo que é, mas, por assim dizer, ‘por reputação’; os adjetivos ‘vermelho’ e ‘folhoso’ são precisos para o subdomínio morango, mas excedem os limites da imagem (instância) em questão.

Os autores do novo trabalho – intitulado Atributos Devem Vir das Imagens, Não dos Nomes de Classe: Seleção de Atributos Condicional à Distribuição para Modelos de Linguagem de Visão – argumentam que isso é um problema persistente e generalizado, e sugerem selecionar atributos diretamente das imagens em si, para que eles reflitam o que é realmente visível sob mudança de distribuição, em vez de confiar em priors de nome de classe.

Os autores afirmam:

‘Uma rota popular para classificação zero-shot interpretável pede a um grande modelo de linguagem (LLM) para descrever cada nome de classe e promove o CLIP com os descritores resultantes. Mostramos que esses descritores carregam pouca evidência visual por si mesmos: remover o nome da classe do prompt colapsa a precisão do ImageNet de 59,5% para 15,5%.

‘O diagnóstico é que os descritores são condicionados ao rótulo em vez de às imagens, então descrevem o conceito em geral e enganam exatamente quando os dados mudam; um LLM insiste que os morangos são vermelhos, mas todos os morangos em ImageNet-Sketch são desenhos em preto e branco.

‘Portanto, selecionamos atributos da coleção de imagens alvo em vez de: pontuamos um grande pool de atributos contra as imagens no espaço de incorporação conjunta do CLIP e mantemos os atributos com maior pontuação por classe.’

Sua proposta de remédio é que o modelo permanece o mesmo, mas em vez de confiar em descrições de nome de classe, ele verifica um pool de atributos candidatos contra as imagens e mantém apenas aqueles que realmente se encaixam no que é visível.

O custo disso é arguivelmente aceitável, desde que não sugira reinvocar a energia economizada dos métodos “trapaceiros” que levaram ao problema em primeiro lugar. Em vez disso, adiciona uma passagem de pontuação sobre atributos candidatos por classe, para que a latência aumente ligeiramente – mas muito menos do que retreinar ou pipelines completos de estilo RAG. Em teoria, o custo de energia seria aceitável, ponderado contra a melhoria na alinhamento.

Método

Desde que a metodologia dos testes dos autores é particularmente arcana, e desde que insight mínimo adicional seria ganho examinando-os em profundidade, vamos, inusualmente, considerar apenas uma visão geral abreviada de sua abordagem.

O trabalho caracteriza a questão central como Conflito de Nome de Classe: uma situação em que o desempenho parece vir de descritores significativos, mas na realidade depende do próprio nome da classe, com os descritores adicionando pouco – e falhando assim que esse suporte é removido

O artigo então argumenta que essa falha é inevitável, porque descritores gerados a partir de um nome de classe só podem descrever o que uma coisa normalmente parece, em vez do que está realmente presente em uma imagem particular. Assim que os dados se afastam dessas expectativas, os descritores se tornam não apenas inúteis, mas ativamente enganosos, efetivamente votando contra a resposta correta.

Os pesquisadores também consideraram se o CLIP poderia simplesmente ser ruim em detectar atributos sem a ajuda de rótulos de classe, ou se os descritores gerados pelo GPT eram genéricos demais para serem úteis. No entanto, seus experimentos subsequentes refutariam ambas as explicações.

Para abordar essa questão, um modelo CLIP congelado foi usado para comparar imagens contra um grande pool de descritores candidatos tirados de VAW, LSA e saídas do GPT-3, retenção apenas dos atributos que melhor se encaixavam nas imagens, sem exigir re-treinamento ou supervisão adicional de imagem-texto:

Visão geral do sistema proposto: um modelo CLIP congelado codifica imagens e um grande pool de textos de atributos candidatos, usando similaridade cosseno para medir quão fortemente cada descritor corresponde ao conteúdo visual. Os atributos com maior pontuação são então mantidos por classe, produzindo um conjunto interpretável de prompts enquanto mantém os codificadores de imagem e texto fixos ao longo do processo.

Dados e Testes

Os experimentos dos autores usaram o CLIP com um ResNet-50 como backbone e avaliaram o desempenho no ImageNet junto com quatro variantes com mudança de distribuição: ImageNetV2; ImageNet-Sketch; ImageNet-A; e ImageNet-R.

Atributos foram selecionados usando apenas as imagens de treinamento do ImageNet original – permitindo que os conjuntos de dados com mudança de distribuição servissem como um teste fora da distribuição para verificar se os atributos derivados de imagens permaneciam úteis quando as aparências visuais mudavam:

Precisão de classificação Top-1 em ImageNet e quatro benchmarks com mudança de distribuição. Os resultados mostram que o desempenho permanece amplamente semelhante quando os nomes de classe são incluídos nos prompts, mas colapsa quando os descritores são forçados a se sustentar por si mesmos, sugerindo que muito de sua eficácia aparente deriva do próprio rótulo de classe. Em contraste, atributos selecionados diretamente das imagens permanecem substancialmente mais informativos em todos os conjuntos de dados testados.

Re-selecionar atributos do mesmo pool gerado pelo GPT, mas condicioná-los às imagens do ImageNet, aumentou a precisão sem nome de classe de 15,5% para 19,4%. Porque o modelo, o pool de atributos e o protocolo de avaliação permaneceram inalterados, o ganho pôde ser atribuído inteiramente à seleção condicionada à imagem.

O resultado também indicou que o CLIP pode identificar atributos sem rótulos de classe, e que o pool gerado pelo GPT já continha descritores úteis. A principal falha, em vez disso, pareceu estar na geração condicionada ao rótulo, que frequentemente falhava em revelar os atributos mais relevantes para as imagens em si.

Embora os autores continuem com uma série de experimentos adicionais extensivos, devemos remeter o leitor ao material de origem para mais detalhes desses, pois, em vez de expandir o escopo dos resultados, eles apenas confirmam as hipóteses centrais delineadas até agora – que a confiança em rótulos pode potencialmente minar o potencial de dados de imagem reais em aplicações modernas de visão computacional, com uma confiança barata em “probabilidade de reputação” como um perigo para a precisão dos resultados.

Conclusão

É interessante considerar a dívida que a IA generativa moderna tem com os milhões de imagens descritas manualmente que foram ingeridas em conjuntos de dados enormes, como o Common Crawl, no início da era de hipercala.

Toda vez que um sistema de reconhecimento de imagem ou de marcação automática tenta classificar ou re-etiquetar uma imagem antiga ou nova, a provenança desse conhecimento remonta a algum vendedor que escreveu ‘Revista quente dos anos 70!’ na label alt de alguma lista do eBay em 2004, ou algum evento semelhante.

Embora muitos acreditem que a era de ouro do keyword-stuffing foi varrida pelo algoritmo PageRank mais sofisticado do Google quase três décadas atrás, a abordagem ‘parede de texto, vamos torcer para que algo funcione’ permanece muito viva: apenas ontem, liderando o HTML da página de lançamento do modelo Qwen-Image-3.0, havia um explosão atávica (pode ainda estar lá!) de loucura de keyword-stuffing:

O código HTML do lançamento do Qwen Image 3 é uma parede de texto de keyword não totalmente SFW, pelo menos na época da escrita. Fonte

Seja como for, se essa avalanche de palavras-chave frequentemente NSFW no código HTML da página Qwen Image 3 for retirada sistematicamente de listas de destino ou escrita manualmente por especialistas em SEO, este é um exemplo primário das origens brutais do sistema de IA generativa moderno, com significado frequentemente carregando uma carga enorme de interesse próprio que precisará ser removida ou pelo menos contabilizada de alguma forma, quando tais termos interferem ou impedem sistemas e aplicações racionais.

Publicado pela primeira vez na quarta-feira, 22 de julho de 2026