Os Dados ‘Rogue’ que Poluem o Desempenho dos Modelos de IA Gerativos

Um novo estudo descobriu que muitos conjuntos de dados de imagens populares usados para treinar modelos de IA estão contaminados com imagens de teste ou near-duplicatas, permitindo que os modelos trapaceiem memorizando respostas em vez de aprender. A vazamento é generalizado, mas geralmente não detectado, inflando silenciosamente as pontuações e dando vantagens injustas aos modelos treinados em dados em escala de web.

Quando você faz um teste de direção, você normalmente não é informado com antecedência quais estradas serão usadas para o teste. Se você soubesse (e você estivesse um pouco faltando em integridade), você poderia ‘otimizar’ para o teste praticando repetidamente naquela rota, em vez de desenvolver habilidades de direção mais amplas que possam lidar com qualquer rota de forma razoável.

No treinamento de modelos de aprendizado de máquina, isso é uma analogia razoável para uma divisão de teste – uma divisão do conjunto de dados de treinamento entre (geralmente) uma divisão de 70% para os dados que serão usados para treinar o modelo, com os 30% restantes usados como ‘no mundo’ dados.

Desde que os dados ‘no mundo’ nunca foram vistos pelo modelo, se o modelo se sair bem nesses dados, pode ser assumido como eficaz e performático; se não, o modelo pode ter superajustado em um conjunto de dados bem equilibrado – ou o conjunto de dados precisava de curadoria e definição extras.

De qualquer forma, não avaliar modelos em seus dados de treinamento é a pedra angular do método atual em pesquisa e desenvolvimento de IA.

Mesmo de Novo, Por Favor

De acordo com um novo artigo de pesquisa do Japão, o setor de pesquisa de visão computacional e IA gerativa não acompanhou os esforços dos pesquisadores de LLM para garantir que os dados de teste não poluem os dados de treinamento; nos testes, os pesquisadores descobriram que todos os conjuntos de dados de visão em escala de hiperscala que estudaram, incluindo aqueles que alimentam alguns dos maiores sistemas de IA gerativa atuais, permitiram que seus dados de teste se cruzassem com seus dados de treinamento – significando que as avaliações e relatórios de desempenho dos modelos treinados nesses conjuntos de dados não serão mais precisos do que um resultado de exame de alguém que levou um gabarito para a sala de exame, e não refletirão o desempenho real em dados genuinamente novos.

Exemplos de contaminação de dados encontrados pelos pesquisadores, onde pontos de dados duplicados ou near-duplicados existem em ambos os conjuntos de dados de treinamento e teste. Fonte: https://arxiv.org/pdf/2508.17416

Na imagem acima, do novo artigo, vemos exemplos de pontos de dados duplicados ou near-duplicados encontrados em ambos os conjuntos de dados de treinamento e teste de vários modelos – o suficiente para invalidar o desempenho do modelo nesses dados e inflar ligeiramente suas pontuações gerais, facilitando a aparência de um nível de generalização que o modelo pode não ter alcançado.

Para complicar ainda mais as coisas, a contaminação parece ocorrer em uma variedade de cenários possíveis, incluindo ‘pré-treinamento‘, onde os pesos de modelos ancestrais mais antigos são usados para ‘iniciar’ um novo modelo. Se o modelo ancestral mais antigo tiver alguns dos mesmos dados que o novo conjunto de dados que está sendo pré-treinado, então a contaminação cruzada pode ocorrer, mesmo que a divisão 70/30 ou 80/20 seja limpa.

Cumulativo

Isso quase certamente ocorrerá, mesmo nos conjuntos de dados mais recentes: o escopo dos conjuntos de dados de visão/linguagem cresceu enormemente nos últimos cinco anos, abrangendo não apenas os novos dados de imagem da web, mas também re-coletando grande parte dos mesmos dados que popularam aqueles conjuntos de dados mais antigos e históricos.

Além disso, rotinas automatizadas projetadas para vasculhar e filtrar bilhões de imagens para duplicatas e near-duplicatas agora enfrentam uma tarefa tão onerosa que a curadoria em si – seu custo em termos de tempo e dinheiro – agora deve ser considerada no contexto de limitações orçamentárias

Enquanto isso, a duplicação de imagens é uma consequência inevitável do tipo de ad hoc de vasculhamento da web por detrás de coleções massivas como Common Crawl, devido à prática comum de republicar e recomprimir imagens, e aplicar edições como cortes, e até mesmo virar (para evitar detecção, quando a imagem pode ter sido usada sem permissão, por exemplo).

Os autores observam*:

‘A vazamento de dados é um problema generalizado, prevalente na maioria dos conjuntos de dados visuais. A vazamento pode obscurecer a capacidade de generalização dos modelos, o que é particularmente problemático quando se comparam modelos treinados em diferentes conjuntos de dados, levando a comparações injustas.

‘Pedimos aos designers de conjuntos de dados que considerem cuidadosamente as implicações dessas avaliações. Para uma avaliação de modelo mais justa, recomendamos o uso de detectores de duplicatas que considerem tanto a vazamento dura quanto a vazamento suave.

‘Idealmente, as imagens vazadas devem ser removidas do conjunto de treinamento, e se não for possível, elas devem ser removidas do conjunto de teste.’

O artigo elabora sobre uma série de testes que os pesquisadores realizaram em conjuntos de dados massivos e populares – cada um dos quais demonstrou algum nível de contaminação.

O novo artigo é intitulado Vazamento de Dados em Conjuntos de Dados Visuais, e vem de três pesquisadores da Universidade de Osaka.

Método

Os autores do artigo definem vazamento em termos de três dimensões: modalidade, cobertura, e grau.

Modalidade distingue se apenas imagens são vazadas ou se tanto imagens quanto rótulos são expostos; cobertura identifica se a sobreposição ocorre dentro do mesmo conjunto de dados ou entre conjuntos de dados diferentes; e grau define se o conteúdo duplicado é exatamente o mesmo ou apenas adjacente.

Em relação à vazamento, os dois cenários considerados no trabalho são vazamento intra-conjunto de dados (onde as imagens de avaliação reaparecem na divisão de treinamento do mesmo conjunto de dados), e vazamento inter-conjunto de dados (onde as imagens de avaliação de um conjunto de dados estão presentes em um diferente conjunto de dados usado para treinamento).

Em relação ao grau, os dois níveis definidos são vazamento suave (onde as imagens não são idênticas, mas exibem variações menores), e vazamento duro (onde as imagens são exatamente as mesmas em treinamento e avaliação).

Os pesquisadores abordam a detecção de vazamento em termos de recuperação de imagens, usando codificadores de imagens para representar cada imagem como um vetor de recursos. O conjunto de consulta é o conjunto de dados de avaliação, enquanto o coletânea é o conjunto de dados de treinamento.

Para conjuntos de dados menores, cada vetor de consulta foi diretamente comparado a todos os vetores de treinamento usando similaridade cosseno. Para conjuntos de dados maiores, um índice Faiss foi criado para permitir uma busca mais rápida, K-Nearest Neighbors (KNN) pesquisada.

Como o codificador precisa capturar informações visuais suficientes para detectar semelhanças sutis, mas ainda permanecer eficiente diante de grandes volumes de dados, os autores confiaram em recursos pré-computados CLIP disponibilizados pelos criadores do conjunto de dados, no caso do conjunto de dados LAION que subjaz à Difusão Estável, e projetos posteriores.

Os autores observam que permitir que o CLIP use sua compreensão destilada do conjunto de dados (em vez de consultar os arquivos reais em escala) acelerou significativamente o processo e ofereceu consistência melhorada em comparações.

Dados e Testes

O codificador de imagem CLIP usado nos testes para o novo trabalho foi o CLIP ViT-B/32 padrão originalmente usado para peneirar o LAION. Para estabelecer se imagens diversas estavam relacionadas, KNN foi usado sob AutoFaiss.

Os conjuntos de dados foram agrupados em três tipos: pré-treinamento conjuntos de dados – grandes coleções raspadas na web usadas para treinar modelos generalistas; treinamento conjuntos de dados – coleções menores, frequentemente anotadas, destinadas a ajuste direto de modelo; e benchmark conjuntos de dados – anotados manualmente e usados exclusivamente para avaliação.

A análise abrangeu vinte divisões em sete conjuntos de dados: Microsoft COCO foi usado como conjunto de treinamento e avaliação, incorporando os conjuntos de treinamento, validação, teste e não rotulados; Flickr30k serviu exclusivamente como benchmark; e a coleção Conceptual Captions do Google (GCC) foi tratada como uma fonte de pré-treinamento, com sua porção de validação também usada para avaliação.

Além disso, ImageNet foi usado para treinamento e benchmark, enquanto o conjunto de dados LAION-400M foi usado apenas para pré-treinamento.

OpenImages v4 contribuiu com dados de treinamento e benchmark, e TextCaps forneceu conjuntos de treinamento e teste para avaliação.

Exemplos de anotações de imagens do conjunto de dados Open Images do Google, examinados no novo trabalho. Fonte: https://arxiv.org/pdf/1811.00982

Para avaliar como bem o método pode detectar vazamento quando as imagens foram sutilmente alteradas por meio de redimensionamento, corte ou transformações não semânticas semelhantes, os autores testaram no Flickr30k, selecionando aleatoriamente 5.000 imagens como consultas e usando todo o conjunto de dados como a coleção de referência.

Cada imagem de consulta foi transformada antes de ser codificada (ou seja, submetida a uma modificação não semântica, como redimensionamento ou corte), e então correspondida à item mais semelhante na coleção usando similaridade cosseno; uma correspondência foi contada apenas se a imagem original foi recuperada como o resultado superior.

Os três codificadores comparados foram ResNet-152; DINOv2 ViT-B/14; e CLIP ViT-B/32.

Quatro tipos de transformações de imagem não semânticas foram usados: geométricas (viradas e rotações); corte (remoção de 20, 50 ou 100 pixels de cada borda); pixelização (borramento gaussiano, ruído adicionado ou redução para 128 ou 256 pixels); e cor (preto e branco, inversão ou sobreposições de vermelho, verde ou azul).

Do material suplementar, exemplos das transformações aplicadas aos dados – rotinas típicas também no pré-processamento de aumento de dados.

Os autores então testaram para vazamento na recuperação de imagens:

Precisão de detecção de vazamento em 5.000 imagens de consulta do Flickr30k submetidas a várias transformações não semânticas.

Todos os três codificadores alcançaram desempenho perfeito em imagens não alteradas, e o CLIP permaneceu confiável em corte, flips horizontais, ruído e redimensionamento, superando o ResNet em alterações de nível de pixel e cor.

O DINOv2 mostrou forte resistência a transformações de cor (provavelmente devido ao seu design de auto-supervisão, opinam os autores), mas foi notavelmente mais fraco em edições geométricas e corte – ambos comuns em conjuntos de dados duplicados.

Como o LAION já inclui recursos CLIP, e dada sua robustez e velocidade consistentes, o CLIP foi escolhido como o codificador padrão para a análise principal.

Vazamento Duro e Suave

O desempenho foi avaliado em diferentes limiares de similaridade cosseno para distinguir entre imagens exatamente duplicadas e near-duplicadas (vazamento duro e suave).

Um limiar de 0,98 foi selecionado para definir vazamento duro, resultando em nenhum falso positivo e detecção perfeita de imagens idênticas.

Para vazamento suave, um limiar de 0,95 foi escolhido, permitindo que mais near-duplicatas sejam recuperadas enquanto mantém uma taxa de falso positivo quase zero. Prioridade foi dada à precisão em vez da cobertura, e as descobertas foram, portanto, estimadas de forma conservadora:

Curvas de características de operador do receptor foram usadas para guiar a seleção de limiares de vazamento duro e suave. Pontuações AUC altas em condições transformadas e não transformadas demonstram que near-duplicatas podem ser distinguidas de imagens não relacionadas, mesmo quando alterações mínimas estão presentes.

Vazamento Intra-Conjunto de Dados

O vazamento intra-conjunto de dados foi computado identificando a sobreposição de imagens entre as divisões de treinamento e avaliação dentro do mesmo conjunto de dados. Apenas conjuntos de dados com ambos os conjuntos de benchmark e treinamento ou pré-treinamento foram elegíveis, restringindo a análise ao COCO, GCC, ImageNet, OpenImages e TextCaps.

Para o COCO, o conjunto de teste foi comparado com o conjunto de treinamento, conjunto de avaliação e subconjuntos não rotulados, e o conjunto de validação foi comparado com o conjunto de treinamento e subconjuntos não rotulados.

As taxas mais altas de vazamento intra-conjunto de dados foram observadas nas divisões de teste e validação do ImageNet, com vazamento duro atingindo até 1,58% e vazamento suave ligeiramente abaixo de 2%. O GCC e o COCO seguiram, com o COCO val2017 mostrando um vazamento suave de 3% e suas divisões de teste variando entre 1,35% e 1,38%. O OpenImages exibiu vazamento duro baixo em 0,05%, mas o vazamento suave excedeu 1,3% em ambos os conjuntos de teste e validação. O TextCaps mostrou o vazamento geral mais baixo, em 0,69%, com nenhum vazamento duro detectado:

Taxas de vazamento intra-conjunto de dados, mostrando a proporção de cada divisão de avaliação que se sobrepõe com seus dados de treinamento associados.

Em relação a esses resultados, os autores afirmam^†:

‘Esses resultados mostram que o vazamento intra-conjunto de dados ocorre em todos os conjuntos de dados analisados, seja em seu grau duro ou suave.

‘Dado que o vazamento de dados pode comprometer a avaliação do modelo e que os conjuntos de dados são projetados especificamente para esse propósito, o vazamento intra-conjunto de dados é um risco que por design não deveria existir.

‘No entanto, identificamos várias instâncias em todos os conjuntos de dados.’

Vazamento Inter-Conjunto de Dados

Para medir o vazamento inter-conjunto de dados (onde um modelo é treinado em um conjunto de dados e avaliado em outro), quatro conjuntos de dados foram usados como fontes de dados de treinamento: treinamento GCC, treinamento ImageNet, treinamento OpenImages, e LAION.

Esses foram combinados com dados de avaliação extraídos das divisões de teste e validação do COCO 2014, Flickr30K, TextCaps teste, a divisão de teste e validação do OpenImages e as divisões de teste e validação do ImageNet.

Recursos CLIP ViT-B/32 foram extraídos para todos os conjuntos de dados, exceto o LAION, que fornece seus próprios recursos pré-computados. No entanto, como esses recursos diferem ligeiramente daqueles gerados usando a implementação oficial do CLIP, as imagens de consulta foram redimensionadas de acordo com o método usado no repositório clip-retrieval para garantir a compatibilidade.

A recuperação foi realizada usando uma busca KNN, embora a escala do LAION tenha exigido a divisão em blocos de um milhão de imagens, com cada um indexado separadamente:

Vazamento inter-conjunto de dados entre conjuntos de dados de benchmark (colunas) e conjuntos de dados de pré-treinamento (linhas). No lado esquerdo, vemos ‘vazamento duro’ (imagens idênticas), e no lado direito ‘vazamento suave’ (near-duplicatas).

O vazamento entre conjuntos de dados foi observado em todos os conjuntos de dados de benchmark, com diferentes graus de gravidade. O LAION mostrou as taxas mais altas de vazamento duro (imagens idênticas), particularmente para os conjuntos de dados de teste do OpenImages e TextCaps, cada um excedendo 3%. O OpenImages também contribuiu com uma quantidade menor de vazamento duro para o COCO.

Embora menos grave, o ImageNet ainda continha duplicatas duras de todos os conjuntos de benchmark examinados; e o GCC mostrou o vazamento duro geral mais baixo, permanecendo abaixo de 1%.

O vazamento suave (near-duplicatas) foi mais generalizado: o LAION novamente produziu as taxas mais altas, com até 7,9% de sobreposição para certos benchmarks; o OpenImages e o TextCaps foram os conjuntos de dados de benchmark mais afetados; e o Flickr30k mostrou o menor vazamento.

Embora essas sobreposições possam representar apenas uma pequena porção dos conjuntos de avaliação, os autores observam que sua presença pode permitir memorização e comprometer a validade do teste:

Exemplos de imagens vazadas. À esquerda, casos de ‘vazamento duro’, onde as imagens são idênticas dentro de um conjunto de dados (topo) ou entre conjuntos de dados (fundo); à direita, casos de ‘vazamento suave’, onde as imagens são visualmente near-identical.

Efeito na Avaliação Downstream

O artigo considera em seguida como o vazamento de dados afeta as avaliações downstream (ou seja, o desempenho em tarefas padrão quando modelos pré-treinados são testados em benchmarks que contêm dados de treinamento duplicados).

Três tarefas foram consideradas: classificação zero-shot; classificação supervisionada; e recuperação de imagem-texto.

Para cada tarefa, o desempenho do modelo foi avaliado em um conjunto de dados de benchmark para o qual amostras vazadas já haviam sido identificadas dentro dos dados de pré-treinamento. Os resultados foram comparados em quatro subconjuntos: o conjunto de benchmark completo; um subconjunto de amostras vazadas; um subconjunto de amostras não vazadas; e um subconjunto aleatoriamente selecionado do mesmo tamanho que o grupo vazado (usado como controle).

O efeito do vazamento de dados em três tarefas downstream foi medido usando subconjuntos de benchmark conhecidos por conter amostras vazadas. Na classificação zero-shot, um modelo pré-treinado no LAION alcançou precisão notavelmente mais alta em imagens vazadas do conjunto de avaliação do ImageNet, confirmando que a exposição a near-duplicatas durante o treinamento fornece uma vantagem mensurável:

Precisão de classificação zero-shot no conjunto de avaliação do ImageNet em subconjuntos com e sem vazamento. A coluna final relata ganhos de precisão relativos ao conjunto completo, e as linhas realçadas correspondem a subconjuntos vazados.

Para a classificação supervisionada, o vazamento no ImageNet causou uma queda dramática no desempenho – a menos que a imagem vazada tivesse o mesmo rótulo em ambas as divisões, caso em que o modelo alcançou precisão quase perfeita, revelando um forte efeito de memorização:

Precisão de classificação supervisionada no conjunto de avaliação do ImageNet para subconjuntos com e sem vazamento. As colunas de ganho mostram a mudança relativa ao conjunto completo. Subconjuntos vazados são realçados.

Na recuperação de imagem-texto, o desempenho novamente melhorou para amostras vazadas, com tanto o vazamento duro quanto o suave levando a uma maior recuperação, e com subconjuntos vazados também produzindo resultados mais consistentes em execuções:

Desempenho de recuperação de imagem-texto no Flickr30k em subconjuntos com e sem vazamento, com subconjuntos vazados realçados.

Os autores concluem:

‘Em geral, mostramos evidências consistentes de que o vazamento representa uma ameaça séria à avaliação justa de modelos em conjuntos de dados visuais, comprometendo um dos princípios mais fundamentais do aprendizado de máquina: não avaliar modelos em seus dados de treinamento.’

Conclusão

Um aspecto chocante do artigo, embora não seja novidade, é a descrição da necessidade de usar o CLIP para obter recursos para a vasta montanha de dados de imagem no LAION, representando uma escala que não pode mais ser abordada de nenhuma outra forma senão agregada, lidando com metadados tokenizados em vez das características mais detalhadas que podem ser inspecionadas quando um conjunto de dados é mais gerenciável.

É uma ilustração impressionante da extensão com que o treinamento de modelos de visão-linguagem definitivamente ultrapassou os limites e as capacidades de supervisão humana, ou qualquer tipo de curadoria manual além de sub-amostras representativas.

* Talvez um pouco confusamente, o problema de duplicação é definido no artigo como ‘vazamento’.

† Ênfase dos autores.

Publicado pela primeira vez na terça-feira, 26 de agosto de 2025