Avaliando a Precisão Histórica do ImageNet

Um novo estudo da Google Research e da UC Berkeley acrescenta à crítica de longa data sobre a dependência do setor de pesquisa de visão computacional (CV) no venerável conjunto de dados ImageNet e seus muitos derivados. Após uma grande quantidade de avaliação manual laboriosa, os autores concluem que quase 50% dos supostos erros que os melhores modelos cometem na avaliação de subconjunto de multi-rótulo do ImageNet (onde os modelos de melhor desempenho atuais alcançam mais de 97% de precisão no topo) não são, na verdade, erros.

Do artigo:

‘Nossa análise revela que quase metade dos supostos erros não são erros de fato, e descobrimos novos rótulos multi válidos, demonstrando que, sem uma revisão cuidadosa, estamos subestimando significativamente o desempenho desses modelos.

‘Por outro lado, também encontramos que os melhores modelos atuais ainda cometem um número significativo de erros (40%) que são obviamente errados para revisores humanos.’

A extensão com que a rotulagem errada de conjuntos de dados – particularmente por trabalhadores de crowdsourcing não qualificados – pode estar distorcendo o setor, foi revelada pela abordagem minuciosa do estudo para avaliação dos pares de imagem/texto em uma grande parte da história do ImageNet.

Na linha superior, exemplos de gravidade de erros: nos dois primeiros exemplos aqui, o novo modelo simplesmente obtém o rótulo previsto errado; no terceiro exemplo, o novo modelo identifica um rótulo multi previamente ausente (um rótulo que aborda uma nova categorização da imagem); na última imagem da linha superior, a previsão do modelo é ambígua, pois a imagem é uma mosca-bee e não uma mosca. No entanto, a mosca média pertence à ordem de insetos Diptera, e assim essa exceção seria quase impossível de detectar, mesmo para um annotador especializado. Na linha abaixo estão quatro categorias de erros, com exemplos. Fonte: https://arxiv.org/pdf/2205.04596.pdf

Os pesquisadores empregaram um pequeno número de avaliadores dedicados para revisar laboriosamente os registros de erros históricos no conjunto de dados ImageNet, descobrindo que muitos dos julgamentos de erro são eles mesmos errados – uma descoberta que potencialmente revisa alguns dos resultados ruins que muitos projetos obtiveram nos benchmarks do ImageNet ao longo dos anos.

À medida que o ImageNet se entranha na cultura CV, os pesquisadores defendem que as melhorias na precisão são pensadas para produzir retornos decrescentes, e que novos modelos que ultrapassam a precisão de rótulo estabelecida e que sugerem novos rótulos (ou seja, adicionais) podem estar sendo punidos, essencialmente, por não conformidade.

‘Por exemplo,’ os autores observam. ‘devemos penalizar os modelos por serem os primeiros a prever que um bagel pré-assado pode ser um bagel, como um dos modelos que revisamos neste trabalho faz?’

Do artigo, um modelo mais recente desafia a previsão anterior de que o objeto na foto é massa e sugere que o objeto é, na verdade, um bagel).

Do ponto de vista de um trabalhador de crowdsourcing encarregado de identificar tal objeto, esta é uma questão semântica e até filosófica que só pode ser resolvida por meio de multi-rótulos (como ocorre em subconjuntos posteriores e iterações subsequentes do ImageNet); no caso acima, o objeto é, de fato, tanto massa quanto um bagel nascente.

Erros principais (acima) e menores (abaixo) que surgiram ao testar modelos personalizados na pesquisa. Os rótulos originais do ImageNet são as primeiras imagens à esquerda.

As duas soluções óbvias são atribuir mais recursos à rotulagem (o que é um desafio, dentro das restrições orçamentárias da maioria dos projetos de pesquisa de visão computacional); e, como os autores enfatizam, atualizar regularmente os conjuntos de dados e subconjuntos de avaliação de rótulos (o que, entre outros obstáculos, arrisca quebrar a continuidade histórica ‘como para como’ dos benchmarks e poluir novos artigos de pesquisa com qualificações e declarações sobre equivalência).

Como um passo para remediar a situação, os pesquisadores desenvolveram um novo subconjunto do ImageNet chamado ImageNet-Major (ImageNet-M), que descrevem como ‘um fatia de 68-exemplos de “erro grave” dos erros óbvios cometidos pelos melhores modelos atuais – uma fatia onde os modelos devem alcançar quase perfeição, mas hoje estão longe de fazê-lo.’

O artigo é intitulado Quando a massa se torna um bagel? Analisando os erros restantes no ImageNet, e é escrito por quatro autores da Google Research, juntamente com Sara Fridovich-Keil, da UC Berkeley.

Dívida Técnica

As descobertas são importantes porque os erros restantes identificados (ou mal identificados) no ImageNet, nos 16 anos desde sua criação, o estudo central da pesquisa, podem representar a diferença entre um modelo implantável e um que é propenso a erros o suficiente para não poder ser liberado em dados ao vivo. Como sempre, o último milha é crítica.

O setor de pesquisa de visão computacional e síntese de imagens efetivamente ‘selecionou automaticamente’ o ImageNet como uma métrica de benchmark, por uma série de razões – não menos porque uma onda de primeiros adotantes, em um momento em que conjuntos de dados de alto volume e bem rotulados eram mais raros do que são agora, produziu tantas iniciativas de pesquisa que testar contra o ImageNet rapidamente se tornou o único padrão histórico amplamente aplicável para benchmarking novos quadros.

Método

Procurando os ‘erros restantes’ no ImageNet, os pesquisadores usaram um modelo ViT padrão (capaz de alcançar uma precisão de 89,5%) com 3 bilhões de parâmetros, Vit-3B, pré-treinado em JFT-3B e ajustado fino em ImageNet-1K.

Usando o conjunto de dados ImageNet2012_multilabel, os pesquisadores registraram a precisão inicial de multi-rótulo (MLA) do ViT-3B como 96,3%, durante o qual o modelo cometeu 676 erros aparentes. Foram esses erros (e também erros produzidos por um modelo Greedy Soups) que os autores buscaram investigar.

Para avaliar os 676 erros restantes, os autores evitaram trabalhadores de crowdsourcing, observando que erros desse tipo podem ser difíceis para annotadores médios detectar, mas reuniram um painel de cinco revisores especializados e criaram uma ferramenta dedicada para permitir que cada revisor visse de relance a classe prevista; a pontuação prevista; os rótulos de verdade; e a imagem em si.

A interface construída para o projeto.

Em alguns casos, foi necessária uma pesquisa adicional para resolver disputas entre o painel, e a busca de imagens do Google foi usada como uma ferramenta auxiliar.

‘[Em] um caso interessante, mas não isolado, uma previsão de um táxi (sem indicadores óbvios de táxi além da cor amarela) estava presente na imagem; determinamos que a previsão era correta e não apenas um veículo padrão, identificando uma ponte de marcação no fundo para localizar a cidade e uma busca de imagem subsequente por táxis naquela cidade produziu imagens do mesmo modelo de táxi e design de placa, validando a previsão correta do modelo.’

Após a revisão inicial dos erros encontrados durante várias fases da pesquisa, os autores formularam quatro novos tipos de erros: erro de granulação fina, onde a classe prevista é semelhante a um rótulo de verdade; erro de granulação fina com fora do vocabulário (OOV), onde o modelo identifica um objeto cuja classe é correta, mas não está presente no ImageNet; correlação espúria, onde o rótulo previsto é lido fora do contexto da imagem; e não prototípico, onde o objeto de verdade é um exemplo questionável da classe que se assemelha ao rótulo previsto.

Em certos casos, a verdade não era ela mesma ‘verdadeira’:

‘Após a revisão dos 676 erros originais [encontrados no ImageNet], descobrimos que 298 eram corretos ou claros, ou determinamos que a verdade original era incorreta ou problemática.’

Após uma rodada exaustiva e complexa de experimentos em uma variedade de conjuntos de dados, subconjuntos e conjuntos de validação, os autores descobriram que os dois modelos em estudo foram considerados corretos (pelos revisores humanos) para metade dos ‘erros’ que cometeram sob técnicas convencionais.

O artigo conclui:

‘Neste artigo, analisamos todos os erros restantes que os modelos ViT-3B e Greedy Soups cometem no conjunto de validação de multi-rótulo do ImageNet.

‘No geral, descobrimos que: 1) quando um modelo grande e de alta precisão faz uma previsão nova não feita por outros modelos, acaba sendo um novo rótulo multi correto quase metade do tempo; 2) modelos de alta precisão não demonstram um padrão óbvio em nossas categorias e gravidade de erros; 3) modelos SOTA atuais estão basicamente igualando ou superando o desempenho do melhor especialista humano no subconjunto de multi-rótulo avaliado por humanos; 4) dados de treinamento barulhentos e classes subespecificadas podem ser um fator limitante para a medição eficaz de melhorias na classificação de imagens.’

Publicado pela primeira vez em 15 de maio de 2022.