A Sobreinterpretação Pode Ser uma Ameaça Maior e Mais Intratável do que a Sobreajuste

Se sua boa amiga Alice gosta de usar suéteres amarelos, você vai ver muito mais suéteres amarelos do que a pessoa média. Depois de um tempo, é possível que quando você ver uma diferente mulher usando um suéter amarelo, o conceito central Alice vai surgir em sua mente.

Se você ver uma mulher usando um suéter amarelo que se assemelha a Alice um pouco, você pode até confundi-la com sua amiga por um momento.

Mas não é Alice. Eventualmente, você vai perceber que suéter amarelo não é uma chave útil para identificar Alice, desde que ela nunca os use no verão e não os use sempre no inverno também. Algum tempo depois do início da amizade, você vai começar a rebaixar suéter amarelo como um possível identificador de Alice, porque sua experiência com ele foi insatisfatória, e a energia cognitiva usada para manter essa atalho não é frequentemente recompensada.

Se você for um sistema de reconhecimento de visão computacional, no entanto, é bastante possível que você veja Alice em todos os lugares onde você vê um suéter amarelo.

Não é sua culpa; você foi encarregado de identificar Alice a todo custo, a partir da informação mínima disponível, e não há escassez de recursos cognitivos para manter essa crib reducionista Alice.

Discernimento Inquietante

De acordo com um artigo recente do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) e da Amazon Web Services, essa síndrome, apelidada de sobreinterpretação, é comum no campo de pesquisa de visão computacional (CV); não pode ser mitigada ao abordar a sobreajuste (já que não é um adjunto direto da sobreajuste); é comumente evinceda em pesquisas que usam os dois conjuntos de dados mais influentes em reconhecimento e transformação de imagens, CIFAR-10 e ImageNet; e não tem remédios fáceis – certamente não baratos remédios.

Os pesquisadores descobriram que, ao reduzir as imagens de treinamento para apenas 5% de seu conteúdo coerente, uma ampla gama de frameworks populares continuou a classificar corretamente as imagens, que aparecem, na maioria dos casos, como “gibberish” visual para qualquer observador humano:

Imagens de treinamento originais do CIFAR-10, reduzidas a apenas 5% do conteúdo de pixels original, ainda classificadas corretamente por uma gama de frameworks de visão computacional populares com uma precisão de 90-99%. Fonte: https://arxiv.org/pdf/2003.08907.pdf

Em alguns casos, os frameworks de classificação encontram essas imagens reduzidas fácil de classificar corretamente do que os quadros completos nos dados de treinamento originais, com os autores observando ‘[CNNs] são mais confiantes nesses subconjuntos de pixels do que em imagens completas’.

Isso indica um tipo potencialmente subversivo de “trapaça” que ocorre como prática comum para sistemas de visão computacional que usam conjuntos de dados de referência, como CIFAR-10 e ImageNet, e frameworks de referência, como VGG16, ResNet20 e ResNet18.

A sobreinterpretação tem ramificações notáveis para sistemas de veículos autônomos baseados em visão computacional, que têm sido foco de atenção recentemente com a decisão da Tesla de favorecer a interpretação de imagens sobre LiDAR e outros sistemas de sensoriamento baseados em raios para algoritmos de condução autônoma.

Embora o “aprendizado de atalho” seja um desafio conhecido, e um campo de pesquisa ativa em visão computacional, os autores do artigo comentam que a pesquisa alemã/canadense que notavelmente enquadrava o problema em 2019 não reconhece que os subconjuntos de pixels “espúrios” que caracterizam a sobreinterpretação são “dados estatisticamente válidos”, que podem precisar ser abordados em termos de arquitetura e abordagens de nível superior, em vez de através de uma curadoria mais cuidadosa dos conjuntos de dados.

O artigo é intitulado A sobreinterpretação revela patologias do modelo de classificação de imagens, e vem de Brandon Carter, Siddhartha Jain e David Gifford, do CSAIL, em colaboração com Jonas Mueller, da Amazon Web Services. O código para o artigo está disponível em https://github.com/gifford-lab/overinterpretation.

Reduzindo os Dados

As imagens reduzidas de dados que os pesquisadores usaram são denominadas por eles Subconjuntos de Entrada Suficientes (SIS) – na prática, uma imagem SIS contém o mínimo possível de “carcaça externa” que pode delinear uma imagem o suficiente para permitir que um sistema de visão computacional identifique o assunto original da imagem (i.e., cachorro, navio, etc.).

Na linha superior, vemos imagens de validação completas do ImageNet; abaixo, os subconjuntos SIS, classificados corretamente por um modelo Inception V3 com 90% de confiança, com base, aparentemente, em tudo o que resta da imagem – contexto de fundo. Naturalmente, a coluna final tem implicações notáveis para o reconhecimento de sinais em algoritmos de veículos autônomos.

Comentando sobre os resultados obtidos na imagem acima, os pesquisadores observam:

‘Descobrimos que os pixels SIS estão concentrados fora do objeto real que determina a etiqueta de classe. Por exemplo, na imagem “pizza”, o SIS está concentrado na forma do prato e no contexto de fundo da mesa, em vez da própria pizza, sugerindo que o modelo pode generalizar mal em imagens que contenham itens circulares diferentes em uma mesa. Na imagem “panda gigante”, o SIS contém bambu, que provavelmente apareceu na coleção de fotos do ImageNet para essa classe.

‘Nas imagens “semáforo” e “sinal de trânsito”, o SIS consiste em pixels no céu, sugerindo que sistemas de veículos autônomos que dependam desses modelos devem ser cuidadosamente avaliados para patologias de sobreinterpretação.’

As imagens SIS não são reduzidas aleatoriamente, mas foram criadas para o projeto por um processo de Seleção de Gradiente em Lote, no Inception V3 e ResNet50 via PyTorch. As imagens são derivadas por uma rotina de ablação que leva em conta a relação entre a capacidade do modelo de classificar corretamente uma imagem e as áreas em que os dados originais são iterativamente removidos.

Para confirmar a validade dos SIS, os autores testaram um processo de remoção aleatória de pixels, e encontraram os resultados “significativamente menos informativos” nos testes, indicando que as imagens SIS representam genuinamente os dados mínimos que os modelos e conjuntos de dados populares precisam para fazer previsões aceitáveis.

Um olhar sobre qualquer uma das imagens reduzidas sugere que esses modelos devem falhar em linha com os níveis humanos de discernimento visual, o que levaria a uma precisão mediana de menos de 20%.

Com imagens SIS reduzidas a apenas 5% de seus pixels originais, os humanos mal alcançam uma taxa de classificação “maior que aleatória”, vs. a taxa de sucesso de 90-99% dos conjuntos de dados e frameworks populares estudados no artigo.

Além da Sobreajuste

A sobreajuste ocorre quando um modelo de aprendizado de máquina treina extensivamente em um conjunto de dados e se torna proficiente em fazer previsões para esses dados específicos, mas é muito menos eficaz (ou até totally ineficaz) em dados frescos que são introduzidos a ele após o treinamento (fora da distribuição de dados).

Os pesquisadores notam que o interesse atual na academia e na indústria em combater a sobreajuste não vai resolver simultaneamente a sobreinterpretação, porque os subconjuntos de pixels reduzidos que representam imagens identificáveis para computadores e “gibberish” para humanos são na verdade dados genuinamente aplicáveis, em vez de uma “concentração obsessiva” em dados mal curados ou anêmicos:

‘A sobreinterpretação está relacionada à sobreajuste, mas a sobreajuste pode ser diagnosticada por meio da precisão de teste reduzida. A sobreinterpretação pode decorrer de sinais estatísticos verdadeiros na distribuição subjacente do conjunto de dados que acontecem de surgir de propriedades específicas da fonte de dados (por exemplo, réguas de dermatologistas).

‘Portanto, a sobreinterpretação pode ser mais difícil de diagnosticar, pois admite decisões que são feitas por critérios estatisticamente válidos, e modelos que usam esses critérios podem se destacar em benchmarks.’

Soluções Possíveis

Os autores sugerem que o ensemble de modelos, onde várias arquiteturas contribuem para o processo de avaliação e treinamento, pode ajudar a mitigar a sobreinterpretação. Eles também descobriram que aplicar dropout de entrada, originalmente projetado para impedir a sobreajuste, levou a uma “pequena diminuição” na precisão de teste do CIFAR-10 (o que provavelmente é desejável), mas um “aumento significativo” (∼ 6%) na precisão dos modelos em dados não vistos. No entanto, os números baixos sugerem que quaisquer curas subsequentes para a sobreajuste são improváveis de abordar completamente a sobreinterpretação.

Os autores admitem a possibilidade de usar mapas de saliência para indicar quais áreas de uma imagem são pertinentes para a extração de recursos, mas notam que isso derrota o objetivo de análise de imagem automatizada e exige anotação humana que é inviável em escala. Eles observam ainda que os mapas de saliência foram encontrados para ser apenas estimadores grosseiros em termos de insight nas operações do modelo.