A Superinterpretação Pode Ser uma Ameaça Maior e Mais Intransponível do que a Sobreajuste

Se sua boa amiga Alice gosta de usar suéteres amarelos, você vai ver muito mais suéteres amarelos do que a pessoa média. Depois de um tempo, é possível que, quando você vê uma mulher diferente usando um suéter amarelo, o conceito central Alice venha à mente.

Se você vê uma mulher usando um suéter amarelo que se assemelha a Alice um pouco, você pode até confundi-la com sua amiga por um momento.

Mas não é Alice. Eventualmente, você vai perceber que suéter amarelo não é uma chave útil para identificar Alice, pois ela nunca os usa no verão e não os usa sempre no inverno também. Algum tempo depois de começar a amizade, você vai começar a rebaixar suéter amarelo como um possível identificador de Alice, porque sua experiência com ele foi insatisfatória, e a energia cognitiva usada para manter esse atalho não é frequentemente recompensada.

Se você é um sistema de reconhecimento de visão computacional, entretanto, é quite possível que você veja Alice em todos os lugares onde vê um suéter amarelo.

Não é sua culpa; você foi encarregado de identificar Alice a todo custo, a partir da informação mínima disponível, e não há falta de recursos cognitivos para manter esse atalho reductivo para Alice.

Discernimento Inquietante

De acordo com um artigo recente do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) e da Amazon Web Services, essa síndrome, apelidada de superinterpretação, é comum no campo de pesquisa de visão computacional (CV); não pode ser mitigada apenas abordando a sobreajuste (pois não é um adjunto direto da sobreajuste); é comumente evidenciada em pesquisas que usam os dois conjuntos de dados mais influentes em reconhecimento e transformação de imagens, CIFAR-10 e ImageNet; e não tem remédios fáceis – certamente não baratos remédios.

Os pesquisadores descobriram que, quando reduziam as imagens de treinamento de entrada para apenas 5% de seu conteúdo coeso, uma ampla gama de frameworks populares continuou a classificar corretamente as imagens, que aparecem, na maioria dos casos, como “gibberish” visual para qualquer observador humano:

Imagens de treinamento originais do CIFAR-10, reduzidas a apenas 5% do conteúdo de pixels original, ainda classificadas corretamente por uma ampla gama de frameworks de visão computacional populares com uma precisão de 90-99%. Fonte: https://arxiv.org/pdf/2003.08907.pdf

Em alguns casos, os frameworks de classificação acham essas imagens reduzidas fácil de classificar corretamente do que as imagens completas nos dados de treinamento originais, com os autores observando ‘[CNNs] são mais confiantes nesses subconjuntos de pixels do que nas imagens completas’.

Isso indica um tipo potencialmente subversivo de “trapaça” que ocorre como prática comum para sistemas de visão computacional que usam conjuntos de dados de referência como CIFAR-10 e ImageNet, e frameworks de referência como VGG16, ResNet20 e ResNet18.

A superinterpretação tem ramificações notáveis para sistemas de veículos autônomos baseados em visão computacional, que têm sido foco de atenção recentemente com a decisão da Tesla de favorecer a interpretação de imagens sobre LiDAR e outros sistemas de sensores baseados em raios para algoritmos de condução autônoma.

Embora o “aprendizado de atalhos” seja um desafio conhecido, e um campo de pesquisa ativa em visão computacional, os autores do artigo comentam que a pesquisa alemã-canadense que notavelmente enquadrou o problema em 2019 não reconhece que os subconjuntos de pixels “espúrios” que caracterizam a superinterpretação são “dados estatisticamente válidos”, que podem precisar ser abordados em termos de arquitetura e abordagens de nível superior, em vez de apenas por meio de uma curadoria mais cuidadosa dos conjuntos de dados.

O artigo é intitulado Superinterpretação revela patologias do modelo de classificação de imagens, e vem de Brandon Carter, Siddhartha Jain e David Gifford, do CSAIL, em colaboração com Jonas Mueller, da Amazon Web Services. O código para o artigo está disponível em https://github.com/gifford-lab/overinterpretation.

Reduzindo os Dados

As imagens com dados reduzidos que os pesquisadores usaram são chamadas por eles de Subconjuntos de Entrada Suficientes (SIS) – na prática, uma imagem SIS contém o “chassi” mínimo que pode delinear uma imagem o suficiente para permitir que um sistema de visão computacional identifique o assunto original da imagem (ou seja, cachorro, navio, etc.).

Na linha acima, vemos imagens de validação completas do ImageNet; abaixo, os subconjuntos SIS, classificados corretamente por um modelo Inception V3 com 90% de confiança, com base, aparentemente, em tudo o que resta da imagem – contexto de fundo. Naturalmente, a coluna final tem implicações notáveis para o reconhecimento de sinais em algoritmos de veículos autônomos.

Comentando sobre os resultados obtidos na imagem acima, os pesquisadores observam:

‘Encontramos que os pixels SIS estão concentrados fora do objeto real que determina a etiqueta de classe. Por exemplo, na imagem “pizza”, o SIS está concentrado na forma do prato e na mesa de fundo, em vez da pizza em si, sugerindo que o modelo pode generalizar mal em imagens que contenham itens circulares diferentes em uma mesa. Na imagem “panda gigante”, o SIS contém bambu, que provavelmente apareceu na coleção de fotos do ImageNet para essa classe.

‘Na imagem “semáforo” e “sinal de trânsito”, o SIS consiste em pixels no céu, sugerindo que sistemas de veículos autônomos que dependam desses modelos devem ser cuidadosamente avaliados para patologias de superinterpretação.’

As imagens SIS não são cortadas aleatoriamente, mas foram criadas para o projeto por um processo de seleção de gradientes em batch, no Inception V3 e ResNet50 via PyTorch. As imagens são derivadas por uma rotina de ablação que leva em conta a relação entre a capacidade do modelo de classificar corretamente uma imagem e as áreas em que os dados originais são iterativamente removidos.

Para confirmar a validade do SIS, os autores testaram um processo de remoção aleatória de pixels e encontraram os resultados “significativamente menos informativos” nos testes, indicando que as imagens SIS genuinamente representam os dados mínimos que os modelos e conjuntos de dados populares precisam para fazer previsões aceitáveis.

Um olhar sobre qualquer uma das imagens reduzidas sugere que esses modelos devem falhar em linha com os níveis humanos de discernimento visual, o que levaria a uma precisão mediana de menos de 20%.

Com imagens SIS reduzidas a apenas 5% de seus pixels originais, os humanos mal alcançam uma taxa de classificação de sucesso “maior que aleatória”, vs. a taxa de sucesso de 90-99% dos conjuntos de dados e frameworks populares estudados no artigo.

Além da Sobreajuste

A sobreajuste ocorre quando um modelo de aprendizado de máquina treina extensivamente em um conjunto de dados e se torna proficiente em fazer previsões para esses dados específicos, mas é muito menos eficaz (ou até mesmo totally ineficaz) em dados frescos que são introduzidos a ele após o treinamento (fora do conjunto de dados).

Os pesquisadores observam que o interesse atual na academia e na indústria em combater a sobreajuste não vai resolver simultaneamente a superinterpretação, porque os subconjuntos de pixels reduzidos que representam imagens identificáveis para computadores e “gibberish” para humanos são na verdade dados genuinamente aplicáveis, em vez de uma “obsessão” por dados mal curados ou anêmicos:

‘A superinterpretação está relacionada à sobreajuste, mas a sobreajuste pode ser diagnosticada por meio da precisão de teste reduzida. A superinterpretação pode decorrer de sinais estatísticos verdadeiros na distribuição subjacente do conjunto de dados que acontecem de surgir de propriedades específicas da fonte de dados (por exemplo, réguas de dermatologistas).

‘Portanto, a superinterpretação pode ser mais difícil de diagnosticar, pois admite decisões que são feitas por critérios estatisticamente válidos, e modelos que usam esses critérios podem se destacar nos benchmarks.’

Soluções Possíveis

Os autores sugerem que o ensemble de modelos, onde várias arquiteturas contribuem para o processo de avaliação e treinamento, pode ir algum caminho para mitigar a superinterpretação. Eles também encontraram que aplicar dropout de entrada, originalmente projetado para impedir a sobreajuste, levou a “uma pequena diminuição” na precisão de teste do CIFAR-10 (o que provavelmente é desejável), mas um “aumento significativo” (∼ 6%) na precisão dos modelos em dados não vistos. No entanto, os números baixos sugerem que qualquer cura subsequente para a sobreajuste é improvável que aborde completamente a superinterpretação.

Os autores admitem a possibilidade de usar mapas de saliência para indicar quais áreas de uma imagem são pertinentes para a extração de recursos, mas observam que isso derrota o objetivo de análise de imagem automatizada e exige anotação humana que é inviável em escala. Eles observam ainda que os mapas de saliência foram encontrados para ser apenas estimadores grosseiros em termos de insight nas operações do modelo.

O artigo conclui:

‘Dada a existência de subconjuntos de pixels não salientes que sozinhos são suficientes para a classificação correta, um modelo pode confiar apenas nesses padrões. Nesse caso, um método de interpretabilidade que descreve fielmente o modelo deve produzir essas razões insensatas, enquanto métodos de interpretabilidade que tendenciam as razões para os priors humanos podem produzir resultados que enganam os usuários para pensar que seus modelos se comportam como pretendido.’

Publicado pela primeira vez em 13 de janeiro de 2022.