Treinamento de Modelos de Visão Computacional com Ruído Aleatório em vez de Imagens Reais

Pesquisadores do Laboratório de Ciência e Inteligência Artificial do MIT (CSAIL) experimentaram o uso de imagens de ruído aleatório em conjuntos de dados de visão computacional para treinar modelos de visão computacional e descobriram que, em vez de produzir lixo, o método é surpreendentemente eficaz:

Modelos gerativos do experimento, classificados por desempenho. Fonte: https://openreview.net/pdf?id=RQUl8gZnN7O

Alimentar aparente ‘lixo visual’ em arquiteturas de visão computacional populares não deve resultar nesse tipo de desempenho. À direita da imagem acima, as colunas pretas representam pontuações de precisão (no Imagenet-100) para quatro conjuntos de dados ‘reais’. Embora os conjuntos de dados de ‘ruído aleatório’ anteriores (ilustrados em várias cores, veja índice no canto superior esquerdo) não possam igualar isso, eles estão quase todos dentro de limites respeitáveis de precisão (linhas tracejadas vermelhas).

Nesse sentido, ‘precisão’ não significa que um resultado necessariamente se pareça com um rosto, uma igreja, uma pizza ou qualquer outro domínio particular para o qual você possa estar interessado em criar um sistema de síntese de imagens, como uma Rede Adversária Gerativa ou um quadro de codificador/decodificador.

Em vez disso, significa que os modelos do CSAIL derivaram ‘verdades’ centrais amplamente aplicáveis a partir de dados de imagem aparentemente não estruturados, de modo que não deveriam ser capazes de fornecê-los.

Diversidade vs. Naturalismo

Nem esses resultados podem ser atribuídos a sobreajuste: uma discussão animada entre os autores e revisores no Open Review revela que misturar diferentes conteúdos de conjuntos de dados visualmente diversos (como ‘folhas mortas’, ‘fractais’ e ‘ruído procedural’ – veja imagem abaixo) em um conjunto de dados de treinamento melhora a precisão nesses experimentos.

Isso sugere (e é um pouco uma noção revolucionária) um novo tipo de ‘subajuste’, onde ‘diversidade’ supera ‘naturalismo’.

A página do projeto permite visualizar interativamente os diferentes tipos de conjuntos de dados de ruído aleatório usados no experimento. Fonte: https://mbaradad.github.io/learning_with_noise/

Os resultados obtidos pelos pesquisadores questionam a relação fundamental entre redes neurais baseadas em imagens e as ‘imagens do mundo real’ que são lançadas nelas em volumes cada vez maiores a cada ano, e implicam que a necessidade de obter, curar e lidar com conjuntos de dados de imagem em escala hiperscale pode eventualmente se tornar redundante. Os autores afirmam:

‘Os atuais sistemas de visão são treinados em conjuntos de dados enormes, e esses conjuntos de dados vêm com custos: a curação é cara, eles herdam vieses humanos e há preocupações sobre privacidade e direitos de uso. Para contrariar esses custos, o interesse surgiu em aprender com fontes de dados mais baratas, como imagens não rotuladas.’

‘Neste artigo, vamos um passo além e perguntamos se podemos nos livrar completamente de conjuntos de dados de imagens reais, aprendendo com processos de ruído procedural.’

Os pesquisadores sugerem que a atual geração de arquiteturas de aprendizado de máquina pode estar inferindo algo muito mais fundamental (ou, pelo menos, inesperado) a partir de imagens do que se pensava anteriormente, e que ‘imagens sem sentido’ podem potencialmente impartir uma grande quantidade desse conhecimento de forma muito mais barata, mesmo com o possível uso de dados sintéticos ad hoc, por meio de arquiteturas de geração de conjuntos de dados que geram imagens aleatórias durante o treinamento:

‘Nós identificamos duas propriedades principais que tornam os dados sintéticos bons para treinar sistemas de visão: 1) naturalismo, 2) diversidade. Interessantemente, os dados mais naturalistas não são sempre os melhores, pois o naturalismo pode vir com o custo da diversidade.

‘O fato de que os dados naturalistas ajudam pode não ser surpreendente, e sugere que, de fato, os dados reais em grande escala têm valor. No entanto, descobrimos que o que é crucial não é que os dados sejam reais, mas que sejam naturalistas, ou seja, eles devem capturar certas propriedades estruturais dos dados reais.

‘Muitas dessas propriedades podem ser capturadas em modelos de ruído simples.’

Visualizações de recursos resultantes de um codificador derivado de AlexNet em alguns dos vários ‘conjuntos de dados de imagem aleatória’ usados pelos autores, cobrindo a 3ª e 5ª (final) camada de convolução. A metodologia usada aqui segue a estabelecida na pesquisa do Google AI em 2017.

O artigo, apresentado na 35ª Conferência sobre Processamento de Informações Neurais (NeurIPS 2021) em Sydney, é intitulado Aprendendo a Ver Olhando para o Ruído e vem de seis pesquisadores do CSAIL, com contribuição igual.

O trabalho foi recomendado por consenso para uma seleção de destaque no NeurIPS 2021, com comentários de pares caracterizando o artigo como ‘uma quebra científica’ que abre uma ‘grande área de estudo’, mesmo que levante tantas perguntas quanto respostas.

Nos artigo, os autores concluem:

‘Nós mostramos que, quando projetados usando resultados de pesquisas anteriores sobre estatísticas de imagens naturais, esses conjuntos de dados podem treinar com sucesso representações visuais. Esperamos que este artigo motive o estudo de novos modelos gerativos capazes de produzir ruído estruturado que alcance um desempenho ainda maior quando usado em uma variedade de tarefas visuais.

‘Será que é possível igualar o desempenho obtido com o pré-treinamento do ImageNet? Talvez, na ausência de um grande conjunto de dados de treinamento específico para uma tarefa particular, o melhor pré-treinamento não seja usar um conjunto de dados reais padrão, como o ImageNet.’