Melhor Desempenho de Aprendizado de Máquina Através do Redimensionamento de Imagens Baseado em CNN

A Google Research propôs um novo método para melhorar a eficiência e a precisão dos fluxos de trabalho de treinamento de visão computacional baseada em imagens, melhorando a forma como as imagens em um conjunto de dados são reduzidas no estágio de pré-processamento.

No artigo Aprendendo a Redimensionar Imagens para Tarefas de Visão Computacional, os pesquisadores Hossein Talebi e Peyman Milanfar utilizam uma CNN para criar uma nova arquitetura híbrida de redimensionamento de imagens que produz uma melhoria notável nos resultados de reconhecimento obtidos em quatro conjuntos de dados populares de visão computacional.

A estrutura conjunta proposta para reconhecimento e redimensionamento. Fonte: https://arxiv.org/pdf/2103.09950.pdf

O artigo observa que os métodos de redimensionamento atualmente utilizados em pipelines de aprendizado de máquina automatizados estão desatualizados há décadas e frequentemente usam apenas métodos básicos de redimensionamento bilinear, bicúbico e vizinho mais próximo redimensionamento – métodos que tratam todos os pixels indiscriminadamente.

Em contraste, o método proposto aumenta os dados de imagem por meio de uma CNN e incorpora essa entrada nas imagens redimensionadas que ultimately passarão pela arquitetura do modelo.

Restrições de Imagem no Treinamento de IA

Para treinar um modelo que lida com imagens, um framework de aprendizado de máquina incluirá um estágio de pré-processamento, onde uma variedade diversa de imagens de tamanhos, espaços de cor e resoluções (que contribuirão para o conjunto de dados de treinamento) são sistematicamente cortadas e redimensionadas para dimensões consistentes e um formato estável e único.

Em geral, isso envolverá algum compromisso em torno do formato PNG, onde um equilíbrio entre tempo de processamento/recursos, tamanho do arquivo e qualidade da imagem será estabelecido.

Na maioria dos casos, as dimensões finais da imagem processada são muito pequenas. Abaixo, vemos um exemplo da resolução de 80×80 pixels em que alguns dos conjuntos de dados de deepfakes mais antigos foram gerados:

Desde que os rostos (e outros possíveis assuntos) raramente se encaixam na proporção quadrada necessária, barras pretas podem precisar ser adicionadas (ou espaço desperdiçado permitido) para homogeneizar as imagens, reduzindo ainda mais os dados de imagem realmente utilizáveis:

Aqui, o rosto foi extraído de uma área de imagem maior até que seja cortado da forma mais econômica possível para incluir toda a área do rosto. No entanto, como visto à direita, uma grande parte da área restante não será usada durante o treinamento, adicionando mais peso à importância da qualidade da imagem redimensionada.

À medida que as capacidades de GPU melhoraram nos últimos anos, com a nova geração de cartões NVIDIA equipados com quantidades crescentes de VRAM, os tamanhos de imagem contribuintes médios começaram a aumentar, embora 224×224 pixels ainda seja um padrão bastante comum (por exemplo, é o tamanho do conjunto de dados ResNet-50).

Uma imagem de 224×244 pixels não redimensionada.

Ajustando Lotes no VRAM

A razão pela qual as imagens devem ser todas do mesmo tamanho é que o gradiente descendente, o método pelo qual o modelo melhora com o tempo, requer dados de treinamento uniformes.

A razão pela qual as imagens precisam ser tão pequenas é que elas devem ser carregadas (totalmente descomprimidas) no VRAM durante o treinamento em lotes pequenos, geralmente entre 6-24 imagens por lote. Muito poucas imagens por lote, e não há material de grupo suficiente para generalizar bem, além de estender o tempo de treinamento; muitas, e o modelo pode falhar em obter as características e detalhes necessários (veja abaixo).

Esta seção de “carregamento ao vivo” da arquitetura de treinamento é chamada de espaço latente. Este é o local onde os recursos são extraídos repetidamente dos mesmos dados (ou seja, das mesmas imagens) até que o modelo tenha convergido para um estado em que tenha todo o conhecimento generalizado necessário para realizar transformações em dados não vistos posteriores de um tipo semelhante.

Este processo geralmente leva dias, embora possa levar até um mês ou mais de cogitação constante e ininterrupta de alta intensidade 24/7 para alcançar uma generalização útil. Aumentos no tamanho do VRAM são úteis apenas até certo ponto, pois até mesmo incrementos menores na resolução da imagem podem ter um efeito de magnitude na capacidade de processamento e efeitos na precisão que podem não ser sempre favoráveis.

Usar maior capacidade de VRAM para acomodar tamanhos de lote maiores é também uma bênção mista, pois as velocidades de treinamento mais rápidas obtidas por isso provavelmente serão compensadas por resultados menos precisos.

Portanto, desde que a arquitetura de treinamento esteja tão limitada, qualquer coisa que possa afetar uma melhoria dentro das limitações existentes do pipeline é um feito notável.

Como o Redimensionamento Superior Ajuda

A qualidade final de uma imagem que será incluída em um conjunto de dados de treinamento foi comprovada ter um efeito de melhoria no resultado do treinamento, particularmente em tarefas de reconhecimento de objetos. Em 2018, pesquisadores do Instituto Max Planck para Sistemas Inteligentes sustentaram que a escolha do método de reamostragem tem um impacto notável no desempenho e nos resultados do treinamento.

Além disso, trabalhos anteriores do Google (co-escritos pelos autores do novo artigo) descobriram que a precisão de classificação pode ser melhorada mantendo o controle sobre artefatos de compressão em imagens do conjunto de dados.

A arquitetura da CNN para o algoritmo de redimensionamento proposto pela Google Research.

O modelo de CNN construído no novo redimensionador combina redimensionamento bilinear com uma característica de “conexão de salto” que pode incorporar a saída da rede treinada na imagem redimensionada.

Ao contrário de uma arquitetura típica de codificador/decodificador, a nova proposta pode atuar não apenas como um gargalo de feed-forward, mas também como um gargalo inverso para escalonamento para qualquer tamanho e/ou proporção de aspecto alvo. Além disso, o método de reamostragem “padrão” pode ser trocado por qualquer outro método tradicional adequado, como Lanczos.

Detalhes de Alta Frequência

O novo método produz imagens que, em efeito, parecem “assar” recursos-chave (que serão ultimate reconhecidos pelo processo de treinamento) diretamente na imagem de origem. Em termos estéticos, os resultados são não convencionais:

O novo método aplicado em quatro redes – Inception V2; DenseNet-121; ResNet-50; e MobileNet-V2. Os resultados do método de redimensionamento de imagens da Google Research produzem imagens com agregação de pixels óbvia, antecipando os recursos-chave que serão discernidos durante o processo de treinamento.

Os pesquisadores observam que esses experimentos iniciais são exclusivamente otimizados para tarefas de reconhecimento de imagens, e que, nos testes, seu redimensionador “aprendido” baseado em CNN foi capaz de alcançar taxas de erro melhoradas em tais tarefas. Os pesquisadores pretendem, no futuro, aplicar o método a outros tipos de aplicações de visão computacional baseadas em imagens.