Usando a Compressão JPEG para Melhorar o Treinamento de Redes Neurais

Um novo artigo de pesquisa do Canadá propôs um framework que introduz deliberadamente a compressão JPEG no esquema de treinamento de uma rede neural e conseguiu obter melhores resultados – e melhor resistência a ataques adversários.

Essa é uma ideia bastante radical, pois a sabedoria geral atual é que os artefatos JPEG, que são otimizados para visualização humana e não para aprendizado de máquina, geralmente têm um efeito prejudicial nas redes neurais treinadas com dados JPEG.

Um exemplo da diferença de clareza entre imagens JPEG comprimidas em diferentes níveis de perda (maior perda permite um tamanho de arquivo menor, mas com perda de delineação e bandagem em gradientes de cor, entre outros tipos de artefatos). Fonte: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Um relatório de 2022 da Universidade de Maryland e da Facebook AI afirmou que a compressão JPEG “incorre em uma penalidade de desempenho significativa” no treinamento de redes neurais, apesar de trabalhos anteriores que alegavam que as redes neurais são relativamente resistentes a artefatos de compressão de imagem.

Um ano antes disso, um novo ramo de pensamento havia surgido na literatura: que a compressão JPEG poderia ser aproveitada para obter melhores resultados no treinamento de modelos.

No entanto, embora os autores desse artigo tenham conseguido obter melhores resultados no treinamento de imagens JPEG de diferentes níveis de qualidade, o modelo que eles propuseram era tão complexo e oneroso que não era prático. Além disso, o uso de configurações de otimização JPEG padrão (quantização) provou ser uma barreira para a eficácia do treinamento.

Um projeto posterior (2023’s JPEG Compliant Compression for DNN Vision) experimentou com um sistema que obteve resultados ligeiramente melhores com imagens JPEG comprimidas com o uso de uma rede neural profunda congelada (DNN). No entanto, congelar partes de um modelo durante o treinamento tende a reduzir a versatilidade do modelo, bem como sua resistência mais ampla a novos dados.

JPEG-DL

Em vez disso, o novo trabalho, intitulado JPEG Inspired Deep Learning, oferece uma arquitetura muito mais simples, que pode ser até mesmo imposta sobre modelos existentes.

Os pesquisadores, da Universidade de Waterloo, afirmam:

‘Os resultados mostram que o JPEG-DL supera significativamente e consistentemente o padrão DL em várias arquiteturas de DNN, com um aumento negligenciável na complexidade do modelo.

Em particular, o JPEG-DL melhora a precisão de classificação em até 20,9% em alguns conjuntos de dados de classificação de granulação fina, enquanto adiciona apenas 128 parâmetros treináveis ao pipeline DL. Além disso, a superioridade do JPEG-DL sobre o padrão DL é ainda mais demonstrada pela robustez adversária aprimorada dos modelos aprendidos e tamanhos de arquivo reduzidos das imagens de entrada.’

Os autores defendem que um nível ótimo de compressão JPEG pode ajudar uma rede neural a distinguir o assunto central de uma imagem. No exemplo abaixo, vemos resultados de baseline (esquerda) que misturam o pássaro com o fundo quando as características são obtidas pela rede neural. Em contraste, o JPEG-DL (direita) consegue distinguir e delinear o assunto da foto.

Testes contra métodos de baseline para JPEG-DL. Fonte: https://arxiv.org/pdf/2410.07081

‘Esse fenômeno,’ eles explicam, ‘chamado de “compressão ajuda” no artigo de 2021, é justificado pelo fato de que a compressão pode remover ruído e recursos de fundo perturbadores, destacando assim o objeto principal de uma imagem, o que ajuda as DNNs a fazer previsões melhores.’

Método

O JPEG-DL introduz um quantificador suave diferenciável, que substitui a operação de quantização não diferenciável em uma rotina de otimização JPEG padrão.

Isso permite a otimização baseada em gradientes das imagens. Isso não é possível na codificação JPEG convencional, que usa um quantificador uniforme com uma operação de arredondamento que aproxima o coeficiente mais próximo.

A diferenciabilidade do esquema do JPEG-DL permite a otimização conjunta dos parâmetros do modelo de treinamento e da quantização JPEG (compressão). A otimização conjunta significa que tanto o modelo quanto os dados de treinamento são adaptados um ao outro no processo de ponta a ponta, e não é necessário congelar camadas.

Essencialmente, o sistema personaliza a compressão JPEG de um conjunto de dados (bruto) para se adequar à lógica do processo de generalização.

Esquema conceitual para JPEG-DL.

Alguém pode supor que os dados brutos seriam o alimento ideal para o treinamento; afinal, as imagens são completamente descomprimidas em um espaço de cor de comprimento total apropriado quando são executadas em lotes; então, qual é a diferença que o formato original faz?

Bem, como a compressão JPEG é otimizada para visualização humana, ela joga áreas de detalhe ou cor fora de uma maneira concordante com esse objetivo. Dado um quadro de um lago sob um céu azul, níveis aumentados de compressão serão aplicados ao céu, porque ele não contém detalhes “essenciais”.

Por outro lado, uma rede neural carece dos filtros excêntricos que nos permitem nos concentrar em assuntos centrais. Em vez disso, é provável que considere qualquer artefato de bandagem no céu como dados válidos a serem assimilados em seu espaço latente.

Embora um ser humano descarte a bandagem no céu, em uma imagem comprimida fortemente (esquerda), uma rede neural não tem ideia de que esse conteúdo deve ser descartado e precisará de uma imagem de melhor qualidade (direita). Fonte: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Portanto, um nível de compressão JPEG é improvável que seja adequado para todo o conteúdo de um conjunto de dados de treinamento, a menos que ele represente um domínio muito específico. Imagens de multidões exigirão muito menos compressão do que uma imagem de foco estreito de um pássaro, por exemplo.

Os autores observam que aqueles que não estão familiarizados com os desafios da quantização, mas que estão familiarizados com os fundamentos da arquitetura de transformadores, podem considerar esses processos como uma operação de atenção, em geral.

Dados e Testes

O JPEG-DL foi avaliado contra arquiteturas baseadas em transformadores e redes neurais convolucionais (CNNs). As arquiteturas usadas foram EfficientFormer-L1; ResNet; VGG; MobileNet; e ShuffleNet.

As versões ResNet usadas foram específicas do conjunto de dados CIFAR: ResNet32, ResNet56 e ResNet110. VGG8 e VGG13 foram escolhidos para os testes baseados em VGG.

Para a CNN, a metodologia de treinamento foi derivada do trabalho de 2020 Contrastive Representation Distillation (CRD). Para o EfficientFormer-L1 (baseado em transformadores), o método de treinamento do trabalho de 2023 Initializing Models with Larger Ones foi usado.

Para tarefas de granulação fina apresentadas nos testes, quatro conjuntos de dados foram usados: Stanford Dogs; o conjunto de dados Flowers da Universidade de Oxford; CUB-200-2011 (CalTech Birds); e Pets (‘Cats and Dogs’, uma colaboração entre a Universidade de Oxford e Hyderabad, na Índia).

Para tarefas de granulação fina em CNNs, os autores usaram PreAct ResNet-18 e DenseNet-BC. Para o EfficientFormer-L1, a metodologia descrita no mencionado Initializing Models With Larger Ones foi usada.

Ao longo dos conjuntos de dados CIFAR-100 e tarefas de granulação fina, as magnitudes variadas de Transformada de Coseno Discreta (DCT) nas frequências da abordagem de compressão JPEG foram tratadas com o otimizador Adam, para adaptar a taxa de aprendizado para a camada JPEG em todos os modelos testados.

Nos testes no ImageNet-1K, em todos os experimentos, os autores usaram PyTorch, com SqueezeNet, ResNet-18 e ResNet-34 como os modelos principais.

Para a avaliação da otimização da camada JPEG, os pesquisadores usaram Gradiente Descendente Estocástico (SGD) em vez do Adam, para um desempenho mais estável. No entanto, para os testes do ImageNet-1K, o método do artigo de 2019 Learned Step Size Quantization foi empregado.

Acima, a precisão de validação de topo 1 para o baseline versus JPEG-DL no CIFAR-100, com desvios padrão e médias calculados em três execuções. Abaixo, a precisão de validação de topo 1 em tarefas de classificação de imagem de granulação fina diversas, em várias arquiteturas de modelo, novamente, calculadas em três execuções.

Comentando sobre a primeira rodada de resultados ilustrados acima, os autores afirmam:

‘Em todos os sete modelos testados para o CIFAR-100, o JPEG-DL fornece melhorias consistentes, com ganhos de até 1,53% na precisão de topo 1. Nas tarefas de granulação fina, o JPEG-DL oferece um aumento de desempenho substancial, com melhorias de até 20,90% em todos os conjuntos de dados usando dois modelos diferentes.’

Os resultados para os testes do ImageNet-1K são mostrados abaixo:

Resultados de precisão de validação de topo 1 no ImageNet em várias estruturas.

Aqui o artigo afirma:

‘Com um aumento trivial de complexidade (adicionando 128 parâmetros), o JPEG-DL alcança um ganho de 0,31% na precisão de topo 1 para o SqueezeNetV1.1 em comparação com o baseline usando uma única rodada de operação de quantização.

‘Aumentando o número de rodadas de quantização para cinco, observamos uma melhoria adicional de 0,20%, levando a um ganho total de 0,51% sobre o baseline.’

Os pesquisadores também testaram o sistema usando dados comprometidos pelos ataques adversários Fast Gradient Signed Method (FGSM) e Projected Gradient Descent (PGD).

Os ataques foram realizados no CIFAR-100 em dois dos modelos:

Resultados de testes para o JPEG-DL, contra dois quadros de ataque adversário padrão.

Os autores afirmam:

‘Os modelos JPEG-DL melhoram significativamente a robustez adversária em comparação com os modelos DNN padrão, com melhorias de até 15% para o FGSM e 6% para o PGD.’

Além disso, como ilustrado anteriormente no artigo, os autores realizaram uma comparação de mapas de recursos extraídos usando GradCAM++ – um quadro que pode destacar recursos extraídos de forma visual.

Ilustração do GradCAM++ para classificação de imagem de baseline e JPEG-DL, com recursos extraídos destacados.

O artigo observa que o JPEG-DL produz um resultado aprimorado e que, em uma instância, ele foi capaz de classificar uma imagem que o baseline falhou em identificar. Com relação à imagem anterior que apresentava pássaros, os autores afirmam:

‘É evidente que os mapas de recursos do modelo JPEG-DL mostram um contraste significativamente melhor entre as informações de primeiro plano (o pássaro) e o fundo em comparação com os mapas de recursos gerados pelo modelo de baseline.

‘Em particular, o objeto de primeiro plano nos mapas de recursos do JPEG-DL está dentro de um contorno bem definido, tornando-o visualmente distinguível do fundo.

‘Em contraste, os mapas de recursos do modelo de baseline mostram uma estrutura mais mesclada, onde o objeto de primeiro plano contém energia mais alta em frequências baixas, causando assim uma mistura mais suave com o fundo.’

Conclusão

O JPEG-DL é destinado a ser usado em situações em que os dados brutos estão disponíveis – mas seria interessante ver se alguns dos princípios apresentados nesse projeto pudessem ser aplicados ao treinamento de conjuntos de dados convencionais, em que o conteúdo pode ser de menor qualidade (como ocorre frequentemente com conjuntos de dados de grande escala coletados da internet).

Como está, isso permanece basicamente um problema de anotação, embora tenha sido abordado no reconhecimento de imagens baseado em tráfego, e em outros lugares.

Publicado pela primeira vez na quinta-feira, 10 de outubro de 2024