Resolvendo o Problema de Artefatos JPEG em Conjuntos de Dados de Visão Computacional

Um novo estudo da Universidade de Maryland e do Facebook AI descobriu uma “penalidade de desempenho significativa” para sistemas de aprendizado profundo que usam imagens JPEG altamente comprimidas em seus conjuntos de dados e oferece novos métodos para mitigar os efeitos disso.

O relatório, intitulado Analisando e Mitigando Defeitos de Compressão JPEG em Aprendizado Profundo, afirma ser “significativamente mais abrangente” do que estudos anteriores sobre os efeitos de artefatos em conjuntos de dados de visão computacional. O artigo conclui que “[a compressão JPEG pesada a moderada] incide uma penalidade de desempenho significativa em métricas padrão” e que as redes neurais podem não ser tão resilientes a essas perturbações como sugere o trabalho anterior anterior.

Uma foto de um cão do conjunto de dados MobileNetV2 de 2018. Na qualidade 10 (esquerda), um sistema de classificação falha em identificar a raça correta ‘Pembroke Welsh Corgi’, em vez disso, adivinha ‘Norwich terrier’ (o sistema já sabe que é uma foto de um cão, mas não a raça); segunda da esquerda, uma versão corrigida de artefatos JPEG fora da prateleira da imagem também falha em identificar a raça correta; segunda da direita, a correção de artefatos direcionada restaura a classificação correta; e direita, a foto original, classificada corretamente. Fonte: https://arxiv.org/pdf/2011.08932.pdf

Artefatos de Compressão como ‘Dados’

A compressão JPEG extrema provavelmente criará bordas visíveis ou semi-visíveis ao redor dos blocos 8×8 dos quais um JPEG é montado em uma grade de pixels. Uma vez que esses artefatos de blocos ou “ringing” aparecem, eles provavelmente serão mal interpretados por sistemas de aprendizado de máquina como elementos do mundo real do assunto da imagem, a menos que alguma compensação seja feita para isso.

Acima, um sistema de aprendizado de máquina de visão computacional extrai uma imagem de gradiente ‘limpa’ de uma boa qualidade de imagem. Abaixo, artefatos de ‘blocos’ em uma imagem de baixa qualidade obscurecem as características do assunto e podem acabar ‘infectando’ as características derivadas de um conjunto de imagens, particularmente em casos em que imagens de alta e baixa qualidade ocorrem no conjunto de dados, como em coleções raspadas da web às quais apenas limpeza de dados genérica foi aplicada. Fonte: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Como visto na primeira imagem acima, esses artefatos podem afetar tarefas de classificação de imagens, com implicações também para algoritmos de reconhecimento de texto, que podem falhar em identificar corretamente caracteres afetados por artefatos.

No caso de sistemas de treinamento de síntese de imagens (como software de deepfake ou sistemas de geração de imagens baseados em GAN), um “bloco rebelde” de imagens de baixa qualidade, altamente comprimidas, em um conjunto de dados pode arrastar a mediana da qualidade de reprodução para baixo, ou ser subsumido e essencialmente substituído por um número maior de características de melhor qualidade extraídas de imagens melhores no conjunto. Em qualquer caso, dados melhores são desejáveis – ou, pelo menos, dados consistentes.

JPEG – Geralmente ‘Bom O suficiente’

A compressão JPEG é um codec de perda irreversível que pode ser aplicado a vários formatos de imagem, embora seja aplicado principalmente ao wrapper de arquivo de imagem JFIF. Apesar disso, o formato JPEG (.jpg) foi nomeado após o método de compressão associado, e não o wrapper JFIF para os dados da imagem.

Arquiteturas de aprendizado de máquina inteiras surgiram nos últimos anos que incluem a mitigação de artefatos JPEG como parte de rotinas de escalonamento/restauração impulsionadas por IA, e a remoção de artefatos de compressão baseada em IA agora é incorporada em vários produtos comerciais, como a suíte de imagem/vídeo Topaz, e os recursos neurais das versões recentes do Adobe Photoshop.

Desde que o esquema JPEG de 1986 atualmente em uso comum foi basicamente bloqueado no início dos anos 1990, não é possível adicionar metadados a uma imagem que indique qual nível de qualidade (1-100) uma imagem JPEG foi salva – pelo menos, não sem modificar mais de trinta anos de sistemas de software de consumidor, profissional e acadêmico que não estavam esperando que tais metadados estivessem disponíveis.

Consequentemente, não é incomum adaptar rotinas de treinamento de aprendizado de máquina à qualidade avaliada ou conhecida dos dados de imagem JPEG, como os pesquisadores fizeram para o novo artigo (veja abaixo). Na ausência de uma entrada de metadados de “qualidade”, atualmente é necessário conhecer os detalhes de como a imagem foi comprimida (ou seja, comprimida a partir de uma fonte sem perda), ou estimar a qualidade por meio de algoritmos perceptuais ou classificação manual.

Um Compromisso Econômico

JPEG não é o único método de compressão de perda que pode afetar a qualidade dos conjuntos de dados de aprendizado de máquina; as configurações de compressão em arquivos PDF também podem descartar informações desta forma e ser definidas para níveis de qualidade muito baixos para economizar espaço em disco para arquivos locais ou de rede.

Isso pode ser testemunhado ao amostrar vários arquivos PDF no archive.org, alguns dos quais foram comprimidos tão fortemente que se tornam um desafio notável para sistemas de reconhecimento de imagem ou texto. Em muitos casos, como livros com direitos autorais, essa compressão intensa parece ter sido aplicada como uma forma de DRM barata, da mesma forma que os detentores de direitos autorais podem escolher reduzir a resolução de vídeos carregados por usuários no YouTube sobre os quais eles detêm a propriedade intelectual, deixando os vídeos “blocky” como tokens promocionais para inspirar compras de “resolução completa”, em vez de excluí-los.

Em muitos outros casos, a resolução ou a qualidade da imagem é baixa simplesmente porque os dados são muito antigos e vêm de uma era em que o armazenamento local e de rede era mais caro, e quando as velocidades de rede limitadas favoreciam imagens altamente otimizadas e portáteis em vez de reprodução de alta qualidade.

Foi argumentado que JPEG, embora não seja a melhor solução agora, foi “consagrado” como infraestrutura de legado irremovível que é essencialmente entrelaçada com os fundamentos da internet.

Carga de Legado

Embora inovações posteriores, como JPEG 2000, PNG e (mais recentemente) o formato.webp, ofereçam qualidade superior, reamostrar conjuntos de dados de aprendizado de máquina antigos e altamente populares provavelmente “reiniciaria” a continuidade e a história de desafios anuais de visão computacional na comunidade acadêmica – um impedimento que se aplicaria também no caso de regravar imagens de conjunto de dados PNG em configurações de qualidade mais altas. Isso poderia ser considerado como uma forma de dívida técnica.

Enquanto bibliotecas de processamento de imagem orientadas a servidor, como ImageMagick, suportam formatos melhores, incluindo.webp, as necessidades de transformação de imagem frequentemente ocorrem em sistemas de legado que não estão configurados para nada além de JPG ou PNG (que oferece compressão sem perda, mas às custas da latência e do espaço em disco). Até o WordPress, o CMS que alimenta quase 40% de todos os sites, adicionou suporte a.webp há três meses.

PNG foi uma entrada tardia (arguivelmente muito tarde) no setor de formato de imagem, surgindo como uma solução de código aberto na segunda metade dos anos 1990 em resposta a uma declaração de 1995 da Unisys e da CompuServe de que royalties seriam pagáveis sobre o formato de compressão LZW usado em arquivos GIF, que eram comumente usados naquela época para logotipos e elementos de cor plana, mesmo que a ressurreição do formato no início de 2010 tenha se concentrado em sua capacidade de fornecer conteúdo animado de baixa largura de banda e rápido (ironicamente, PNGs animados nunca ganharam popularidade ou amplo suporte e foram até banidos do Twitter em 2019).

Apesar de suas limitações, a compressão JPEG é rápida, eficiente em termos de espaço e profundamente incorporada em sistemas de todos os tipos – e, portanto, não provável que desapareça completamente da cena de aprendizado de máquina no futuro próximo.

Fazendo o Melhor da Detente AI/JPEG

Em certa medida, a comunidade de aprendizado de máquina se adaptou às peculiaridades da compressão JPEG: em 2011, a Sociedade Europeia de Radiologia (ESR) publicou um estudo sobre a “usabilidade da compressão de imagem irreversível em imagens radiológicas”, fornecendo diretrizes para “perda aceitável”; quando o venerável conjunto de dados de reconhecimento de texto MNIST (cujos dados de imagem foram originalmente fornecidos em um formato binário novo) foi portado para um formato de imagem “regular”, JPEG, e não PNG, foi escolhido; e uma colaboração anterior (2020) dos autores do novo artigo ofereceu “uma nova arquitetura” para calibrar sistemas de aprendizado de máquina para as limitações da qualidade de imagem JPEG variável, sem a necessidade de que os modelos sejam treinados em cada configuração de qualidade JPEG – um recurso utilizado no novo trabalho.

De fato, a pesquisa sobre a utilidade de dados de qualidade variável JPEG é um campo relativamente próspero em aprendizado de máquina. Um projeto de 2016 (não relacionado) do Center for Automation Research da Universidade de Maryland realmente centra-se no domínio DCT (onde os artefatos JPEG ocorrem em configurações de qualidade baixa) como uma rota para a extração de recursos profundos; outro projeto de 2019 se concentra em leitura de nível de byte de dados JPEG sem a necessidade demorada de realmente descomprimir as imagens (ou seja, abri-las em algum ponto de um fluxo de trabalho automatizado); e um estudo da França em 2019 ativamente aproveita a compressão JPEG em serviço de rotinas de reconhecimento de objetos.

Testes e Conclusões

Para retornar ao estudo mais recente da UoM e do Facebook, os pesquisadores buscaram testar a compreensibilidade e utilidade JPEG em imagens comprimidas entre 10-90 (abaixo do qual a imagem é impossivelmente perturbada e acima do qual é igual à compressão sem perda). As imagens usadas nos testes foram pré-comprimidas em cada valor dentro da faixa de qualidade alvo, envolvendo pelo menos oito sessões de treinamento.

Os modelos foram treinados no gradiente de descida estocástica em quatro métodos: baseline, onde nenhuma mitigação adicional foi adicionada; ajuste fino supervisionado, onde o conjunto de treinamento tem a vantagem de pesos pré-treinados e dados rotulados (embora os pesquisadores admitam que isso é difícil de replicar em aplicações de consumidor); correção de artefatos, onde a melhoria/amelioração é realizada nas imagens comprimidas antes do treinamento; e correção de artefatos direcionada à tarefa, onde a rede de correção de artefatos é ajustada finamente em erros retornados.

O treinamento ocorreu em uma ampla variedade de conjuntos de dados apropriados, incluindo várias variantes de ResNet, FastRCNN, MobileNetV2, MaskRCNN e Keras’ InceptionV3.

Os resultados de perda de amostra após a correção de artefatos direcionada à tarefa são visualizados abaixo (menor é melhor).

Não é possível mergulhar profundamente nos detalhes dos resultados obtidos no estudo, porque as descobertas dos pesquisadores são divididas entre o objetivo de avaliar artefatos JPEG e novos métodos para aliviar isso; o treinamento foi iterado por qualidade em tantos conjuntos de dados; e as tarefas incluíam vários objetivos, como detecção de objetos, segmentação e classificação. Basicamente, o novo relatório se posiciona como uma obra de referência abrangente que aborda múltiplos problemas.

No entanto, o artigo conclui amplamente que “a compressão JPEG tem uma penalidade acentuada em toda a faixa para configurações de compressão pesada a moderada”. Ele também afirma que suas estratégias de mitigação não supervisionadas inovadoras alcançam resultados superiores entre outras abordagens semelhantes; que, para tarefas complexas, o método supervisionado dos pesquisadores também supera seus pares, apesar de não ter acesso a rótulos de verdade; e que essas metodologias inovadoras permitem a reutilização de modelos, desde que os pesos obtidos sejam transferíveis entre tarefas.

Em termos de tarefas de classificação, o artigo afirma explicitamente que “JPEG degrada a qualidade do gradiente, bem como induz erros de localização”.

Os autores esperam estender estudos futuros para cobrir outros métodos de compressão, como o amplamente desprezado JPEG 2000, bem como WebP, HEIF e BPG. Eles sugerem ainda que sua metodologia poderia ser aplicada a pesquisas análogas sobre algoritmos de compressão de vídeo.

Desde que o método de correção de artefatos direcionada à tarefa provou ser tão bem-sucedido no estudo, os autores também sinalizam a intenção de lançar os pesos treinados durante o projeto, antecipando que “[muitas] aplicações se beneficiarão de usar nossos pesos TTAC sem modificação.”

n.b. A imagem de origem do artigo vem de thispersondoesnotexist.com