A Disney Research Oferece uma Compressão de Imagem Baseada em IA Melhorada – Mas Pode Alucinar Detalhes

A divisão de Pesquisa da Disney está oferecendo um novo método de compressão de imagens, aproveitando o modelo de difusão estável V1.2 de código aberto para produzir imagens mais realistas em taxas de bits mais baixas do que os métodos concorrentes.

O método de compressão da Disney em comparação com as abordagens anteriores. Os autores alegam uma recuperação melhor de detalhes, enquanto oferecem um modelo que não requer centenas de milhares de dólares de treinamento e que opera mais rápido do que o método concorrente mais próximo. Fonte: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

A nova abordagem (definida como um ‘codec’ apesar de sua complexidade aumentada em comparação com os códigos tradicionais, como JPEG e AV1) pode operar sobre qualquer Modelo de Difusão Latente (LDM). Em testes quantitativos, supera os métodos anteriores em termos de precisão e detalhes e requer significativamente menos treinamento e custo de computação.

A principal percepção do novo trabalho é que o erro de quantização (um processo central em toda a compressão de imagens) é semelhante ao ruído (um processo central nos modelos de difusão).

Portanto, uma imagem quantizada “tradicionalmente” pode ser tratada como uma versão ruidosa da imagem original e usada no processo de desruído de um LDM, em vez de ruído aleatório, para reconstruir a imagem em uma taxa de bits de destino.

Mais comparações do novo método da Disney (realçado em verde), em contraste com as abordagens rivais.

Os autores afirmam:

‘[Nós] formulamos a remoção do erro de quantização como uma tarefa de desruído, usando a difusão para recuperar as informações perdidas na imagem latente transmitida. Nossa abordagem nos permite realizar menos de 10% do processo de geração de difusão completo e não requer mudanças arquitetônicas no modelo de difusão, permitindo o uso de modelos de base como um forte prior sem ajuste adicional da estrutura.

‘Nosso codec proposto supera os métodos anteriores em métricas quantitativas de realismo e verificamos que nossas reconstruções são qualitativamente preferidas pelos usuários finais, mesmo quando outros métodos usam o dobro da taxa de bits.’

No entanto, em comum com outros projetos que buscam explorar as capacidades de compressão dos modelos de difusão, a saída pode alucinar detalhes. Em contraste, métodos com perda, como o JPEG, produzirão áreas claramente distorcidas ou suavizadas de detalhes, que podem ser reconhecidas como limitações de compressão pelo espectador casual.

Em vez disso, o codec da Disney pode alterar detalhes de contexto que não estavam presentes na imagem de origem, devido à natureza grosseira do Autoencoder Variacional (VAE) usado nos modelos típicos treinados em dados de hiperscala.

‘Semelhante a outras abordagens gerativas, nosso método pode descartar certas características de imagem enquanto sintetiza informações semelhantes no lado do receptor. Em casos específicos, no entanto, isso pode resultar em reconstrução imprecisa, como curvar linhas retas ou distorcer a borda de objetos pequenos. ‘

‘Esses são problemas bem conhecidos do modelo de base que construímos, que podem ser atribuídos à dimensão de recurso relativamente baixa de seu VAE.’

Embora isso tenha algumas implicações para representações artísticas e a verossimilhança de fotografias casuais, pode ter um impacto mais crítico em casos onde pequenos detalhes constituem informações essenciais, como evidências para processos judiciais, dados para reconhecimento facial, digitalizações para Reconhecimento Óptico de Caracteres (OCR) e uma ampla variedade de outros casos de uso possíveis, na eventualidade da popularização de um codec com essa capacidade.

Nesta etapa nascente do progresso da compressão de imagens baseada em IA, todos esses cenários possíveis estão longe no futuro. No entanto, o armazenamento de imagens é um desafio global de hiperscala, que afeta questões em torno de armazenamento de dados, transmissão e consumo de eletricidade, além de outras preocupações. Portanto, a compressão baseada em IA pode oferecer uma troca tentadora entre precisão e logística. A história mostra que os melhores códigos não sempre vencem a base de usuários mais ampla, quando questões como licenciamento e captura de mercado por formatos proprietários são fatores na adoção.

A Disney vem experimentando a aprendizagem de máquina como um método de compressão por um longo tempo. Em 2020, um dos pesquisadores do novo artigo estava envolvido em um projeto baseado em VAE para compressão de vídeo melhorada.

O novo artigo da Disney foi atualizado no início de outubro. Hoje, a empresa lançou um vídeo acompanhante no YouTube. O projeto é intitulado Compressão de Imagem com Perda com Modelos de Difusão de Base e vem de quatro pesquisadores da ETH Zürich (afiliada aos projetos baseados em IA da Disney) e da Disney Research. Os pesquisadores também oferecem um artigo suplementar.

Método

O novo método usa um VAE para codificar uma imagem em sua representação latente comprimida. Nesta etapa, a imagem de entrada consiste em recursos derivados – representações vetoriais de baixo nível. O embedding latente é então quantizado de volta em um fluxo de bits e de volta no espaço de pixels.

Essa imagem quantizada é então usada como um modelo para o ruído que normalmente semeia uma imagem baseada em difusão, com um número variável de etapas de desruído (onde frequentemente há uma troca entre etapas de desruído aumentadas e maior precisão versus menor latência e maior eficiência).

Esquema para o novo método de compressão da Disney.

Tanto os parâmetros de quantização quanto o número total de etapas de desruído podem ser controlados no novo sistema, por meio do treinamento de uma rede neural que prevê as variáveis relevantes relacionadas a esses aspectos da codificação. Esse processo é chamado de quantização adaptativa, e o sistema da Disney usa o Entroformer como o modelo de entropia que alimenta o procedimento.

Os autores afirmam:

‘Intuitivamente, nosso método aprende a descartar informações (por meio da transformação de quantização) que podem ser sintetizadas durante o processo de difusão. Porque os erros introduzidos durante a quantização são semelhantes a adicionar [ruído] e os modelos de difusão são funcionalmente modelos de desruído, eles podem ser usados para remover o ruído de quantização introduzido durante a codificação.’

A Stable Diffusion V2.1 é a espinha dorsal da difusão para o sistema, escolhida porque toda a codificação e os pesos base são publicamente disponíveis. No entanto, os autores enfatizam que seu esquema é aplicável a uma ampla gama de modelos.

Fundamental para a economia do processo é a previsão de etapas de tempo, que avalia o número ótimo de etapas de desruído – um equilíbrio entre eficiência e desempenho.

Previsões de etapas de tempo, com o número ótimo de etapas de desruído indicado com borda vermelha. Por favor, consulte o PDF de origem para resolução precisa.

A quantidade de ruído no embedding latente precisa ser considerada ao fazer uma previsão para o melhor número de etapas de desruído.

Dados e Testes

O modelo foi treinado no conjunto de dados Vimeo-90k. As imagens foram recortadas aleatoriamente para 256x256px para cada época (ou seja, cada ingestão completa do conjunto de dados refinado pela arquitetura de treinamento do modelo).

O modelo foi otimizado para 300.000 etapas a uma taxa de aprendizado de 1e-4. Isso é o mais comum entre os projetos de visão computacional e também o valor mais baixo e mais fino geralmente praticável, como um compromisso entre a generalização ampla dos conceitos e características do conjunto de dados e a capacidade de reproduzir detalhes finos.

Os autores comentam sobre algumas das considerações logísticas para um sistema econômico, mas eficaz*:

‘Durante o treinamento, é proibitivamente caro retropropagar o gradiente por meio de múltiplas passagens do modelo de difusão, pois ele é executado durante a amostragem DDIM. Portanto, realizamos apenas uma iteração de amostragem DDIM e usamos [isso] diretamente como os dados completamente desruídos.’

Os conjuntos de dados usados para testar o sistema foram Kodak; CLIC2022; e COCO 30k. O conjunto de dados foi pré-processado de acordo com a metodologia descrita na oferta da Google de 2023 Compressão de Imagem Multi-Realismo com um Gerador Condicional.

As métricas usadas foram Taxa de Sinal-Ruído de Pico (PSNR); Métricas de Semelhança Perceptiva Aprendidas (LPIPS); Índice de Semelhança Estrutural Multiescala (MS-SSIM); e Distância de Inception de Fréchet (FID).

Os frameworks rivais anteriores testados foram divididos entre sistemas mais antigos que usavam Redes Adversárias Geradoras (GANs) e ofertas mais recentes baseadas em modelos de difusão. Os sistemas GAN testados foram Compressão de Imagem Gerativa de Alta Fidelidade (HiFiC); e ILLM (que oferece algumas melhorias em relação ao HiFiC).

Os sistemas baseados em difusão foram Compressão de Imagem com Perda com Modelos de Difusão Condicional (CDC) e Compressão de Imagem de Alta Fidelidade com Modelos Gerativos Baseados em Pontuação (HFD).

Resultados quantitativos contra os frameworks anteriores em vários conjuntos de dados.

Para os resultados quantitativos (visualizados acima), os pesquisadores afirmam:

‘Nosso método estabelece um novo estado da arte na realidade das imagens reconstruídas, superando todas as linhas de base nas curvas de FID-taxa de bits. Em algumas métricas de distorção (nomeadamente, LPIPS e MS-SSIM), superamos todos os códigos baseados em difusão, enquanto permanecemos competitivos com os códigos gerativos de melhor desempenho. ‘

‘Como esperado, nosso método e outros métodos gerativos sofrem quando medidos em PSNR, pois favorecemos reconstruções agradáveis ao perceber em vez de replicar exatamente os detalhes.’

Para o estudo de usuário, um método de escolha forçada de duas alternativas (2AFC) foi usado, em um contexto de torneio onde as imagens favoritas iriam para as rodadas posteriores. O estudo usou o sistema de classificação Elo originalmente desenvolvido para torneios de xadrez.

Portanto, os participantes visualizariam e selecionariam a melhor das duas imagens apresentadas de 512x512px em várias abordagens gerativas. Um experimento adicional foi realizado, no qual todas as comparações de imagens do mesmo usuário foram avaliadas por meio de uma simulação de Monte Carlo durante 10.000 iterações, com a pontuação mediana apresentada nos resultados.

Classificações Elo estimadas para o estudo de usuário, com torneios Elo para cada comparação (à esquerda) e também para cada participante, com valores mais altos melhor.

Aqui os autores comentam:

‘Como pode ser visto nas classificações Elo, nosso método supera significativamente todos os outros, mesmo em comparação com o CDC, que usa em média o dobro dos bits do nosso método. Isso permanece verdadeiro independentemente da estratégia de torneio Elo usada.’

No artigo original, bem como no PDF suplementar, os autores fornecem mais comparações visuais, uma das quais é mostrada anteriormente neste artigo. No entanto, devido à granularidade da diferença entre as amostras, referimos o leitor ao PDF de origem, para que esses resultados possam ser julgados justamente.

O artigo conclui observando que o método proposto opera duas vezes mais rápido do que o rival CDC (3,49 vs 6,87 segundos, respectivamente). Também observa que o ILLM pode processar uma imagem em 0,27 segundos, mas que esse sistema requer um treinamento oneroso.

Conclusão

Os pesquisadores da ETH/Disney são claros, na conclusão do artigo, sobre o potencial do sistema para gerar detalhes falsos. No entanto, nenhuma das amostras oferecidas no material se concentra nesse problema.

Em toda a justiça, esse problema não é limitado à nova abordagem da Disney, mas é um efeito colateral inevitável do uso de modelos de difusão – uma arquitetura inventiva e interpretativa – para compressar imagens.

Interessantemente, apenas cinco dias atrás, dois outros pesquisadores da ETH Zurich produziram um artigo intitulado Alucinações Condicional para Compressão de Imagem, que examina a possibilidade de um ‘nível ótimo de alucinação’ em sistemas de compressão baseados em IA.

Os autores fazem um caso para a desejabilidade de alucinações onde o domínio é genérico (e, argumentativamente, ‘inofensivo’) o suficiente:

‘Para conteúdo semelhante a textura, como grama, sardas e paredes de pedra, gerar pixels que realisticamente correspondam a uma textura é mais importante do que reconstruir valores de pixel precisos; gerar qualquer amostra da distribuição de uma textura é geralmente suficiente.’

Assim, esse segundo artigo faz um caso para a compressão ser otimamente ‘criativa’ e representativa, em vez de recriar com precisão os traços e características centrais da imagem original não comprimida.

Alguém se pergunta o que a comunidade fotográfica e criativa faria com essa redefinição radical de ‘compressão’.

*Minha conversão das citações em linha dos autores para links.

Publicado pela primeira vez na quarta-feira, 30 de outubro de 2024