Setor de Síntese de Imagens Adotou uma Métrica Falha, Alega Pesquisa

2021 foi um ano de progresso sem precedentes e um ritmo frenético de publicação no setor de síntese de imagens, oferecendo uma série de novas inovações e melhorias em tecnologias capazes de reproduzir personalidades humanas por meio de renderização neural, deepfakes e uma série de abordagens novas.

No entanto, pesquisadores da Alemanha agora afirmam que o padrão utilizado para julgar automaticamente a realidade de imagens sintéticas é fatalmente falho; e que os centenas, ou até milhares de pesquisadores em todo o mundo que confiam nele para reduzir o custo de resultados baseados em humanos podem estar seguindo um caminho errado.

Para demonstrar como o padrão, Fréchet Inception Distance (FID), não atende aos padrões humanos para avaliar imagens, os pesquisadores implantaram seus próprios GANs, otimizados para FID (agora uma métrica comum). Eles descobriram que o FID está seguindo suas próprias obsessões, baseadas em código subjacente com um objetivo muito diferente da síntese de imagens, e que ele rotineiramente falha em atingir um padrão “humano” de discernimento:

Pontuações FID (quanto menor, melhor) para imagens geradas por vários modelos usando conjuntos de dados e arquiteturas padrão. Os pesquisadores do novo artigo perguntam ‘Você concordaria com essas classificações?’. Fonte: https://openreview.net/pdf?id=mLG96UpmbYz

Além de sua afirmação de que o FID não é adequado para sua tarefa pretendida, o artigo sugere ainda que “remédios óbvios”, como substituir seu motor interno por motores concorrentes, simplesmente trocará um conjunto de vieses por outro. Os autores sugerem que agora cabe a novas iniciativas de pesquisa desenvolver melhores métricas para avaliar a ‘autenticidade’ em fotos geradas sinteticamente.

O artigo é intitulado Viéses Internalizados na Fréchet Inception Distance e vem de Steffen Jung, do Instituto Max Planck de Informática em Saarland, e Margret Keuper, Professora de Computação Visual na Universidade de Siegen.

A Busca por um Sistema de Pontuação para Síntese de Imagens

Como nota a nova pesquisa, o progresso em frameworks de síntese de imagens, como GANs e arquiteturas codificador/decodificador, superou os métodos pelos quais os resultados desses sistemas podem ser julgados. Além de ser caro e, portanto, difícil de dimensionar, a avaliação humana da saída desses sistemas não oferece um método empírico e reprodutível de avaliação.

Portanto, vários frameworks de métricas surgiram, incluindo Pontuação de Início (IS), apresentado no artigo de 2016 Técnicas Melhoradas para Treinar GANs, co-escrito por Ian Goodfellow, inventor do GAN.

A descreditação da pontuação IS como uma métrica amplamente aplicável para várias redes GAN em 2018 levou à adoção generalizada do FID na comunidade de síntese de imagens GAN. No entanto, como a Pontuação de Início, o FID é baseado na rede de classificação de imagens Inception v3 do Google.

Os autores do novo artigo argumentam que a Fréchet Inception Distance propaga vieses prejudiciais na Inception v3, levando a uma classificação não confiável da qualidade da imagem.

Já que o FID pode ser incorporado a um framework de aprendizado de máquina como um discriminador (um “juiz” incorporado que decide se o GAN está funcionando bem ou deve “tentar novamente”), ele precisa representar com precisão os padrões que um humano aplicaria ao avaliar as imagens.

Fréchet Inception Distance

O FID compara como os recursos são distribuídos ao longo do conjunto de dados de treinamento usado para criar um modelo GAN (ou funcionalidade semelhante) e os resultados desse sistema.

Portanto, se um framework GAN for treinado em 10.000 imagens de (por exemplo) celebridades, o FID compara as imagens originais (reais) com as imagens falsas produzidas pelo GAN. Quanto menor a pontuação FID, mais perto o GAN está de alcançar imagens “fotorealistas”, de acordo com os critérios do FID.

Do artigo, resultados de um GAN treinado em FFHQ64, um subconjunto do conjunto de dados FFHQ da NVIDIA. Aqui, embora a pontuação FID seja uma baixa 5,38, os resultados não são agradáveis ou convincentes para o humano médio.

O problema, os autores argumentam, é que a Inception v3, cujos pressupostos alimentam a Fréchet Inception Distance, não está olhando nos lugares certos – pelo menos, não quando se considera a tarefa em questão.

A Inception V3 é treinada no desafio de reconhecimento de objetos ImageNet, uma tarefa que é arguivelmente em desacordo com a forma como os objetivos da síntese de imagens evoluíram nos últimos anos. A IV3 desafia a robustez de um modelo realizando aumento de dados: ela gira imagens aleatoriamente, recorta-as para uma escala aleatória entre 8-100%, altera a proporção (em uma faixa de 3/4 a 4/3) e injeta aleatoriamente distorções de cor relacionadas à luminosidade, saturação e contraste.

Os pesquisadores da Alemanha descobriram que a IV3 tem uma tendência a favorecer a extração de bordos e texturas, em vez de informações de cor e intensidade, que seriam índices mais significativos de autenticidade para imagens sintéticas; e que seu propósito original de detecção de objetos foi, portanto, inapropriadamente sequestrado para uma tarefa inadequada. Os autores afirmam*:

‘[Inception v3] tem um viés para extrair recursos com base em bordos e texturas, em vez de informações de cor e intensidade. Isso está alinhado com seu pipeline de aumento que introduz distorções de cor, mas mantém as informações de alta frequência intactas (em contraste com, por exemplo, aumento com borramento gaussiano).

‘Consequentemente, o FID herda esse viés. Quando usado como métrica de classificação, modelos gerativos que reproduzem texturas bem podem ser preferidos em relação a modelos que reproduzem distribuições de cor bem. ‘

Dados e Método

Para testar sua hipótese, os autores treinaram duas arquiteturas GAN, DCGAN e SNGAN, no conjunto de dados de rostos humanos FFHQ da NVIDIA, reduzido para uma resolução de imagem 64², com o conjunto de dados derivado chamado FFHQ64.

Três procedimentos de treinamento GAN foram realizados: GAN G+D, uma rede padrão baseada em discriminador; GAN FID|G+D, onde o FID atua como um discriminador adicional; e GAN FID|G, onde o GAN é totalmente alimentado pela pontuação FID em rolagem.

Tecnicamente, os autores observam, a perda FID deve estabilizar o treinamento e potencialmente até substituir completamente o discriminador (como faz em #3, GAN FID|G), enquanto produz resultados agradáveis para humanos.

Na prática, os resultados são bastante diferentes, com – os autores hipotetizam – os modelos FID assistidos “superajustando” às métricas erradas. Os pesquisadores observam:

‘Nós hipotetizamos que o gerador aprende a produzir recursos inadequados para corresponder à distribuição dos dados de treinamento. Essa observação se torna mais grave no caso de [GAN FID|G]. Aqui, notamos que a falta de discriminador leva a distribuições de recursos espacialmente incoerentes. Por exemplo [SNGAN FID|G] adiciona principalmente olhos únicos e alinha características faciais de uma maneira assustadora.’

Exemplos de rostos produzidos por SNGAN FID|G.

Os autores concludem*:

‘Enquanto os anotadores humanos certamente prefeririam imagens produzidas por SNGAN D+G em relação a SNGAN FID|G (em casos onde a fidelidade dos dados é preferida em relação à arte), vemos que isso não é refletido pelo FID. O FID não está alinhado com a percepção humana.

‘Nós argumentamos que os recursos discriminativos fornecidos por redes de classificação de imagens não são suficientes para fornecer a base de uma métrica significativa.’

Não Há Alternativas Fáceis

Os autores também descobriram que substituir a Inception V3 por um motor semelhante não alivia o problema. Ao substituir a IV3 por “uma extensa escolha de diferentes redes de classificação”, que foram testadas contra ImageNet-C (um subconjunto do ImageNet projetado para benchmarkar corrupções e perturbações comuns em imagens de síntese), os pesquisadores não puderam melhorar substancialmente seus resultados:

‘[Vieses] presentes na Inception v3 também estão amplamente presentes em outras redes de classificação. Além disso, vemos que diferentes redes produziriam classificações diferentes entre tipos de corrupção.’

Os autores concludem o artigo com a esperança de que pesquisas em andamento desenvolverão uma métrica “alinhada com humanos e imparcial” capaz de permitir uma classificação mais justa para arquiteturas de geradores de imagens.

* Ênfase dos autores.

Publicado pela primeira vez em 20 de dezembro de 2021, 13h GMT+2.