O Benefício Inesperado de Mapear o Espaço Latente de um GAN

Enquanto tentavam melhorar a qualidade e fidelidade de imagens geradas por IA, um grupo de pesquisadores da China e da Austrália descobriu acidentalmente um método para controlar interativamente o espaço latente de uma Rede Adversária Generativa (GAN) – a misteriosa matriz calculativa por trás da nova onda de técnicas de síntese de imagens que prometem revolucionar os setores de entretenimento e pesquisa.

Sua descoberta, um subproduto do objetivo central do projeto, permite que um usuário explore arbitrariamente e interativamente o espaço latente de uma GAN com um mouse, como se estivesse passando por um vídeo ou folheando um livro.

Um trecho do vídeo dos pesquisadores (veja o embed no final do artigo para mais exemplos). Note que o usuário está manipulando as transformações com um cursor de ‘pegar’ (topo esquerdo). Fonte: https://www.youtube.com/watch?v=k7sG4XY5rIc

O método usa ‘mapas de calor’ para indicar quais áreas de uma imagem devem ser melhoradas enquanto a GAN processa o mesmo conjunto de dados milhares (ou centenas de milhares) de vezes. Os mapas de calor são projetados para melhorar a qualidade da imagem, informando a GAN sobre onde ela está errando, para que sua próxima tentativa seja melhor; mas, coincidentemente, isso também fornece um ‘mapa’ do espaço latente que pode ser navegado movendo o mouse.

Atenção visual espacial enfatizada via GradCAM, que indica áreas que precisam de atenção impondo cores brilhantes. Fonte: https://arxiv.org/pdf/2112.00718.pdf

O artigo é chamado Melhorando o Equilíbrio da GAN por meio do Aumento da Consciência Espacial, e vem de pesquisadores da Universidade Chinesa de Hong Kong e da Universidade Nacional da Austrália. Além do artigo, vídeo e outros materiais podem ser encontrados na página do projeto.

O trabalho é incipiente e atualmente limitado a imagens de baixa resolução (256×256), mas é um conceito de prova que promete quebrar a ‘caixa preta’ do espaço latente e surge num momento em que vários projetos de pesquisa estão tentando controlar melhor a síntese de imagens.

Embora essas imagens sejam atraentes (e você pode ver mais delas, em melhor resolução, no vídeo incorporado no final do artigo), o que talvez seja mais significativo é que o projeto encontrou uma maneira de criar uma melhor qualidade de imagem e, potencialmente, fazer isso mais rápido, informando a GAN especificamente sobre onde ela está errando durante o treinamento.

Mas, como Adversarial indica, uma GAN não é uma entidade única, mas sim um conflito desigual entre autoridade e labuta. Para entender as melhorias que os pesquisadores fizeram a esse respeito, vamos olhar como essa guerra foi caracterizada até agora.

A Pungente Situação do Gerador

Se você já foi assombrado pelo pensamento de que algum grande item de roupa que comprou foi produzido em uma fábrica exploradora em um país explorado, ou teve um chefe ou cliente que o mandou ‘Fazer de novo!’ sem nunca dizer o que estava errado com sua última tentativa, poupe um pouco de piedade para a parte Gerador de uma Rede Adversária Generativa.

O Gerador é o cavalo de trabalho que tem sido um deleite para você nos últimos cinco anos, ajudando as GANs a criar pessoas fotorealistas que não existem, melhorar jogos de vídeo antigos para resolução 4k, e transformar filmagens de um século atrás em saída HD em cores a 60fps, entre outras novidades de IA.

Desde criar rostos fotorealistas de pessoas inexistentes até restaurar filmagens antigas e revivificar jogos de vídeo de arquivo, a GAN tem sido ocupada nos últimos anos.

O Gerador processa todos os dados de treinamento novamente e novamente (como fotos de rostos, para criar uma GAN que possa criar fotos de pessoas aleatórias e inexistentes), uma foto de cada vez, por dias ou até semanas, até que ele seja capaz de criar imagens que sejam tão convincentes quanto as fotos genuínas que estudou.

Então, como o Gerador sabe que está fazendo algum progresso, cada vez que tenta criar uma imagem melhor do que sua tentativa anterior?

O Gerador tem um chefe do inferno.

A Opacidade Impiedosa do Discriminador

O trabalho do Discriminador é dizer ao Gerador que ele não fez bem o suficiente para criar uma imagem autêntica em relação aos dados originais e para Fazer de novo! O Discriminador não diz ao Gerador o que estava errado com a última tentativa do Gerador; ele apenas olha para a imagem em particular, compara a imagem gerada com as imagens de origem (em particular, em privado) e atribui uma pontuação à imagem.

A pontuação é jamais boa o suficiente. O Discriminador não para de dizer ‘Fazer de novo!’ até que os cientistas da pesquisa o desliguem (quando julgam que o treinamento adicional não melhorará a saída).

Dessa forma, ausente qualquer crítica construtiva, e armado apenas com uma pontuação cuja métrica é um mistério, o Gerador deve adivinhar aleatoriamente quais partes ou aspectos da imagem causaram uma pontuação mais alta do que antes. Isso o levará por muitos caminhos insatisfatórios antes que ele mude algo positivamente o suficiente para obter uma pontuação mais alta.

O Discriminador como Tutor e Mentor

A inovação fornecida pela nova pesquisa é essencialmente que o Discriminador agora indica ao Gerador quais partes da imagem foram insatisfatórias, para que o Gerador possa se concentrar nessas áreas em sua próxima iteração e não jogar fora as seções que foram avaliadas mais altas. A natureza da relação se transformou de combativa para colaborativa.

Para remediar a disparidade de insight entre o Discriminador e o Gerador, os pesquisadores usaram GradCAM como um mecanismo capaz de formular os insights do Discriminador em uma ajuda de feedback visual para a próxima tentativa do Gerador.

O novo método de treinamento de ‘equilíbrio’ é chamado EqGAN. Para máxima reprodutibilidade, os pesquisadores incorporaram técnicas e métodos existentes com configurações padrão, incluindo o uso da arquitetura StyleGan2.

A arquitetura do EqGAN. A codificação espacial do Gerador é alinhada com a consciência espacial do Discriminador, com amostras aleatórias de mapas de calor (veja imagem anterior) codificados de volta no gerador via a camada de codificação espacial (SEL). GradCAM é o mecanismo pelo qual os mapas de atenção do Discriminador são tornados disponíveis para o gerador.

GradCAM produz mapas de calor (veja imagens acima) que refletem a crítica do Discriminador à última iteração e os torna disponíveis para o Gerador.

Uma vez que o modelo é treinado, o mapeamento permanece como um artefato desse processo cooperativo, mas também pode ser usado para explorar o código latente final de forma interativa, como demonstrado no vídeo do projeto dos pesquisadores (veja abaixo).

EqGAN

O projeto usou vários conjuntos de dados populares, incluindo os conjuntos de dados LSUN Cat e Churches, bem como o conjunto de dados FFHQ. O vídeo abaixo também apresenta exemplos de manipulação facial e felina usando EqGAN.

Todas as imagens foram redimensionadas para 256×256 antes de treinar o EqGAN na implementação oficial do StyleGAN2. O modelo foi treinado com um tamanho de lote de 64 em 8 GPUs até que o Discriminador tivesse sido exposto a mais de 25 milhões de imagens.

Testando os resultados do sistema em amostras selecionadas com a Distância de Incepção de Frechet (FID), os autores estabeleceram uma métrica chamada Indicador de Desequilíbrio (DI) – o grau em que o Discriminador retém sua vantagem de conhecimento sobre o Gerador, com o objetivo de estreitar essa lacuna.

Acima dos três conjuntos de dados treinados, a nova métrica mostrou uma queda útil após a codificação da consciência espacial no Gerador, com um equilíbrio melhorado demonstrado tanto pela FID quanto pelo DI.

Os pesquisadores concluem:

‘Esperamos que esse trabalho possa inspirar mais trabalhos revisitando o equilíbrio da GAN e desenvolvendo métodos novos para melhorar a qualidade da síntese de imagens por meio da manipulação do equilíbrio da GAN. Também conduziremos mais investigações teóricas sobre essa questão em trabalhos futuros.’

E continuam:

‘Resultados qualitativos mostram que nosso método consegue [forçar o Gerador] a se concentrar em regiões específicas. Experimentos em vários conjuntos de dados validam que nosso método mitiga o desequilíbrio no treinamento da GAN e melhora substancialmente a qualidade geral da síntese de imagens. O modelo resultante com consciência espacial também permite a manipulação interativa da imagem de saída.’

Veja o vídeo abaixo para mais detalhes sobre o projeto e mais exemplos de exploração dinâmica e interativa do espaço latente em uma GAN.

11:12am 4th Dec 2021 – Corrigido URL para GradCAM e organizado referência circundante.