Orquestrando Síntese Facial com Segmentação Semântica

O problema de inventar rostos humanos com uma Rede Adversária Generativa (GAN) é que os dados do mundo real que alimentam as imagens falsas vêm com acréscimos indesejados e inseparáveis, como cabelo na cabeça (e/ou rosto), fundos e vários tipos de “mobília” facial, como óculos, chapéus e brincos; e que esses aspectos periféricos da personalidade inevitavelmente se tornam vinculados a uma identidade “fundida”.

Em arquiteturas GAN mais comuns, esses elementos não são endereçáveis em seu próprio espaço dedicado, mas sim estão bastante associados ao rosto em (ou ao redor) do qual estão incorporados.

Também não é possível, em geral, ditar ou afetar a aparência de subseções de um rosto criado por uma GAN, como estreitar os olhos, alongar o nariz ou mudar a cor do cabelo, da maneira como um artista de esboços policiais poderia.

No entanto, o setor de pesquisa de síntese de imagens está trabalhando nisso:

Nova pesquisa sobre geração de faces baseada em GAN separou as várias seções de um rosto em áreas distintas, cada uma com seu próprio ‘gerador’, trabalhando em conjunto com outros geradores para a imagem. Na linha do meio, vemos o ‘mapa de recursos’ orquestrador construindo áreas adicionais do rosto. Fonte: https://arxiv.org/pdf/2112.02236.pdf

Em um novo artigo, pesquisadores do braço norte-americano da multinacional chinesa de tecnologia ByteDance usaram segmentação semântica para dividir as partes constituintes do rosto em seções discretas, cada uma das quais é alocada seu próprio gerador, para que seja possível alcançar um grau maior de desvinculação. Ou, pelo menos, desvinculação perceptual.

O artigo é intitulado SemanticStyleGAN: Aprendizado de Priors Gerativos Composicionais para Síntese e Edição de Imagens Controláveis e é acompanhado por uma página de projeto rica em mídia, com múltiplos exemplos das várias transformações de granulação fina que podem ser alcançadas quando os elementos faciais e da cabeça são isolados dessa maneira.

Textura facial, estilo e cor do cabelo, forma e cor dos olhos e muitos outros aspectos de recursos gerados por GAN anteriormente indissolúveis agora podem ser de fato desvinculados, embora a qualidade da separação e o nível de instrumentalidade variem de caso para caso. Fonte: https://semanticstylegan.github.io/

O Espaço Latente Incontrolável

Uma Rede Adversária Generativa treinada para gerar rostos – como o StyleGan2 que alimenta o popular site thispersondoesnotexist.com – forma inter-relações complexas entre os ‘recursos’ (não no sentido facial) que ela deriva da análise de milhares de rostos do mundo real, para aprender a criar rostos humanos realistas por si mesma.

Esses processos clandestinos são ‘códigos latentes’, coletivamente o espaço latente. Eles são difíceis de analisar e, consequentemente, difíceis de instrumentalizar.

Na semana passada, um novo projeto de síntese de imagens surgiu, que tenta ‘mapear’ esse espaço quase oculto durante o próprio processo de treinamento, e então usar esses mapas para navegar interativamente, e várias outras soluções foram propostas para ganhar um controle mais profundo do conteúdo sintetizado por GAN.

Alguns progressos foram feitos, com uma oferta diversa de arquiteturas GAN que tentam ‘alcançar’ o espaço latente de alguma forma e controlar as gerações faciais a partir daí. Tais esforços incluem InterFaceGAN, StyleFlow, GANSpace e StyleRig, entre outras ofertas em um fluxo constantemente produtivo de novos artigos.

O que todos eles têm em comum é um grau limitado de desvinculação; os controles GUI engenhosos para vários aspectos (como ‘cabelo’ ou ‘expressão’) tendem a arrastar o fundo e/ou outros elementos para o processo de transformação, e nenhum deles (incluindo o artigo discutido aqui) resolveu o problema do cabelo neural temporal.

Dividindo e Conquistando o Espaço Latente

Em qualquer caso, a pesquisa da ByteDance segue uma abordagem diferente: em vez de tentar discernir os mistérios de uma única GAN operando sobre uma imagem de rosto gerada por GAN, o SemanticStyleGAN formula uma abordagem baseada em layout, onde os rostos são ‘compostos’ por processos geradores separados.

Para alcançar essa distinção de (recursos) faciais, o SemanticStyleGAN usa Recursos de Fourier para gerar um mapa de segmentação semântica (distinções de topografia facial grosseiramente coloridas, mostradas na parte inferior direita da imagem abaixo) para isolar as áreas faciais que receberão atenção dedicada.

Arquitetura da nova abordagem, que impõe uma camada intersticial de segmentação semântica sobre o rosto, efetivamente transformando o quadro em um orquestrador de vários geradores para diferentes aspectos de uma imagem.

Os mapas de segmentação são gerados para as imagens falsas que são sistematicamente apresentadas ao discriminador da GAN para avaliação à medida que o modelo melhora, e às imagens de fonte (não falsas) usadas para treinamento.

No início do processo, uma Rede Neural Multicamada (MLP) mapeia inicialmente códigos latentes aleatórios, que serão usados para controlar os pesos dos vários geradores que criarão cada seção do rosto a ser produzido.

Cada gerador cria um mapa de recursos e um mapa de profundidade simulado a partir dos recursos de Fourier que são alimentados a ele a montante. Essa saída é a base para as máscaras de segmentação.

A rede de renderização downstream é condicionada apenas pelos mapas de recursos anteriores e agora sabe como gerar uma máscara de segmentação de alta resolução, facilitando a produção final da imagem.

Finalmente, um discriminador bifurcado supervisiona a distribuição concatenada de ambas as imagens RGB (que, para nós, são o resultado final) e as máscaras de segmentação que permitiram que elas fossem separadas.

Com o SemanticStyleGAN, não há perturbações visuais indesejadas ao ‘ajustar’ as alterações nos recursos faciais, porque cada recurso facial foi treinado separadamente dentro do quadro de orquestração.

Substituindo Fundos

Porque a intenção do projeto é ganhar um controle maior do ambiente gerado, o processo de renderização/composição inclui um gerador de fundo treinado em imagens reais.

Uma razão convincente para que os fundos não sejam arrastados para as manipulações faciais no SemanticStyleGAN é que eles estão em uma camada mais distante e são completos, embora parcialmente ocultados pelos rostos superpostos.

Como os mapas de segmentação resultarão em rostos sem fundos, esses fundos ‘drop-in’ não apenas fornecem contexto, mas também são configurados para serem apropriados em termos de iluminação para os rostos superpostos.

Treinamento e Dados

Os modelos ‘realistas’ foram treinados nas primeiras 28.000 imagens do CelebAMask-HQ, redimensionadas para 256×256 pixels para acomodar o espaço de treinamento (ou seja, a VRAM disponível, que dita um tamanho de lote máximo por iteração).

Vários modelos foram treinados, e diversas ferramentas, conjuntos de dados e arquiteturas foram experimentados durante o processo de desenvolvimento e vários testes de ablação. O modelo mais produtivo do projeto apresentou resolução de 512×512, treinado durante 2,5 dias em oito GPUs NVIDIA Tesla V100. Após o treinamento, a geração de uma única imagem leva 0,137s em uma GPU lobe sem paralelização.

Os experimentos mais ‘desenhados’ e ‘animes’ demonstrados nos muitos vídeos na página do projeto (veja link acima) são derivados de vários conjuntos de dados de rostos populares, incluindo Toonify, MetFaces e Bitmoji.

Uma Solução Provisória?

Os autores afirmam que não há razão para que o SemanticStyleGAN não possa ser aplicado a outros domínios, como paisagens, carros, igrejas e todos os outros ‘domínios de teste padrão’ aos quais novas arquiteturas são rotineiramente submetidas no início de suas carreiras.

No entanto, o artigo admite que, à medida que o número de classes aumenta para um domínio (como ‘carro’, ‘poste de iluminação’, ‘pedestre’, ‘prédio’, ‘carro’, etc.), essa abordagem por partes pode se tornar inviável de várias maneiras, sem um trabalho adicional de otimização. O conjunto de dados urbanos CityScapes, por exemplo, tem 30 classes em 8 categorias.

É difícil dizer se o interesse atual em conquistar o espaço latente de forma mais direta está condenado, como a alquimia; ou se os códigos latentes eventualmente serão decifráveis e controláveis – um desenvolvimento que poderia tornar essa abordagem mais ‘externamente complexa’ redundante.