Edição de Imagem Semântica de Alta Precisão com EditGAN

Redes Adversárias Generativas ou GANs têm sido utilizadas em novas aplicações na indústria de edição de imagens. Nos últimos meses, EditGAN tem ganhado popularidade na indústria de IA/ML porque é um método novo para edição de imagem semântica de alta precisão e alta qualidade.

Vamos discutir o modelo EditGAN em detalhes e explicar por que ele pode ser um marco na indústria de edição de imagem semântica.

Então, vamos começar. Mas antes de entender o que é EditGAN, é importante entender a importância do EditGAN e por que ele é um passo significativo.

Por que EditGAN?

Embora as arquiteturas de GAN tradicionais tenham ajudado a indústria de edição de imagem baseada em IA a avançar significativamente, existem alguns desafios significativos ao construir uma arquitetura de GAN do zero.

1. Durante a fase de treinamento, uma arquitetura de GAN requer uma grande quantidade de dados rotulados com anotações de segmentação semântica.
2. Elas são capazes de fornecer apenas controle de alto nível.
3. E, frequentemente, elas apenas interpolam para frente e para trás entre imagens.

Pode ser observado que, embora as arquiteturas de GAN tradicionais façam o trabalho, elas não são eficazes para implantação em larga escala. A eficiência subpar das arquiteturas de GAN tradicionais é a razão pela qual o EditGAN foi introduzido pela NVIDIA (NVDA ) em 2022.

EditGAN é proposto como um método eficaz para edição de imagem semântica de alta precisão e alta qualidade, com a capacidade de permitir que os usuários editem imagens alterando suas máscaras de segmentação detalhadas.

O modelo EditGAN é construído em uma estrutura de GAN que modela imagens e suas segmentações semânticas conjuntamente, e requer apenas uma pequena quantidade de dados de treinamento rotulados ou anotados.

Os desenvolvedores do EditGAN tentaram incorporar uma imagem no espaço latente do GAN para modificar a imagem efetivamente, realizando otimização de código latente condicional de acordo com a edição de segmentação.

Edição de Imagem Semântica de Alta Precisão com EditGAN

StyleGAN2, uma estrutura de GAN de ponta para síntese de imagens, é o componente principal de geração de imagens do EditGAN.

Treinamento e Inferência de Segmentação

O modelo EditGAN incorpora uma imagem no espaço latente do GAN usando otimização e um codificador para realizar segmentação em uma nova imagem e treinar a ramificação de segmentação.

Usando Edição de Segmentação para Encontrar Semântica no Espaço Latente

O objetivo principal do EditGAN é aproveitar a distribuição conjunta de segmentações semânticas e imagens para edição de imagem de alta precisão.

Implementação

A estrutura EditGAN é avaliada em imagens espalhadas por quatro categorias diferentes: Carros, Pássaros, Gatos e Rostos.

Resultados

Resultados Qualitativos

A estrutura EditGAN pode realizar edição de imagem de alta precisão e alta qualidade, preservando a qualidade da imagem.

Resultados Quantitativos

Para medir as capacidades de edição de imagem do EditGAN, o modelo usa um benchmark de edição de sorriso que foi introduzido pela MaskGAN.

Limitações

Porque o EditGAN é baseado na estrutura de GAN, ele tem a mesma limitação que qualquer outro modelo de GAN: ele pode funcionar apenas com imagens que podem ser modeladas pelo GAN.

Conclusão

Um dos principais motivos pelos quais o GAN não é um padrão da indústria no campo de edição de imagens é devido à sua limitada praticidade.

EditGAN visa resolver os problemas apresentados pelas estruturas de GAN convencionais e tenta ser um método eficaz para edição de imagem semântica de alta qualidade e alta precisão.