Modelos e plataformas de IA
Edição de Imagem Semântica de Alta Precisão com EditGAN
Pontos-chaveO EditGAN permite edições de imagem em nível de pixel modificando máscaras de…
Ver mais
- O EditGAN permite edições de imagem em nível de pixel modificando máscaras de segmentação no espaço latente de GAN.
- O modelo aprende vetores de edição reutilizáveis a partir de dados rotulados mínimos para aplicação rápida em tempo real.
- Ele alcança precisão sem precedentes em tarefas como alterar raios de rodas ou dilatar pupilas.
As redes adversárias generativas (GANs) ganharam novas aplicações na edição de imagens. O EditGAN é um método de edição semântica com alta precisão e qualidade. Este artigo explica seu funcionamento e por que representa um avanço importante.
Por que o EditGAN?
As GANs tradicionais impulsionaram a edição por IA, mas construir um sistema do zero apresenta desafios: exige muitos dados com anotações de segmentação semântica, oferece controle apenas sobre características gerais e frequentemente se limita à interpolação entre imagens. A eficiência limitada dificulta a implantação ampla. O texto original afirma que a NVIDIA (NVDA ) apresentou o EditGAN em 2022.
O EditGAN permite editar imagens alterando máscaras detalhadas de segmentação. Sua arquitetura modela conjuntamente a imagem e sua segmentação, necessitando de poucos exemplos anotados. A imagem é incorporada ao espaço latente da GAN, e o código latente passa por otimização condicional de acordo com a máscara modificada.
Para distribuir o custo dessa otimização entre vários usos, o modelo aprende “vetores de edição”. Pode aprender vários vetores e aplicá-los diretamente a outras imagens com rapidez. Os experimentos demonstram alterações muito detalhadas preservando a qualidade visual.
Os benefícios destacados incluem:
- Edição de altíssima precisão.
- Poucos dados rotulados.
- Interação em tempo real por meio de vetores.
- Combinação de várias edições simultâneas.
- Uso em imagens geradas pela GAN, imagens reais incorporadas e algumas imagens fora do domínio.
Edição semântica de alta precisão com EditGAN
O StyleGAN2 é o principal componente gerador. Ele transforma códigos latentes amostrados de uma distribuição normal multivariada em imagens realistas. É um modelo generativo profundo treinado para sintetizar imagens de alta qualidade e serve de base para aprender sua estrutura semântica.
Treinamento e inferência da segmentação
O EditGAN combina um codificador com otimização para incorporar imagens ao espaço latente. O codificador é treinado com imagens da GAN e imagens reais, usando perdas de reconstrução L2 por pixel e LPIPS. Nas amostras geradas pela GAN, os códigos latentes também regularizam explicitamente o codificador.
As imagens com anotações de segmentação são então incorporadas ao espaço latente. O ramo de segmentação do gerador é treinado com perda de entropia cruzada.
Encontrando semântica no espaço latente pela edição da segmentação
O objetivo é aproveitar a distribuição conjunta de imagens e segmentações para edição de alta precisão. Para editar uma imagem x, o sistema a incorpora ao espaço latente ou usa uma amostra do próprio modelo. O ramo de segmentação produz a máscara y. A imagem RGB e a máscara compartilham o código latente w, permitindo que o usuário modifique a máscara manualmente com ferramentas de anotação ou pintura digital.

Modos de edição durante a inferência
Os vetores obtidos por otimização possuem significado semântico e frequentemente permitem controlar atributos separadamente. Uma nova imagem pode ser incorporada e receber a edição já aprendida sem repetir toda a otimização. Assim, o custo inicial é amortizado entre várias imagens.
O desacoplamento dos atributos ainda não é perfeito. Ao transferir um vetor, podem surgir alterações indesejadas em outras regiões. Alguns passos adicionais de otimização no teste ajudam a remover esses artefatos. Existem três modos:
- Edição em tempo real com vetores: para alterações locais bem desacopladas, os vetores aprendidos são aplicados em diferentes intensidades, com velocidade interativa.
- Refinamento autossupervisionado da edição vetorial: a edição começa com um vetor conhecido e recebe alguns passos de otimização para reduzir efeitos em outras partes da imagem.
- Edição baseada em otimização: alterações grandes ou específicas de uma imagem exigem começar a otimização do zero, pois não podem ser transferidas diretamente pelos vetores existentes.
Implementação
A avaliação abrange carros, pássaros, gatos e rostos. O ramo de segmentação é treinado com, respectivamente, 16, 30, 30 e 16 pares imagem–máscara rotulados. Na edição puramente por otimização ou no aprendizado de vetores, são realizados 100 passos com o otimizador Adam.
Para gatos, carros e rostos, os experimentos usam imagens reais do conjunto de teste do DatasetGAN que não participaram do treinamento da GAN. Elas são incorporadas por codificação e otimização. Para pássaros, as demonstrações usam imagens geradas pela GAN.
Resultados
Resultados qualitativos dentro do domínio

A figura mostra a aplicação de vetores aprendidos a novas imagens, seguida de 30 passos de refinamento. As edições nas diferentes classes ficam bem separadas de outros atributos e preservam a qualidade geral. Comparado a outros métodos, o EditGAN realiza alterações complexas e precisas mantendo a identidade do objeto.
Exemplos incluem dilatar pupilas e modificar os raios das rodas de um carro. É possível editar regiões de poucos pixels ou fazer mudanças amplas. Algumas imagens resultantes diferem das presentes nos dados de treinamento da GAN.
Resultados fora do domínio
O teste com MetFaces utiliza vetores aprendidos em rostos reais dentro do domínio. Os retratos externos são incorporados por 100 passos de otimização, e os vetores são aplicados com 30 passos de refinamento autossupervisionado.

Resultados quantitativos
O benchmark de edição de sorriso apresentado pelo MaskGAN transforma expressões neutras em sorrisos e avalia três aspectos:
- Correção semântica: um classificador de sorriso pré-treinado verifica a presença da expressão após a edição.
- Qualidade no nível da distribuição: Kernel Inception Distance (KID) e Fréchet Inception Distance (FID) são calculadas entre o conjunto de teste CelebA e 400 imagens editadas.
- Preservação da identidade: uma rede ArcFace pré-treinada mede se a identidade da pessoa foi mantida.

A tabela compara o EditGAN com métodos de referência no benchmark de sorriso. Os métodos discutidos são:
- MaskGAN: recebe uma imagem sem sorriso, sua máscara e uma máscara-alvo sorridente; necessita de mais dados anotados.
- Local Editing: agrupa características da GAN para edição local e depende de imagens de referência.
- InterFaceGAN: também procura vetores no espaço latente, mas usa muitos rótulos e classificadores auxiliares de atributos, sem a mesma precisão fina.
- StyleGAN2Distillation: utiliza um modelo de vetores de edição para criar dados de treinamento, sem necessariamente incorporar imagens reais da mesma maneira.

Limitações
O EditGAN herda a limitação das GANs: só trabalha com imagens que o gerador consegue representar. Isso dificulta a aplicação em cenários variados. Os vetores ajudam a transferir edições precisas para outras imagens, mas não eliminam essa restrição fundamental.
Conclusão
O uso prático limitado, a necessidade de muitos dados anotados e a eficiência ou precisão variável impedem que GANs tradicionais sejam um padrão universal de edição. O EditGAN busca resolver esses problemas com edição semântica precisa e de alta qualidade. Os resultados relatados superam alguns métodos comparados e indicam um caminho promissor.












