Aumentando a Precisão da Edição de Imagens de IA

Embora o modelo de difusão latente (LDM) Firefly da Adobe seja, sem dúvida, um dos melhores disponíveis atualmente, os usuários do Photoshop que experimentaram seus recursos gerativos terão notado que ele não consegue facilmente editar imagens existentes – em vez disso, substitui completamente a área selecionada pelo usuário com imagens baseadas no prompt de texto do usuário (embora o Firefly seja habilidoso em integrar a seção gerada resultante no contexto da imagem).

No atual beta do Photoshop, é possível incorporar uma imagem de referência como um prompt de imagem parcial, o que coloca o produto de bandeira da Adobe no mesmo nível de funcionalidade que os usuários do Stable Diffusion desfrutam há mais de dois anos, graças a frameworks de terceiros como Controlnet:

O beta atual do Adobe Photoshop permite o uso de imagens de referência ao gerar novo conteúdo dentro de uma seleção – embora seja um assunto de sorte no momento.

Isso ilustra um problema aberto na pesquisa de síntese de imagens – a dificuldade que os modelos de difusão têm em editar imagens existentes sem implementar uma reimaginação completa da seleção indicada pelo usuário.

Embora essa pintura baseada em difusão obedeça ao prompt do usuário, ela reinventa completamente a matéria-prima do assunto sem considerar a imagem original (exceto ao mesclar a nova geração com o ambiente). Fonte: https://arxiv.org/pdf/2502.20376

Esse problema ocorre porque os LDMs geram imagens por meio de desruído iterativo, onde cada etapa do processo é condicionada ao prompt de texto fornecido pelo usuário. Com o conteúdo do prompt de texto convertido em tokens de incorporação, e com um modelo de hiperscala como o Stable Diffusion ou o Flux contendo centenas de milhares (ou milhões) de incorporações próximas relacionadas ao prompt, o processo tem uma distribuição condicional calculada para se aproximar; e cada etapa é um passo em direção a essa “distribuição condicional alvo”.

Então, é texto para imagem – um cenário em que o usuário “espera o melhor”, pois não há como saber exatamente como a geração será.

Em vez disso, muitos tentaram usar a capacidade gerativa poderosa de um LDM para editar imagens existentes – mas isso envolve um equilíbrio entre fidelidade e flexibilidade.

Quando uma imagem é projetada no espaço latente do modelo por métodos como inversão DDIM, o objetivo é recuperar a original o mais próximo possível, enquanto ainda permite edições significativas. O problema é que, quanto mais precisamente uma imagem é reconstruída, mais o modelo adere à sua estrutura original, tornando modificações maiores difíceis.

Em comum com muitos outros frameworks de edição de imagem baseados em difusão propostos nos últimos anos, a arquitetura Renoise tem dificuldade em fazer qualquer mudança real na aparência da imagem, com apenas uma indicação perfunctória de uma gravata aparecendo na base da garganta do gato.

Por outro lado, se o processo prioriza a editabilidade, o modelo relaxa sua pegada na original, tornando mais fácil introduzir mudanças – mas ao custo da consistência geral com a imagem de origem:

Missão cumprida – mas é uma transformação em vez de um ajuste, para a maioria dos frameworks de edição de imagem baseados em IA.

Já que é um problema que até os recursos consideráveis da Adobe estão lutando para resolver, então podemos considerar razoavelmente que o desafio é notável e pode não permitir soluções fáceis, se houver.

Inversão Ajustada

Portanto, os exemplos em um novo artigo publicado esta semana chamaram minha atenção, pois o trabalho oferece uma melhoria digna de nota e notável no estado da arte atual nessa área, provando ser capaz de aplicar edições sutis e refinadas a imagens projetadas no espaço latente de um modelo – sem que as edições sejam insignificantes ou sobrecarreguem o conteúdo original da imagem de origem:

Com a Inversão Ajustada aplicada a métodos de inversão existentes, a seleção de origem é considerada de uma maneira muito mais granular, e as transformações se conformam ao material original em vez de sobrescrevê-lo.

Os entusiastas e praticantes de LDM podem reconhecer esse tipo de resultado, pois grande parte dele pode ser criada em um fluxo de trabalho complexo usando sistemas externos como Controlnet e IP-Adapter.

De fato, o novo método – apelidado de Inversão Ajustada – aproveita o IP-Adapter, juntamente com um modelo baseado em faces dedicado, para representações humanas.

Do artigo original de 2023 do IP-Adapter, exemplos de criação de edições apropriadas do material de origem. Fonte: https://arxiv.org/pdf/2308.06721

O feito notável da Inversão Ajustada, então, é ter proceduralizado técnicas complexas em uma única modalidade de plug-in que pode ser aplicada a sistemas existentes, incluindo muitas das distribuições de LDM mais populares.

Naturalmente, isso significa que a Inversão Ajustada (IA), como os sistemas auxiliares que ela aproveita, usa a imagem de origem como um fator de condicionamento para sua própria versão editada, em vez de confiar apenas em prompts de texto precisos:

Mais exemplos da capacidade da Inversão Ajustada de aplicar edições verdadeiramente mescladas ao material de origem.

Embora os autores admitam que sua abordagem não está livre da tensão tradicional e contínua entre fidelidade e editabilidade em técnicas de edição de imagem baseadas em difusão, eles relatam resultados de estado da arte quando injetam a IA em sistemas existentes, em comparação com o desempenho de baseline.

O novo trabalho é intitulado Inversão Ajustada: Inversão Condicional de Imagem para Edição de Imagem Real, e vem de cinco pesquisadores da Universidade de Tel Aviv e da Snap Research.

Método

Inicialmente, um Modelo de Linguagem Grande (LLM) é usado para gerar um conjunto de prompts de texto variados a partir dos quais uma imagem é gerada. Em seguida, a inversão DDIM mencionada anteriormente é aplicada a cada imagem com três condições de texto: o prompt de texto usado para gerar a imagem; uma versão mais curta do mesmo; e um prompt nulo (vazio).

Com o ruído invertido retornado desses processos, as imagens são novamente geradas com a mesma condição, e sem orientação de classificador livre (CFG).

Pontuações de inversão DDIM em várias métricas com configurações de prompt variadas.

Como podemos ver no gráfico acima, as pontuações em várias métricas são melhoradas com o aumento do comprimento do texto. As métricas usadas foram Taxa de Sinal para Ruído de Pico (PSNR); distância L2; Índice de Semelhança Estrutural (SSIM); e Semelhança de Patch de Imagem Perceptual Aprendida (LPIPS).

Consciente de Imagem

Efetivamente, a Inversão Ajustada muda como um modelo de difusão hospedeiro edita imagens reais, condicionando o processo de inversão na própria imagem, em vez de confiar apenas no texto.

Normalmente, inverter uma imagem no espaço de ruído de um modelo de difusão requer estimar o ruído inicial que, quando desruído, reconstrói a entrada. Métodos padrão usam um prompt de texto para guiar esse processo; mas um prompt imperfeito pode levar a erros, perdendo detalhes ou alterando estruturas.

A Inversão Ajustada usa o IP Adapter para alimentar informações visuais no modelo, para que ele reconstrua a imagem com maior precisão, convertendo as imagens de origem em tokens de condicionamento e as projetando no pipeline de inversão.

Esses parâmetros são editáveis: aumentar a influência da imagem de origem torna a reconstrução quase perfeita, enquanto reduzi-la permite mudanças mais criativas. Isso torna a Inversão Ajustada útil tanto para modificações sutis, como mudar a cor de uma camisa, quanto para edições mais significativas, como trocar objetos – sem os efeitos colaterais comuns de outros métodos de inversão, como a perda de detalhes finos ou aberrations inesperadas no conteúdo de fundo.

Os autores afirmam:

‘Observamos que a Inversão Ajustada pode ser facilmente integrada a métodos de inversão anteriores (por exemplo, Edit Friendly DDPM, ReNoise) substituindo o núcleo de difusão nativo pelo modelo alterado do IP Adapter, e a Inversão Ajustada melhora consistentemente esses métodos em termos de reconstrução e editabilidade.’

Dados e Testes

Os pesquisadores avaliaram a IA em sua capacidade de reconstruir e editar imagens de origem do mundo real. Todos os experimentos usaram Stable Diffusion XL com um agendador DDIM, como delineado no artigo original do Stable Diffusion; e todos os testes usaram 50 etapas de desruído com uma escala de orientação padrão de 7,5.

Para condicionamento de imagem, IP-Adapter-plus sdxl vit-h foi usado. Para testes de poucos passos, os pesquisadores usaram SDXL-Turbo com um agendador Euler, e também conduziram experimentos com FLUX.1-dev, condicionando o modelo, no último caso, em PuLID-Flux, usando RF-Inversion em 28 etapas.

PulID foi usado apenas em casos que apresentavam faces humanas, pois este é o domínio para o qual o PulID foi treinado – e embora seja notável que um subsistema especializado seja usado para esse tipo de prompt, nosso interesse excessivo em gerar faces humanas sugere que confiar apenas nos pesos mais amplos de um modelo de base, como o Stable Diffusion, pode não ser adequado para as normas que exigimos para essa tarefa específica.

Testes de reconstrução foram realizados para avaliação qualitativa e quantitativa. Na imagem abaixo, vemos exemplos qualitativos para a inversão DDIM:

Resultados qualitativos para a inversão DDIM. Cada linha mostra uma imagem altamente detalhada ao lado de suas versões reconstruídas, com cada etapa usando condições progressivamente mais precisas durante a inversão e o desruído. À medida que a condicionamento se torna mais preciso, a qualidade da reconstrução melhora. A coluna mais à direita demonstra os melhores resultados, onde a própria imagem é usada como condicionamento, alcançando a fidelidade mais alta. CFG não foi usado em nenhum estágio. Por favor, consulte o documento de origem para uma resolução e detalhes melhores.

O artigo afirma:

‘Esses exemplos destacam que condicionar o processo de inversão em uma imagem melhora significativamente a reconstrução em regiões altamente detalhadas.

‘Notavelmente, no terceiro exemplo de [a imagem abaixo], nosso método reconstrói com sucesso o tatuagem nas costas do boxeador da direita. Além disso, a pose da perna do boxeador é mais precisamente preservada, e a tatuagem na perna se torna visível.’

Mais resultados qualitativos para a inversão DDIM. Condições descritivas melhoram a inversão DDIM, com condicionamento de imagem superando o texto, especialmente em imagens complexas.

Os autores também testaram a Inversão Ajustada como um módulo de queda para sistemas existentes, comparando as versões modificadas com o desempenho de baseline.

Os três sistemas testados foram a inversão DDIM mencionada anteriormente e a RF-Inversão; e também ReNoise, que compartilha parte da autoria com o artigo em discussão aqui. Como os resultados da DDIM não têm dificuldade em obter 100% de reconstrução, os pesquisadores se concentraram apenas na editabilidade.

(As imagens de resultados qualitativos são formatadas de uma maneira que é difícil de reproduzir aqui, então nos referimos ao leitor para o PDF de origem para uma cobertura mais completa e melhor resolução, não obstante que algumas seleções são apresentadas abaixo)

Esquerda, resultados qualitativos de reconstrução para a Inversão Ajustada com SDXL. Direita, reconstrução com Flux. O layout desses resultados no trabalho publicado é difícil de reproduzir aqui, então por favor consulte o PDF de origem para uma impressão verdadeira das diferenças obtidas.

Aqui os autores comentam:

‘Como ilustrado, integrar a Inversão Ajustada a métodos existentes melhora consistentemente a reconstrução. Por exemplo, nosso método reconstrói com precisão a grade na esquerda e o homem com a camisa azul na direita [na figura 5 do artigo].’

Os autores também testaram o sistema quantitativamente. Em linha com trabalhos anteriores, eles usaram o conjunto de validação do MS-COCO, e observam que os resultados (ilustrados abaixo) melhoraram a reconstrução em todas as métricas para todos os métodos.

Comparando as métricas de desempenho dos sistemas com e sem a Inversão Ajustada.

Em seguida, os autores testaram a capacidade do sistema de editar fotos, comparando-o com versões de baseline de abordagens anteriores prompt2prompt; Edit Friendly DDPM; LED-ITS++; e RF-Inversão.

Mostrados abaixo estão uma seleção dos resultados qualitativos do artigo para SDXL e Flux (e nos referimos ao leitor para o layout um pouco confuso do artigo original para mais exemplos).

Seleções dos resultados qualitativos disseminados pelo artigo. Nos referimos ao leitor para o PDF de origem para uma resolução melhorada e clareza significativa.

Os autores afirmam que a Inversão Ajustada consistentemente supera as técnicas de inversão existentes, estabelecendo um melhor equilíbrio entre reconstrução e editabilidade. Métodos padrão, como a inversão DDIM e a ReNoise, podem recuperar uma imagem bem, mas o artigo afirma que eles frequentemente lutam para preservar detalhes finos quando edições são aplicadas.

Em contraste, a Inversão Ajustada aproveita o condicionamento de imagem para ancorar a saída do modelo mais proximamente à original, prevenindo distorções indesejadas. Os autores afirmam que, mesmo quando as abordagens competitivas produzem reconstruções que aparentam precisas, a introdução de edições frequentemente leva a artefatos ou inconsistências estruturais, e que a Inversão Ajustada mitiga essas questões.

Finalmente, resultados quantitativos foram obtidos avaliando a Inversão Ajustada contra o benchmark MagicBrush, usando a inversão DDIM e o LEDITS++, medidos com CLIP Sim.

Comparações quantitativas da Inversão Ajustada contra o benchmark MagicBrush.

Os autores concluem:

‘Em ambos os gráficos, a compensação entre preservação de imagem e aderência ao edit de destino é claramente [observada].  A Inversão Ajustada fornece um melhor controle sobre essa compensação e preserva melhor a imagem de entrada, enquanto ainda se alinha com o edit [prompt]. ‘

‘Observe que uma similaridade CLIP de mais de 0,3 entre uma imagem e um prompt de texto indica uma alinhamento plausível entre a imagem e o prompt.’

Conclusão

Embora não represente uma “quebra” em um dos desafios mais espinhosos na síntese de imagem baseada em LDM, a Inversão Ajustada consolida uma série de abordagens auxiliares em um método unificado de edição de imagem baseada em IA.

Embora a tensão entre editabilidade e fidelidade não tenha desaparecido com esse método, ela é notavelmente reduzida, de acordo com os resultados apresentados. Considerando que o desafio central que este trabalho aborda pode provar ser fundamentalmente intransponível se tratado em seus próprios termos (em vez de olhar além das arquiteturas baseadas em LDM em sistemas futuros), a Inversão Ajustada representa uma melhoria incremental bem-vinda no estado da arte.

Publicado pela primeira vez na sexta-feira, 28 de fevereiro de 2025