Edição de Objetos Assistida por IA com Imagic do Google e ‘Erase and Replace’ da Runway

Esta semana, dois novos algoritmos gráficos impulsionados por IA estão oferecendo maneiras novas e contrastantes para que os usuários finais façam alterações altamente granulares e eficazes em objetos em fotos.

O primeiro é o Imagic, da Google Research, em associação com o Instituto de Tecnologia de Israel e o Instituto de Ciência Weizmann. O Imagic oferece edição de objetos condicionada por texto, por meio do ajuste fino de modelos de difusão.

Mude o que você quiser e deixe o resto – o Imagic promete edição granular apenas das partes que você deseja alterar. Fonte: https://arxiv.org/pdf/2210.09276.pdf

Qualquer pessoa que já tentou alterar apenas um elemento em uma re-renderização de Stable Diffusion saberá muito bem que, para cada edição bem-sucedida, o sistema mudará cinco coisas que você gostava exatamente do jeito que estavam. É uma limitação que atualmente tem muitos dos mais talentosos entusiastas de SD constantemente trocando entre Stable Diffusion e Photoshop para consertar esse tipo de “dano colateral”. Do ponto de vista da edição, os feitos do Imagic parecem notáveis.

No momento da escrita, o Imagic ainda não tem sequer um vídeo promocional, e, dado a atitude circunspecta da Google em relação ao lançamento de ferramentas de síntese de imagem sem restrições, é incerto até que ponto, se é que chegaremos a ter a chance de testar o sistema.

A segunda oferta é a funcionalidade Erase and Replace da Runway ML, uma nova funcionalidade na seção “AI Magic Tools” de sua suite exclusivamente online de utilitários de efeitos visuais baseados em aprendizado de máquina.

A funcionalidade Erase and Replace da Runway ML, já vista em uma prévia para um sistema de edição de vídeo de texto para vídeo. Fonte: https://www.youtube.com/watch?v=41Qb58ZPO60

Vamos dar uma olhada na saída da Runway primeiro.

Erase and Replace

Assim como o Imagic, Erase and Replace lida exclusivamente com imagens estáticas, embora a Runway tenha pré-visualizado a mesma funcionalidade em uma solução de edição de texto para vídeo que ainda não foi lançada:

Embora qualquer pessoa possa testar a nova Erase and Replace em imagens, a versão de vídeo ainda não está disponível publicamente. Fonte: https://twitter.com/runwayml/status/1568220303808991232

Embora a Runway ML não tenha divulgado detalhes sobre as tecnologias por trás de Erase and Replace, a velocidade com que você pode substituir uma planta de casa por uma réplica razoavelmente convincente de Ronald Reagan sugere que um modelo de difusão, como o Stable Diffusion (ou, muito menos provável, um DALL-E 2 licenciado), é o motor que está reinventando o objeto de sua escolha em Erase and Replace.

Substituir uma planta de casa por uma réplica de The Gipper não é tão rápido quanto isso, mas é rápido. Fonte: https://app.runwayml.com/

O sistema tem algumas restrições do tipo DALL-E 2 – imagens ou textos que acionam os filtros Erase and Replace acarretarão um aviso sobre possível suspensão da conta em caso de novas infrações – praticamente um clone de boilerplate das políticas atuais da OpenAI para o DALL-E 2.

Muitos dos resultados carecem das bordas ásperas típicas do Stable Diffusion. A Runway ML é investidora e parceira de pesquisa no SD, e é possível que eles tenham treinado um modelo proprietário superior ao checkpoint de 1,4 aberto que o resto de nós está lidando atualmente (como muitos outros grupos de desenvolvimento, tanto profissionais quanto amadores, estão treinando ou ajustando finamente modelos de Stable Diffusion).

Substituindo uma mesa doméstica por uma ‘mesa de gelo’ no Erase and Replace da Runway ML.

Assim como o Imagic (veja abaixo), Erase and Replace é ‘orientado a objetos’, por assim dizer – você não pode simplesmente apagar uma ‘parte vazia’ da imagem e preencher com o resultado do seu prompt de texto; nesse cenário, o sistema simplesmente traça o objeto mais próximo aparente ao longo da linha de visão da máscara (como uma parede ou uma televisão) e aplica a transformação lá.

Como o nome indica, você não pode injetar objetos em espaço vazio no Erase and Replace. Aqui, uma tentativa de invocar o mais famoso dos lordes Sith resulta em um estranho mural relacionado a Vader na TV, aproximadamente onde a área de ‘substituição’ foi desenhada.

É difícil dizer se Erase and Replace está sendo evasivo em relação ao uso de imagens protegidas por direitos autorais (que ainda são amplamente obstruídas, embora com sucesso variado, no DALL-E 2), ou se o modelo sendo usado no mecanismo de renderização de backend não está otimizado para esse tipo de coisa.

O ligeiramente NSFW ‘Mural de Nicole Kidman’ indica que o modelo baseado em difusão presume que está em uso carece da rejeição sistemática anterior de renderização de rostos realistas ou conteúdo picante, enquanto os resultados para tentativas de evocar obras protegidas por direitos autorais variam do ambíguo (‘xenomorph’) ao absurdo (‘o trono de ferro’). Inset inferior direito, a foto de origem.

Seria interessante saber quais métodos Erase and Replace está usando para isolar os objetos que pode substituir. Presumivelmente, a imagem está sendo executada por meio de alguma derivação do CLIP, com os itens discretos individuados por reconhecimento de objetos e segmentação semântica subsequente. Nenhuma dessas operações funciona perto tão bem em uma instalação comum do Stable Diffusion.

Mas nada é perfeito – às vezes o sistema parece apagar e não substituir, mesmo quando (como vimos na imagem acima), o mecanismo de renderização subjacente definitivamente sabe o que um prompt de texto significa. Nesse caso, prova-se impossível transformar uma mesa de café em um xenomorph – em vez disso, a mesa simplesmente some.

Uma iteração mais assustadora de ‘Onde está Wally’, enquanto Erase and Replace falha em produzir um alienígena.

Erase and Replace parece ser um sistema de substituição de objetos eficaz, com inpainting excelente. No entanto, não pode editar objetos percebidos existentes, mas apenas substituí-los. Alterar o conteúdo de imagem existente sem comprometer o material ambiente é, argumentavelmente, uma tarefa muito mais difícil, ligada à longa luta do setor de visão computacional em direção à desentanglement nos vários espaços latentes dos frameworks populares.

Imagic

É uma tarefa que o Imagic aborda. O novo artigo oferece numerosos exemplos de edições que alteram com sucesso facetas individuais de uma foto, deixando o resto da imagem intacta.

No Imagic, as imagens alteradas não sofrem do estiramento característico, distorção e ‘suposição de oclusão’ característicos da manipulação de deepfakes, que utiliza priors limitados derivados de uma única imagem.

O sistema emprega um processo de três etapas – otimização de incorporação de texto; ajuste fino do modelo; e, finalmente, geração da imagem alterada.

O Imagic codifica o prompt de texto de destino para recuperar a incorporação de texto inicial e, em seguida, otimiza o resultado para obter a imagem de entrada. Depois disso, o modelo gerativo é ajustado para a imagem de origem, adicionando uma série de parâmetros, antes de ser submetido à interpolação solicitada.

Não é surpreendente que a estrutura seja baseada na arquitetura de texto-para-vídeo do Imagen da Google, embora os pesquisadores afirmem que os princípios do sistema são amplamente aplicáveis a modelos de difusão latente.

O Imagen usa uma arquitetura de três níveis, em vez do array de sete níveis usado para a iteração mais recente da empresa de texto-para-vídeo do software. Os três módulos distintos consistem em um modelo de difusão gerativo que opera em resolução de 64x64px; um modelo de super-resolução que dimensiona essa saída para 256x256px; e um modelo de super-resolução adicional para levar a saída até a resolução de 1024×1024.

O Imagic intervém na etapa inicial desse processo, otimizando a incorporação de texto solicitada na etapa de 64px com um otimizador Adam em uma taxa de aprendizado estática de 0,0001.

Uma aula de mestre em desentanglement: aqueles usuários que tentaram alterar algo tão simples quanto a cor de um objeto renderizado em uma difusão, GAN ou modelo NeRF saberão o quão significativo é que o Imagic possa realizar tais transformações sem ‘desmontar’ a consistência do resto da imagem.

O ajuste fino, então, ocorre no modelo base do Imagen, por 1500 etapas por imagem de entrada, condicionado na incorporação revisada. Ao mesmo tempo, a camada secundária de 64px para 256px é otimizada em paralelo na imagem condicionada. Os pesquisadores observam que uma otimização semelhante para a camada final de 256px para 1024px tem ‘pouco ou nenhum efeito’ nos resultados finais e, portanto, não a implementaram.

O artigo afirma que o processo de otimização leva aproximadamente oito minutos para cada imagem em chips TPUV4 gêmeos. A renderização final ocorre no Imagen principal sob o esquema de amostragem DDIM.

Em comum com processos de ajuste fino semelhantes para a DreamBooth da Google, as incorporações resultantes podem ser usadas adicionalmente para alimentar estilização, bem como edições fotorealistas que contenham informações extraídas do banco de dados subjacente mais amplo que alimenta o Imagen (já que, como a primeira coluna abaixo mostra, as imagens de origem não têm nenhum conteúdo necessário para efetuar essas transformações).

Movimento e edições fotorealistas flexíveis podem ser evocados por meio do Imagic, enquanto os códigos derivados e desentanglementados obtidos no processo podem ser usados para saída estilizada.

Os pesquisadores compararam o Imagic com trabalhos anteriores SDEdit, uma abordagem baseada em GAN de 2021, uma colaboração entre a Universidade de Stanford e a Universidade Carnegie Mellon; e Text2Live, uma colaboração, de abril de 2022, entre o Instituto Weizmann de Ciência e a NVIDIA.

Uma comparação visual entre Imagic, SDEdit e Text2Live.

É claro que as abordagens anteriores estão lutando, mas na linha inferior, que envolve interjectar uma mudança de pose maciça, os incumbentes falham completamente em refigurar o material de origem, em comparação com um sucesso notável do Imagic.

Os requisitos de recursos e tempo de treinamento por imagem do Imagic, embora curtos pelos padrões de tais empreendimentos, tornam-no uma inclusão improvável em um aplicativo de edição de imagem local em computadores pessoais – e não está claro até que ponto o processo de ajuste fino pode ser reduzido para níveis de consumidor.

Como está, o Imagic é uma oferta impressionante que é mais adequada para APIs – um ambiente em que a Google Research, temerosa de críticas em relação à facilitação de deepfakes, pode estar mais confortável.

Publicado pela primeira vez em 18 de outubro de 2022.