Edição de Imagens com Gaussian Splatting

Uma nova colaboração entre pesquisadores da Polônia e do Reino Unido propõe a perspectiva de usar Gaussian Splatting para editar imagens, interpretando temporariamente uma parte selecionada da imagem em um espaço 3D, permitindo que o usuário modifique e manipule a representação 3D da imagem e, em seguida, aplique a transformação.

Para alterar a orientação da cabeça do gato, a seção relevante é movida para o espaço 3D via Gaussian Splatting e, em seguida, manipulada pelo usuário. A modificação é então aplicada. O processo é análogo a várias técnicas modais em software da Adobe, que bloqueiam a interface até que um processo complexo atual seja concluído. Fonte: https://github.com/waczjoan/MiraGe/

Desde que o elemento Gaussian Splat é representado temporariamente por uma malha de triângulos e entra momentaneamente em um ‘estado CGI’, um motor de física integrado ao processo pode interpretar movimentos naturais, seja para alterar o estado estático de um objeto ou para produzir uma animação.

Um motor de física incorporado ao novo sistema MiraGe pode realizar interpretações naturais de movimento físico, seja para animações ou alterações estáticas de uma imagem.

Não há inteligência artificial gerativa envolvida no processo, o que significa que nenhum Latent Diffusion Models (LDMs) está envolvido, ao contrário do sistema Firefly da Adobe, que é treinado em Adobe Stock (anteriormente Fotolia).

O sistema – chamado MiraGe – interpreta seleções em um espaço 3D e infere geometria criando uma imagem espelhada da seleção e aproximando coordenadas 3D que podem ser incorporadas em um Splat, que então interpreta a imagem em uma malha.

Clique para reproduzir. Exemplos adicionais de elementos que foram alterados manualmente por um usuário do sistema MiraGe ou submetidos a deformações baseadas em física.

Os autores compararam o sistema MiraGe com abordagens anteriores e descobriram que ele alcança um desempenho de ponta no objetivo alvo.

Os usuários do sistema de modelagem zBrush estarão familiarizados com esse processo, pois o zBrush permite que o usuário essencialmente ‘aplique’ um modelo 3D e adicione detalhes 2D, preservando a malha subjacente e interpretando os novos detalhes nela – um ‘congelamento’ que é o oposto do método MiraGe, que opera mais como manipulações modais do Firefly ou do Photoshop, como deformações ou interpretações 3D grosseiras.

Splats Gaussianos parametrizados permitem que o MiraGe crie reconstruções de alta qualidade de áreas selecionadas de uma imagem 2D e aplique física de corpo macio à seleção temporariamente 3D.

O artigo afirma:

‘[Nós] introduzimos um modelo que codifica imagens 2D simulando a interpretação humana. Especificamente, nosso modelo percebe uma imagem 2D como um ser humano veria uma fotografia ou uma folha de papel, tratando-a como um objeto plano dentro de um espaço 3D.

‘Essa abordagem permite edição de imagem intuitiva e flexível, capturando as nuances da percepção humana enquanto permite transformações complexas.’

O novo artigo é intitulado MiraGe: Imagens 2D Editáveis usando Gaussian Splatting e vem de quatro autores da Universidade Jaguelônica de Cracóvia e da Universidade de Cambridge. O código completo do sistema foi lançado no GitHub.

Vamos dar uma olhada em como os pesquisadores abordaram o desafio.

Método

A abordagem MiraGe utiliza a parametrização Gaussian Mesh Splatting (GaMeS), uma técnica desenvolvida por um grupo que inclui dois dos autores do novo artigo. GaMeS permite que os Splats Gaussianos sejam interpretados como malhas CGI tradicionais e se tornem sujeitos à gama padrão de técnicas de deformação e modificação que a comunidade CGI desenvolveu nas últimas décadas.

MiraGe interpreta ‘Gaussians planos’ em um espaço 2D e usa GaMeS para ‘puxar’ o conteúdo para o espaço 3D habilitado por GSplat, temporariamente.

Cada Gaussian plano é representado como três pontos em uma nuvem de triângulos, chamada ‘sopa de triângulos’, abrindo a imagem inferida para manipulação. Fonte: https://arxiv.org/pdf/2410.01521

Podemos ver no canto inferior esquerdo da imagem acima que o MiraGe cria uma ‘imagem espelhada’ da seção de uma imagem a ser interpretada.

Os autores afirmam:

‘[Nós] empregamos uma abordagem inovadora que utiliza duas câmeras opostas posicionadas ao longo do eixo Y, alinhadas simetricamente em torno da origem e direcionadas uma para a outra. A primeira câmera é responsável por reconstruir a imagem original, enquanto a segunda modela a reflexão do espelho.

‘A fotografia é assim conceituada como uma folha de papel de traçado translúcido, embutida no contexto espacial 3D. A reflexão pode ser efetivamente representada por meio da inversão horizontal da [imagem]. Essa configuração de câmera de espelho melhora a fidelidade das reflexões geradas, fornecendo uma solução robusta para capturar elementos visuais com precisão.’

O artigo observa que, uma vez que essa extração tenha sido alcançada, ajustes de perspectiva que normalmente seriam desafiadores se tornam acessíveis por meio da edição direta em 3D. No exemplo abaixo, vemos uma seleção de uma imagem de uma mulher que abrange apenas o seu braço. Nesse caso, o usuário inclinou a mão para baixo de uma maneira plausível, o que seria uma tarefa desafiadora apenas movendo pixels.

Um exemplo da técnica de edição MiraGe.

Tentar fazer isso usando as ferramentas gerativas Firefly no Photoshop geralmente significaria que a mão é substituída por uma mão sintetizada, imaginada por difusão, quebrando a autenticidade da edição. Mesmo os sistemas mais capazes, como o ControlNet, um sistema auxiliar para Stable Diffusion e outros Modelos de Difusão Latente, como o Flux, lutam para alcançar esse tipo de edição em um pipeline de imagem para imagem.

Essa busca tem sido dominada por métodos que usam Representações Neurais Implícitas (INRs), como SIREN e WIRE. A diferença entre uma representação implícita e explícita é que as coordenadas do modelo não são diretamente endereçáveis em INRs, que usam uma função contínua.

Em contraste, o Gaussian Splatting oferece coordenadas cartesianas X/Y/Z explícitas e endereçáveis, mesmo usando elipses gaussianas em vez de voxels ou outros métodos de representação de conteúdo em um espaço 3D.

A ideia de usar GSplat em um espaço 2D foi apresentada com destaque, os autores observam, na colaboração acadêmica chinesa de 2024 GaussianImage, que ofereceu uma versão 2D do Gaussian Splatting, permitindo taxas de inferência de 1000fps. No entanto, esse modelo não tem implementação relacionada à edição de imagens.

Depois que a parametrização GaMeS extrai a área selecionada em uma representação Gaussian/malha, a imagem é reconstruída usando a técnica do Método de Pontos de Material (MPM) primeiro delineada em um artigo do CSAIL de 2018.

No MiraGe, durante o processo de alteração, o Gaussian Splat existe como um proxy direcionado para uma versão equivalente de malha, muito como modelos CGI 3DMM são frequentemente usados como métodos de orquestração para técnicas de renderização neural implícita, como Campos de Radiância Neural (NeRF).

No processo, objetos bidimensionais são modelados no espaço 3D e as partes da imagem que não estão sendo influenciadas não são visíveis para o usuário final, de modo que o efeito contextual das manipulações não seja aparente até que o processo seja concluído.

O MiraGe pode ser integrado ao popular programa de código aberto 3D Blender, que agora é frequentemente usado em fluxos de trabalho que incluem IA, principalmente para fins de imagem para imagem.

Um fluxo de trabalho para MiraGe no Blender, envolvendo o movimento do braço de uma figura representada em uma imagem 2D.

Os autores oferecem duas versões de uma abordagem de deformação baseada em Gaussian Splatting – Amorfo e Grafite.

A abordagem Amorfo utiliza diretamente o método GaMeS e permite que a seleção 2D extraída se mova livremente no espaço 3D, enquanto a abordagem Grafite restringe os Gaussianos ao espaço 2D durante a inicialização e o treinamento.

Os pesquisadores descobriram que, embora a abordagem Amorfo possa lidar melhor com formas complexas do que o Grafite, ‘lacerações’ ou artefatos de rachadura eram mais evidentes, onde a borda da deformação se alinha com a porção não afetada da imagem*.

Portanto, eles desenvolveram o sistema de ‘imagem espelhada’ mencionado anteriormente:

‘[Nós] empregamos uma abordagem inovadora que utiliza duas câmeras opostas posicionadas ao longo do eixo Y, alinhadas simetricamente em torno da origem e direcionadas uma para a outra.

‘A primeira câmera é responsável por reconstruir a imagem original, enquanto a segunda modela a reflexão do espelho. A fotografia é assim conceituada como uma folha de papel de traçado translúcido, embutida no contexto espacial 3D. A reflexão pode ser efetivamente representada por meio da inversão horizontal da [imagem].

‘Essa configuração de câmera de espelho melhora a fidelidade das reflexões geradas, fornecendo uma solução robusta para capturar elementos visuais com precisão.’

O artigo observa que o MiraGe pode usar motores de física externos, como os disponíveis no Blender, ou no Taichi_Elements.

Dados e Testes

Para avaliações de qualidade de imagem nos testes realizados para o MiraGe, foram usadas as métricas Relação Sinal-Ruído (SNR) e MS-SIM.

Os conjuntos de dados usados foram o Kodak Lossless True Color Image Suite e o conjunto de validação DIV2K. As resoluções desses conjuntos de dados se adequavam a uma comparação com o trabalho anterior mais próximo, Gaussian Image. As outras estruturas rivais testadas foram SIREN, WIRE, NVIDIA’s Primitivos Gráficos Neurais Instantâneos (I-NGP) e NeuRBF.

Os experimentos ocorreram em um laptop NVIDIA GEFORCE RTX 4070 e em um NVIDIA RTX 2080.

O MiraGe oferece resultados de ponta contra as estruturas anteriores escolhidas, de acordo com os resultados apresentados no novo artigo.

Sobre esses resultados, os autores afirmam:

‘Vemos que nossa proposta supera as soluções anteriores em ambos os conjuntos de dados. A qualidade medida por ambas as métricas mostra uma melhoria significativa em comparação com todas as abordagens anteriores.’

Conclusão

A adaptação do MiraGe do Gaussian Splatting 2D é claramente uma incursão nascente e tentativa em uma alternativa interessante para as incertezas e caprichos de usar modelos de difusão para efetuar modificações em uma imagem (ou seja, via Firefly e outros métodos de difusão baseados em API, e via arquiteturas de código aberto como Stable Diffusion e Flux).

Embora haja muitos modelos de difusão que possam efetuar alterações menores em imagens, os LDMs são limitados por sua abordagem semântica e frequentemente ‘superimaginativa’ para um pedido de modificação baseado em texto.

Portanto, a capacidade de puxar temporariamente parte de uma imagem para o espaço 3D, manipulá-la e substituí-la de volta na imagem, usando apenas a imagem de origem como referência, parece uma tarefa para a qual o Gaussian Splatting pode ser bem adequado no futuro.

* Há alguma confusão no artigo, pois ele cita ‘Amorfo-Miragem’ como o método mais eficaz e capaz, apesar de sua tendência a produzir Gaussianos indesejados (artefatos), enquanto argumenta que ‘Grafite-Miragem’ é mais flexível. Parece que Amorfo-Miragem obtém o melhor detalhe, e Grafite-Miragem a melhor flexibilidade. Como ambos os métodos são apresentados no artigo, com suas forças e fraquezas diversas, a preferência dos autores, se houver, não parece ser clara neste momento.

Publicado pela primeira vez na quinta-feira, 3 de outubro de 2024