Corrigindo a Limitada Compreensão dos Modelos de Difusão sobre Espelhos e Reflexos

Desde que a inteligência artificial começou a atrair o interesse do público, o campo de pesquisa em visão computacional aprofundou seu interesse em desenvolver modelos de IA capazes de entender e replicar leis físicas; no entanto, o desafio de ensinar sistemas de aprendizado de máquina a simular fenômenos como gravidade e dinâmica de líquidos tem sido um foco significativo de esforços de pesquisa por pelo menos cinco anos.

Desde que modelos de difusão latente (LDMs) passaram a dominar a cena de IA gerativa em 2022, os pesquisadores têm se concentrado cada vez mais na capacidade limitada da arquitetura LDM de entender e reproduzir fenômenos físicos. Agora, essa questão ganhou ainda mais destaque com o desenvolvimento marcante do modelo de vídeo gerativo da OpenAI, Sora, e o lançamento (arguivelmente) mais consequente dos modelos de vídeo de código aberto Hunyuan Video e Wan 2.1.

Refletindo Mal

A maioria das pesquisas destinadas a melhorar a compreensão de LDM sobre a física se concentrou em áreas como simulação de marcha, física de partículas e outros aspectos do movimento newtoniano. Essas áreas atraíram atenção porque as inexactidões nos comportamentos físicos básicos minariam imediatamente a autenticidade de vídeos gerados por IA.

No entanto, uma pequena mas crescente linha de pesquisa se concentra em uma das maiores fraquezas dos LDMs – sua relativa incapacidade de produzir reflexos precisos.

Do artigo de janeiro de 2025 ‘Reflecting Reality: Enabling Diffusion Models to Produce Faithful Mirror Reflections’, exemplos de ‘falha de reflexão’ versus a abordagem dos próprios pesquisadores. Fonte: https://arxiv.org/pdf/2409.14677

Essa questão também foi um desafio durante a era do CGI e permanece como tal no campo de jogos de vídeo, onde algoritmos de ray-tracing simulam o caminho da luz enquanto interage com superfícies. O ray-tracing calcula como raios de luz virtuais quicam ou passam por objetos para criar reflexos, refrações e sombras realistas.

No entanto, porque cada quique adicional aumenta significativamente o custo computacional, aplicações em tempo real devem fazer um trade-off entre latência e precisão, limitando o número de quiques de raios de luz permitidos.

Uma representação de um feixe de luz virtual calculado em um cenário baseado em 3D (ou seja, CGI), usando tecnologias e princípios primeiro desenvolvidos na década de 1960 e que atingiram a maturidade entre 1982-93 (o período entre ‘Tron’ [1982] e ‘Jurassic Park’ [1993]). Fonte: https://www.unrealengine.com/en-US/explainers/ray-tracing/what-is-real-time-ray-tracing

Por exemplo, representar uma chaleira de chrome em frente a um espelho poderia envolver um processo de ray-tracing onde raios de luz quicam repetidamente entre superfícies refletoras, criando um loop quase infinito com pouco benefício prático para a imagem final. Na maioria dos casos, uma profundidade de reflexão de dois a três quiques já excede o que o espectador pode perceber. Um único quique resultaria em um espelho preto, pois a luz deve completar pelo menos duas viagens para formar uma reflexão visível.

Cada quique adicional aumenta significativamente o custo computacional, frequentemente dobrando os tempos de renderização, tornando o manejo mais rápido de reflexos uma das principais oportunidades para melhorar a qualidade de renderização com ray-tracing.

Naturalmente, reflexos ocorrem e são essenciais para a fotorealismo em cenários muito menos óbvios – como a superfície refletora de uma rua da cidade ou um campo de batalha após a chuva; a reflexão da rua oposta em uma janela de loja ou porta de vidro; ou nos óculos de personagens retratados, onde objetos e ambientes podem ser necessários para aparecer.

Um reflexo duplo simulado por meio de composição tradicional para uma cena icônica em ‘The Matrix’ (1999).

Problemas de Imagem

Por essa razão, frameworks que foram populares antes do advento dos modelos de difusão, como Campos de Radiância Neural (NeRF), e alguns desafiantes mais recentes como Gaussian Splatting mantiveram suas próprias lutas para realizar reflexos de maneira natural.

O projeto REF²-NeRF propôs um método de modelagem baseado em NeRF para cenas que contêm um caso de vidro. Nesse método, refração e reflexão foram modeladas usando elementos que dependiam e não dependiam da perspectiva do observador. Essa abordagem permitiu que os pesquisadores estimassem as superfícies onde a refração ocorreu, especificamente superfícies de vidro, e habilitou a separação e modelagem de componentes de luz direta e refletida.

Exemplos do artigo Ref2Nerf. Fonte: https://arxiv.org/pdf/2311.17116

Outras soluções para reflexos em NeRF nos últimos 4-5 anos incluíram NeRFReN, Reflecting Reality, e o projeto Planar Reflection-Aware Neural Radiance Fields da Meta em 2024.

Para GSplat, artigos como Mirror-3DGS, Reflective Gaussian Splatting, e RefGaussian ofereceram soluções relacionadas ao problema de reflexão, enquanto o projeto Nero de 2023 propôs um método personalizado para incorporar qualidades refletoras em representações neurais.

MirrorVerse

Fazer com que um modelo de difusão respeite a lógica de reflexão é, provavelmente, mais difícil do que com abordagens explicitamente estruturais e não semânticas, como Gaussian Splatting e NeRF. Em modelos de difusão, uma regra desse tipo só é provável se tornar confiavelmente incorporada se os dados de treinamento contiverem muitos exemplos variados em uma ampla gama de cenários, tornando-a fortemente dependente da distribuição e qualidade do conjunto de dados original.

Tradicionalmente, adicionar comportamentos específicos desse tipo é da alçada de uma LoRA ou do ajuste fino do modelo base; mas essas não são soluções ideais, pois uma LoRA tende a inclinar a saída em direção aos próprios dados de treinamento, mesmo sem prompt, enquanto os ajustes finos – além de serem caros – podem bifurcar um modelo principal de forma irreversível, afastando-o do mainstream, e gerar uma série de ferramentas personalizadas que nunca funcionarão com qualquer outro ramo do modelo, incluindo o original.

Em geral, melhorar modelos de difusão exige que os dados de treinamento deem maior atenção à física da reflexão. No entanto, muitas outras áreas também precisam de atenção especial semelhante. No contexto de conjuntos de dados em larga escala, onde a curação personalizada é cara e difícil, abordar todas as fraquezas dessa maneira é impraticável.

No entanto, soluções para o problema de reflexão dos LDMs surgem de vez em quando. Um esforço recente, da Índia, é o MirrorVerse projeto, que oferece um conjunto de dados aprimorado e um método de treinamento capaz de melhorar o estado da arte nesse desafio específico na pesquisa de difusão.

À direita, os resultados do MirrorVerse comparados a duas abordagens anteriores (duas colunas centrais). Fonte: https://arxiv.org/pdf/2504.15397

Como podemos ver no exemplo acima (a imagem de destaque no PDF do novo estudo), o MirrorVerse melhora as ofertas recentes que abordam o mesmo problema, mas está longe de ser perfeito.

Na imagem superior direita, vemos que os jarros de cerâmica estão um pouco à direita de onde deveriam estar, e na imagem abaixo, que tecnicamente não deveria apresentar uma reflexão da xícara, uma reflexão imprecisa foi forçada na área da mão direita, contra a lógica dos ângulos de reflexão naturais.

Portanto, vamos examinar o novo método não tanto porque ele pode representar o estado atual da arte na reflexão baseada em difusão, mas também para ilustrar a extensão com que isso pode se provar um problema intratável para modelos de difusão latente, estáticos e de vídeo, desde que os exemplos de dados de refletividade são provavelmente entrelaçados com ações e cenários específicos.

Portanto, essa função específica dos LDMs pode continuar a falhar em relação a abordagens específicas de estrutura, como NeRF, GSplat e também CGI tradicional.

O novo artigo é intitulado MirrorVerse: Empurrando Modelos de Difusão para Refletir Realisticamente o Mundo, e vem de três pesquisadores do Vision and AI Lab, IISc Bangalore, e do Samsung R&D Institute em Bangalore. O artigo tem uma página do projeto associada, bem como um conjunto de dados no Hugging Face, com código-fonte lançado no GitHub.

Método

Os pesquisadores observam desde o início a dificuldade que modelos como Stable Diffusion e Flux têm em respeitar prompts baseados em reflexos, ilustrando o problema com habilidade:

Do artigo: os atuais modelos de texto-para-imagem de ponta, SD3.5 e Flux, exibindo desafios significativos na produção de reflexos consistentes e geometricamente precisos quando solicitados a gerá-los em uma cena.

Os pesquisadores desenvolveram MirrorFusion 2.0, um modelo gerativo baseado em difusão destinado a melhorar a fotorealismo e a precisão geométrica de reflexos de espelho em imagens sintéticas. O treinamento do modelo foi baseado no próprio conjunto de dados recém-curado dos pesquisadores, intitulado MirrorGen2, projetado para abordar as fraquezas de generalização observadas em abordagens anteriores.

O MirrorGen2 expande as metodologias anteriores introduzindo posicionamento aleatório de objetos, rotações aleatorizadas, e ancoragem explícita de objetos, com o objetivo de garantir que os reflexos permaneçam plausíveis em uma ampla gama de poses e posicionamentos de objetos em relação à superfície do espelho.

Esquema para a geração de dados sintéticos no MirrorVerse: o pipeline de geração de dados aplicou augmentações-chave posicionando, rotacionando e ancorando objetos dentro da cena usando o 3D-Positioner. Os objetos também são emparelhados em combinações semanticamente consistentes para simular relações espaciais complexas e oclusões, permitindo que o conjunto de dados capture interações mais realistas em cenas de múltiplos objetos.

Para fortalecer ainda mais a capacidade do modelo de lidar com arranjos espaciais complexos, o pipeline MirrorGen2 incorpora cenas de objetos emparelhados, permitindo que o sistema represente melhor oclusões e interações entre múltiplos elementos em configurações refletoras.

O artigo afirma:

‘As categorias são emparelhadas manualmente para garantir coerência semântica – por exemplo, emparelhando uma cadeira com uma mesa. Durante a renderização, após a posição e rotação do objeto principal, um objeto adicional da categoria emparelhada é amostrado e organizado para evitar sobreposição, garantindo regiões espaciais distintas dentro da cena.’

Em relação à ancoragem explícita de objetos, aqui os autores garantiram que os objetos gerados estivessem ‘ancorados’ ao chão nos dados sintéticos de saída, em vez de ‘flutuar’ inadequadamente, o que pode ocorrer quando dados sintéticos são gerados em larga escala ou com métodos altamente automatizados.

Como a inovação no conjunto de dados é central para a novidade do artigo, procederemos mais cedo do que o usual a esta seção da cobertura.

Dados e Testes

SynMirrorV2

O conjunto de dados SynMirrorV2 dos pesquisadores foi concebido para melhorar a diversidade e o realismo dos dados de treinamento de reflexos de espelho, apresentando objetos 3D provenientes do Objaverse e Amazon Berkeley Objects (ABO) datasets, com essas seleções subsequentemente refinadas por meio do OBJECT 3DIT, bem como do processo de filtragem do projeto MirrorFusion V1, para eliminar ativos de baixa qualidade. Isso resultou em um conjunto refinado de 66.062 objetos.

Exemplos do conjunto de dados Objaverse, usados na criação do conjunto de dados curado para o novo sistema. Fonte: https://arxiv.org/pdf/2212.08051

A construção da cena envolveu colocar esses objetos em pisos texturizados do CC-Textures e fundos HDRI do repositório PolyHaven CGI, usando espelhos de parede completa ou retangulares altos. A iluminação foi padronizada com uma área-luz posicionada acima e atrás dos objetos, em um ângulo de 45 graus. Os objetos foram dimensionados para caber dentro de um cubo unitário e posicionados usando uma interseção pré-computada do espelho e da câmera frustum, garantindo visibilidade.

Rotações aleatórias foram aplicadas em torno do eixo y, e uma técnica de ancoragem foi usada para prevenir ‘artefatos flutuantes’.

Para simular cenas mais complexas, o conjunto de dados também incorporou múltiplos objetos dispostos de acordo com emparelhamentos semanticamente coerentes com base em categorias ABO. Objetos secundários foram colocados para evitar sobreposição, criando 3.140 cenas de múltiplos objetos projetadas para capturar oclusões e relações de profundidade variadas.

Exemplos de visualizações renderizadas do conjunto de dados dos autores contendo múltiplos objetos (mais de dois), com ilustrações de segmentação de objetos e visualizações de mapa de profundidade vistas abaixo.

Processo de Treinamento

Reconhecendo que o realismo sintético sozinho era insuficiente para uma generalização robusta para dados do mundo real, os pesquisadores desenvolveram um processo de aprendizado de currículo em três estágios para treinar o MirrorFusion 2.0.

No Estágio 1, os autores inicializaram os pesos de ambos os ramos de condicionamento e geração com o checkpoint v1.5 do Stable Diffusion, e ajustaram finamente o modelo no conjunto de treinamento de objetos únicos do conjunto de dados SynMirrorV2. Ao contrário do mencionado Reflecting Reality projeto, os pesquisadores não congelaram o ramo de geração. Eles então treinaram o modelo por 40.000 iterações.

No Estágio 2, o modelo foi ajustado finamente por mais 10.000 iterações no conjunto de treinamento de múltiplos objetos do SynMirrorV2, a fim de ensinar o sistema a lidar com oclusões e arranjos espaciais mais complexos encontrados em cenas realistas.

Finalmente, no Estágio 3, foram realizadas 10.000 iterações adicionais de ajuste fino usando dados do mundo real do conjunto de dados MSD, usando mapas de profundidade gerados pelo estimador de profundidade monocular Matterport3D.

Exemplos do conjunto de dados MSD, com cenas do mundo real analisadas em mapas de profundidade e segmentação. Fonte: https://arxiv.org/pdf/1908.09101

Durante o treinamento, prompts de texto foram omitidos por 20 por cento do tempo de treinamento para encorajar o modelo a fazer o uso ótimo das informações de profundidade disponíveis (ou seja, uma abordagem ‘maskada’).

O treinamento ocorreu em quatro GPUs NVIDIA A100 para todos os estágios (a especificação de VRAM não foi fornecida, embora fosse 40GB ou 80GB por cartão). Uma taxa de aprendizado de 1e^-5 foi usada com um tamanho de lote de 4 por GPU, sob o otimizador AdamW.

Esse esquema de treinamento aumenta progressivamente a dificuldade das tarefas apresentadas ao modelo, começando com cenas sintéticas mais simples e avançando em direção a composições mais desafiadoras, com a intenção de desenvolver uma transferência robusta para dados do mundo real.

Testes

Os autores avaliaram o MirrorFusion 2.0 contra o estado da arte anterior, o MirrorFusion, que serviu como baseline, e realizaram experimentos no conjunto de dados MirrorBenchV2, cobrindo cenas de objetos únicos e múltiplos.

Testes qualitativos adicionais foram realizados em amostras do conjunto de dados MSD e do conjunto de dados Google Scanned Objects (GSO).

A avaliação usou 2.991 imagens de objetos únicos de categorias vistas e não vistas, e 300 cenas de dois objetos da ABO. O desempenho foi medido usando Taxa de Sinal-Ruído de Pico (PSNR); Índice de Semelhança Estrutural (SSIM); e Semelhança de Patch de Imagem Aprendida (LPIPS) pontuações, para avaliar a qualidade de reflexo na região do espelho mascarado. Semelhança CLIP foi usada para avaliar a alinhamento textual com os prompts de entrada.

Nos testes quantitativos, os autores geraram imagens usando quatro sementes para um prompt específico e selecionaram a imagem resultante com a melhor pontuação SSIM. As duas tabelas de resultados para os testes quantitativos são mostradas abaixo.

À esquerda, resultados quantitativos para a qualidade de geração de reflexos de objetos únicos no conjunto de dados MirrorBenchV2 de objetos únicos. O MirrorFusion 2.0 superou a baseline, com os melhores resultados em negrito. À direita, resultados quantitativos para a qualidade de geração de reflexos de múltiplos objetos no conjunto de dados MirrorBenchV2 de múltiplos objetos. O MirrorFusion 2.0 treinado com múltiplos objetos superou a versão treinada sem eles, com os melhores resultados em negrito.

Os autores comentam:

‘[Os resultados] mostram que nosso método supera o método baseline e que o ajuste fino em múltiplos objetos melhora os resultados em cenas complexas.’

A maioria dos resultados, e aqueles enfatizados pelos autores, se referem a testes qualitativos. Devido às dimensões dessas ilustrações, podemos apenas reproduzir parcialmente os exemplos do artigo.

Comparação no MirrorBenchV2: a baseline falhou em manter reflexos precisos e consistência espacial, mostrando orientação de cadeira incorreta e reflexos distorcidos de múltiplos objetos, enquanto (os autores afirmam) o MirrorFusion 2.0 renderiza corretamente a cadeira e os sofás, com posição, orientação e estrutura precisas.

Desses resultados subjetivos, os pesquisadores opinam que o modelo baseline falhou em renderizar corretamente a orientação e as relações espaciais dos objetos em reflexos, frequentemente produzindo artefatos como rotação incorreta e objetos flutuantes. O MirrorFusion 2.0, treinado no SynMirrorV2, os autores afirmam, preserva a orientação correta dos objetos e a posição em cenas de objetos únicos e múltiplos, resultando em reflexos mais realistas e coerentes.

Abaixo, vemos resultados qualitativos no conjunto de dados GSO:

Comparação no conjunto de dados GSO. A baseline mal representou a estrutura do objeto e produziu reflexos incompletos e distorcidos, enquanto o MirrorFusion 2.0, os autores afirmam, preserva a integridade espacial e gera geometria, cor e detalhes precisos, mesmo em objetos fora do conjunto de treinamento.

Aqui os autores comentam:

‘O MirrorFusion 2.0 gera reflexos significativamente mais precisos e realistas. Por exemplo, na Fig. 5 (a – acima), o MirrorFusion 2.0 reflete corretamente as alças da gaveta (realçadas em verde), enquanto o modelo baseline produz uma reflexão implausível (realçada em vermelho). ‘

‘Da mesma forma, para o “caneca branca-amarela” na Fig. 5 (b), o MirrorFusion 2.0 entrega uma geometria convincente com artefatos mínimos, ao contrário da baseline, que falha em capturar a geometria e a aparência do objeto com precisão.’

O último teste qualitativo foi contra o conjunto de dados do mundo real MSD (resultados parciais mostrados abaixo):

Resultados de cenas do mundo real comparando MirrorFusion, MirrorFusion 2.0 e MirrorFusion 2.0 ajustado finamente no conjunto de dados MSD. O MirrorFusion 2.0, os autores afirmam, captura detalhes de cena complexos com mais precisão, incluindo objetos empilhados em uma mesa e a presença de múltiplos espelhos em um ambiente tridimensional. Apenas resultados parciais são mostrados aqui, devido às dimensões dos resultados no artigo original, ao qual nos referimos o leitor para resultados completos e melhor resolução.

Aqui os autores observam que, embora o MirrorFusion 2.0 tenha se saído bem nos conjuntos de dados MirrorBenchV2 e GSO, ele inicialmente lutou com cenas do mundo real complexas no conjunto de dados MSD. O ajuste fino do modelo em um subconjunto do MSD melhorou sua capacidade de lidar com ambientes bagunçados e múltiplos espelhos, resultando em reflexos mais coerentes e detalhados.

Além disso, um estudo de usuário foi realizado, onde 84% dos usuários preferiram gerações do MirrorFusion 2.0 em relação ao método baseline.

Resultados do estudo de usuário.

Como detalhes do estudo de usuário foram relegados ao apêndice do artigo, nos referimos o leitor a ele para os detalhes específicos do estudo.

Conclusão

Embora vários dos resultados mostrados no artigo sejam melhorias impressionantes em relação ao estado da arte, o estado da arte para essa busca específica é tão abismal que mesmo uma solução agregada não convincente pode sair vitoriosa com um mínimo de esforço. A arquitetura fundamental de um modelo de difusão é inimiga do aprendizado confiável e da demonstração de física consistente, de modo que o problema está mal formulado e aparentemente não inclinado a uma solução elegante.

Além disso, adicionar dados a modelos existentes já é o método padrão para remediar falhas no desempenho dos LDM, com todas as desvantagens listadas anteriormente. É razoável supor que, se conjuntos de dados de larga escala futuros derem mais atenção à distribuição (e anotação) de pontos de dados relacionados a reflexos, poderíamos esperar que os modelos resultantes lidem melhor com esse cenário.

No entanto, o mesmo é verdadeiro para muitos outros problemas nos resultados dos LDM – quem pode dizer qual deles merece mais o esforço e o dinheiro envolvidos na solução que os autores do novo artigo propõem aqui?

Publicado pela primeira vez na segunda-feira, 28 de abril de 2025. Terça-feira, 29 de abril: feita correção de gramática nos parágrafos finais.