Adobe: Reluzindo o Mundo Real com Renderização Neural

Pesquisadores da Adobe criaram um sistema de renderização neural para cenas internas do mundo real que é capaz de reluzir sofisticado, oferece uma interface em tempo real e lida com superfícies brilhantes e reflexos – um desafio notável para métodos de síntese de imagem concorrentes, como Campos de Radiância Neural (NeRF).

Aqui, uma cena do mundo real foi reconstruída a partir de várias imagens estáticas, tornando a cena navegável. Iluminação pode ser adicionada e alterada em cor e qualidade, enquanto reflexos permanecem precisos e superfícies brilhantes expressam corretamente a mudança de fontes de iluminação e/ou estilos do usuário. Fonte: https://www.youtube.com/watch?v=d3ma4opFpgM

O novo sistema permite controle sobre aspectos de iluminação de uma cena 3D real capturada em um espaço neural, incluindo sombras e reflexos, de forma semelhante ao controle oferecido pelo Photoshop.

A interface do usuário permite adicionar (e ajustar) uma fonte de iluminação a uma cena do mundo real que foi reconstruída a partir de um número escasso de fotos, e navegar livremente por ela como se fosse um cenário baseado em malha CGI.

O artigo, submetido à ACM Transactions on Graphics e intitulado Iluminação Neural Interna de Vista Livre a Partir de Estéreo Multi-Visão, é uma colaboração entre a Adobe Research e pesquisadores da Université Côte d’Azur.

Fonte: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (clique para ver a versão em alta resolução)

Assim como os Campos de Radiância Neural (NeRF), o sistema usa fotogrametria (acima à esquerda), onde a compreensão de uma cena é inferida a partir de um número limitado de fotografias, e as “visões faltantes” são treinadas por meio de aprendizado de máquina até que um modelo completo e totalmente abstrato da cena esteja disponível para interpretação ad hoc.

O sistema foi treinado inteiramente com dados sintéticos (CGI), mas os modelos 3D usados foram tratados exatamente como se uma pessoa estivesse tirando várias fotografias limitadas de uma cena real para interpretação neural. A imagem acima mostra uma cena sintética sendo reluzida, mas a visão “quarto” na imagem animada acima é derivada de fotos reais tiradas em um quarto real.

A representação implícita da cena é obtida a partir do material de origem por meio de uma Rede Neural Convolucional (CNN) e dividida em várias camadas, incluindo refletância, irradiação de fonte (radiosidade/iluminação global) e albedo.

A arquitetura do sistema de reluzimento da Adobe. O conjunto de dados de multi-visão é pré-processado e a geometria da malha 3D é gerada a partir dos dados de entrada. Quando uma nova luz deve ser adicionada, a irradiação é calculada em tempo real e a visão reluzida é sintetizada. (clique para ver a versão em alta resolução)

O algoritmo combina facetas de traçado de raios tradicional (Monte Carlo) e Renderização Baseada em Imagem (IBR, renderização neural).

Embora uma quantidade notável de pesquisas recentes sobre Campos de Radiância Neural tenha sido preocupada com a extração de geometria 3D a partir de imagens planas, a oferta da Adobe é a primeira vez que reluzimento sofisticado foi demonstrado por meio desse método.

O algoritmo também aborda outra limitação tradicional de NeRF e abordagens semelhantes, calculando um mapa de reflexão completo, onde cada parte da imagem é atribuída a um material refletivo 100%.

Texturas espelhadas mapeiam caminhos de iluminação. (clique para ver a versão em alta resolução)

Com esse mapa de refletividade integral em vigor, é possível “reduzir” a refletividade para acomodar vários níveis de reflexo em diferentes tipos de materiais, como madeira, metal e pedra. O mapa de refletividade (acima) também fornece um modelo completo para mapeamento de raios, que pode ser reutilizado para fins de ajuste de iluminação difusa.

Outras camadas no sistema de renderização neural da Adobe. (clique para ver a versão em alta resolução)

A captura inicial da cena usa 250-350 fotos RAW, a partir das quais uma malha é computada via Estéreo Multi-Visão. Os dados são resumidos em mapas de recursos de entrada 2D, que são então re-projetados na visão nova. Mudanças na iluminação são calculadas pela média das camadas difusas e brilhantes da cena capturada.

A camada de imagem espelhada é gerada por meio de um cálculo de raio único rápido (um pulso), que estima os valores originais da fonte e, em seguida, os valores de destino. Mapas que contêm informações sobre a iluminação original da cena são armazenados nos dados neurais, semelhante à forma como mapas de radiossidade são frequentemente armazenados com dados de cena CGI tradicionais.

Resolvendo Reflexos de Renderização Neural

Talvez o principal feito do trabalho seja a desconexão de informações de refletância de camadas difusas e outras na dados. O tempo de cálculo é mantido baixo, garantindo que as vistas “refletância”-habilitadas ao vivo, como espelhos, sejam calculadas apenas para a visão ativa do usuário, em vez de para a cena inteira.

Os pesquisadores afirmam que este trabalho representa a primeira vez que as capacidades de reluzimento foram combinadas com capacidades de navegação de vista livre em um único quadro para cenas que devem reproduzir superfícies refletivas realisticamente.

Alguns sacrifícios foram feitos para atingir essa funcionalidade, e os pesquisadores concordam que métodos anteriores que usam malhas por visão mais complexas demonstram geometria melhorada para objetos pequenos. As direções futuras para a abordagem da Adobe incluirão o uso de geometria por visão para melhorar esse aspecto.