Adobe: iluminando o mundo real com renderização neural

Pesquisadores da Adobe criaram um sistema de renderização neural para cenas internas do mundo real que é capaz de reiluminação sofisticada, oferece uma interface em tempo real e lida com superfícies e reflexos brilhantes – um desafio notável para métodos concorrentes de síntese de imagem, como Neural Radiance Fields (NeRF). .

Aqui, uma cena do mundo real foi reconstruída a partir de várias imagens estáticas, tornando a cena navegável. A iluminação pode ser adicionada e alterada em cor e qualidade, enquanto os reflexos permanecem precisos e as superfícies brilhantes expressam corretamente a mudança do usuário nas fontes de iluminação e/ou estilos. Fonte: https://www.youtube.com/watch?v=d3ma4opFpgM

O novo sistema permite o controle no estilo do Photoshop e guiado por GUI sobre os aspectos de iluminação de uma cena 3D real que foi capturada em um espaço neural, incluindo sombras e reflexos.

A GUI permite que um usuário adicione (e ajuste) uma fonte de iluminação a uma cena do mundo real que foi reconstruída a partir de um número esparso de fotos e navegue livremente por ela como se fosse um cenário baseado em malha no estilo CGI.

A papel, submetido à ACM Transactions on Graphics e intitulado Reiluminação neural interna de ponto de vista livre do estéreo multivisualização, é uma colaboração entre Adobe Research e pesquisadores da Université Côte d'Azur.

Fonte: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (clique para ver a versão em resolução completa)

Tal como acontece com os campos de radiação neural (NeRF), o sistema usa fotogrametria (acima, à esquerda), em que a compreensão de uma cena é inferida a partir de um número limitado de fotografias, e os pontos de vista “ausentes” treinados por meio de aprendizado de máquina até que um modelo completo e totalmente abstraído da cena esteja disponível para anúncio. hoc reinterpretação.

O sistema foi treinado inteiramente em dados sintéticos (CGI), mas os modelos 3D usados ​​foram tratados exatamente como ocorreria se uma pessoa estivesse tirando várias fotos limitadas de uma cena real para interpretação neural. A imagem acima mostra uma cena sintética sendo iluminada novamente, mas a visão do 'quarto' na imagem superior (animada) acima é derivada de fotos reais tiradas em uma sala real.

A representação implícita da cena é obtida a partir do material de origem através de uma Rede Neural Convolucional (CNN), e dividida em diversas camadas, incluindo refletância, irradiância da fonte (radiosidade/iluminação global) e albedo.

A arquitetura do sistema de iluminação Adobe. O conjunto de dados de múltiplas visualizações é pré-processado e a geometria de malha 3D gerada a partir dos dados de entrada. Quando uma nova luz deve ser adicionada, a irradiância é computada em tempo real e a visualização reiluminada é sintetizada. (clique para ver a versão full-res)

O algoritmo combina facetas do traçado de raio tradicional (Monte Carlo) e renderização baseada em imagem (IBR, renderização neural).

Embora uma quantidade notável de pesquisas recentes sobre Neural Radiance Fields tenha se preocupado com a extração de geometria 3D de imagens planas, a oferta da Adobe é a primeira vez que uma reiluminação altamente sofisticada foi demonstrada por meio desse método.

O algoritmo também aborda outra limitação tradicional do NeRF e abordagens semelhantes, calculando um mapa de reflexão completo, onde cada parte da imagem recebe um material 100% reflexivo.

Texturas espelhadas mapeiam caminhos de iluminação. (clique para ver a versão full-res)

Com este mapa de refletividade integrado, é possível "diminuir" a refletividade para acomodar vários níveis de reflexão em diferentes tipos de materiais, como madeira, metal e pedra. O mapa de refletividade (acima) também fornece um modelo completo para mapeamento de raios, que pode ser reutilizado para fins de ajuste de iluminação difusa.

Outras camadas no sistema de renderização neural da Adobe. (clique para ver a versão full-res)

A captura inicial da cena usa 250-350 fotos RAW das quais uma malha é calculada via Multi-View Stereo. Os dados são resumidos em mapas de recursos de entrada 2D que são então reprojetados na nova visão. As mudanças na iluminação são calculadas pela média das camadas difusas e brilhantes da cena capturada.

A camada de imagem espelhada é gerada por meio de um cálculo rápido de espelho de raio único (um ressalto), que estima os valores de origem originais e, em seguida, os valores de destino. Os mapas que contêm informações sobre a iluminação original da cena são armazenados nos dados neurais, de maneira semelhante à forma como os mapas de radiosidade são frequentemente armazenados com dados de cena CGI tradicionais.

Resolvendo reflexões de renderização neural

Talvez a principal conquista do trabalho seja o desacoplamento das informações de refletância das camadas difusas e outras nos dados. O tempo de cálculo é mantido baixo, garantindo que as exibições ativadas por 'refletância' ao vivo, como espelhos, sejam calculadas apenas para a exibição ativa do usuário, e não para a cena inteira.

Os pesquisadores afirmam que este trabalho representa a primeira vez que os recursos de reiluminação foram combinados com os recursos de navegação de visualização livre em uma única estrutura para cenas que devem reproduzir superfícies reflexivas de forma realista.

Alguns sacrifícios foram feitos para alcançar essa funcionalidade, e os pesquisadores admitem que métodos anteriores que usam malhas por visualização mais complexas demonstram geometria aprimorada para objetos pequenos. Direções futuras para a abordagem da Adobe incluirão o uso de geometria por visualização para melhorar esse aspecto.