Adobe: iluminando o mundo real com renderização neural

Pesquisadores da Adobe criaram um sistema de renderização neural para cenas internas do mundo real que é capaz de iluminação sofisticada, oferece uma interface em tempo real e lida com superfícies brilhantes e reflexos — um desafio notável para métodos concorrentes de síntese de imagens, como os Campos de Radiância Neural (Neural Radiance Fields - NeRF).

Aqui, uma cena do mundo real foi reconstruída a partir de várias imagens estáticas, tornando-a navegável. A iluminação pode ser adicionada e alterada em cor e qualidade, enquanto os reflexos permanecem precisos e as superfícies brilhantes expressam corretamente as mudanças nas fontes de iluminação e/ou estilos do usuário. Fonte: https://www.youtube.com/watch?v=d3ma4opFpgM

O novo sistema permite controle no estilo Photoshop, baseado em interface gráfica, sobre aspectos de iluminação de uma cena 3D real que foi capturada em um espaço neural, incluindo sombras e reflexos.

A GUI permite que um usuário adicione (e ajuste) uma fonte de iluminação a uma cena do mundo real que foi reconstruída a partir de um número esparso de fotos e navegue livremente por ela como se fosse um cenário baseado em malha no estilo CGI.

O processo de papel, submetido à ACM Transactions on Graphics e intitulado Reiluminação neural interna de ponto de vista livre do estéreo multivisualização, é uma colaboração entre Adobe Research e pesquisadores da Université Côte d'Azur.

Fonte: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (clique para ver a versão em resolução completa)

Tal como acontece com os campos de radiação neural (NeRF), o sistema usa fotogrametria (acima à esquerda), na qual a compreensão de uma cena é inferida a partir de um número limitado de fotografias, e os pontos de vista "ausentes" são treinados por meio de aprendizado de máquina até que um modelo completo e totalmente abstrato da cena esteja disponível para reinterpretação ad hoc.

O sistema foi treinado inteiramente com dados sintéticos (CGI), mas os modelos 3D utilizados foram tratados exatamente como ocorreria se uma pessoa estivesse tirando várias fotos limitadas de uma cena real para interpretação neural. A imagem acima mostra uma cena sintética sendo re-iluminada, mas a vista do "quarto" na imagem superior (animada) acima é derivada de fotos reais tiradas em um cômodo real.

A representação implícita da cena é obtida a partir do material de origem através de uma Rede Neural Convolucional (CNN), e dividida em diversas camadas, incluindo refletância, irradiância da fonte (radiosidade/iluminação global) e albedo.

A arquitetura do sistema de iluminação Adobe. O conjunto de dados de múltiplas visualizações é pré-processado e a geometria de malha 3D gerada a partir dos dados de entrada. Quando uma nova luz deve ser adicionada, a irradiância é computada em tempo real e a visualização reiluminada é sintetizada. (clique para ver a versão full-res)

O algoritmo combina facetas do traçado de raio tradicional (Monte Carlo) e renderização baseada em imagem (IBR, renderização neural).

Embora uma quantidade notável de pesquisas recentes sobre Campos de Radiância Neural tenha se preocupado com a extração de geometria 3D de imagens planas, a oferta da Adobe é a primeira vez que uma nova iluminação altamente sofisticada foi demonstrada por meio desse método.

O algoritmo também aborda outra limitação tradicional do NeRF e abordagens semelhantes, calculando um mapa de reflexão completo, onde cada parte da imagem recebe um material 100% reflexivo.

Texturas espelhadas mapeiam caminhos de iluminação. (clique para ver a versão full-res)

Com este mapa de refletividade integral implementado, é possível "reduzir" a refletividade para acomodar vários níveis de reflexão em diferentes tipos de materiais, como madeira, metal e pedra. O mapa de refletividade (acima) também fornece um modelo completo para mapeamento de raios, que pode ser reutilizado para fins de ajuste de iluminação difusa.

Outras camadas no sistema de renderização neural da Adobe. (clique para ver a versão full-res)

A captura inicial da cena usa 250-350 fotos RAW das quais uma malha é calculada via Multi-View Stereo. Os dados são resumidos em mapas de recursos de entrada 2D que são então reprojetados na nova visão. As mudanças na iluminação são calculadas pela média das camadas difusas e brilhantes da cena capturada.

A camada de imagem espelhada é gerada por meio de um cálculo rápido de espelho de raio único (um salto), que estima os valores da fonte original e, em seguida, os valores do alvo. Mapas que contêm informações sobre a iluminação original da cena são armazenados nos dados neurais, de forma semelhante à forma como os mapas de radiosidade são frequentemente armazenados com dados de cena CGI tradicionais.

Resolvendo reflexões de renderização neural

Talvez a principal conquista do trabalho seja a dissociação das informações de reflectância das camadas difusas e outras camadas dos dados. O tempo de cálculo é reduzido, garantindo que visualizações ativas com "refletância", como espelhos, sejam calculadas apenas para a visualização ativa do usuário, e não para a cena inteira.

Os pesquisadores afirmam que este trabalho representa a primeira vez que os recursos de reiluminação foram combinados com os recursos de navegação de visualização livre em uma única estrutura para cenas que devem reproduzir superfícies reflexivas de forma realista.

Alguns sacrifícios foram feitos para alcançar essa funcionalidade, e os pesquisadores admitem que métodos anteriores que usam malhas por visualização mais complexas demonstram geometria aprimorada para objetos pequenos. Direções futuras para a abordagem da Adobe incluirão o uso de geometria por visualização para melhorar esse aspecto.