Reiluminação de Campos de Radiância Neural com qualquer Mapa de Ambiente

Um novo artigo do Instituto Max Planck e do MIT propôs uma técnica para obter uma verdadeira desentanglement do conteúdo dos Campos de Radiância Neural (NeRF) da iluminação presente quando os dados foram coletados, permitindo que mapas de ambiente ad hoc sejam completamente substituídos pela iluminação em uma cena NeRF:

A nova técnica aplicada a dados reais. É notável que o método funciona mesmo em dados arquivados deste tipo, que não levaram em conta a nova pipeline quando os dados foram coletados. Apesar disso, é obtido um controle de iluminação realista e especificado pelo usuário. Fonte: https://arxiv.org/pdf/2207.13607.pdf

A nova abordagem usa o popular programa de animação 3D em código aberto Blender para criar um ‘palco de luz virtual’, onde numerous iterações de cenários de iluminação possíveis são renderizadas e eventualmente treinadas em uma camada especial no modelo NeRF que pode acomodar qualquer mapa de ambiente que o usuário deseje empregar para iluminar a cena.

Uma representação da parte da pipeline que utiliza o Blender para criar vistas de palco de luz virtuais da geometria extraída. Métodos anteriores que seguem linhas semelhantes usaram palcos de luz reais para fornecer esses dados, o que é um requisito oneroso para objetos discretos e impossível para vistas de ambiente exterior. No canto superior esquerdo das duas imagens da direita, podemos ver os mapas de ambiente que ditam a iluminação da cena. Esses podem ser criados arbitrariamente pelo usuário final, trazendo o NeRF um estágio mais próximo da flexibilidade de uma abordagem de CGI moderna.

A abordagem foi testada contra o Mitsuba2 framework de renderização inversa, e também contra trabalhos anteriores PhySG, RNR, Neural-PIL e NeRFactor, empregando apenas um modelo de iluminação direta, e obteve as melhores pontuações:

Resultados da nova técnica, comparados com abordagens comparáveis sob várias funções de perda. Os pesquisadores afirmam que sua abordagem produz métodos de alta qualidade, com os resultados avaliados por meio da Razão de Sinal para Ruído de Pico (PSNR), Índice de Semelhança Estrutural (SSIM) e a eficaz, embora excêntrica, Semelhança de Patch de Imagem Aprendida (LPIPS).

O artigo afirma:

‘Nossos resultados qualitativos e quantitativos demonstram um passo claro à frente em termos de recuperação de parâmetros de cena, bem como a síntese de qualidade de nossa abordagem sob novas vistas e condições de iluminação, em comparação com o estado da arte anterior.’

Os pesquisadores afirmam que eventualmente lançarão o código do projeto.

A Necessidade de Editabilidade do NeRF

Esse tipo de desentanglement provou ser um desafio notável para os pesquisadores dos Campos de Radiância Neural, pois o NeRF é essencialmente uma técnica de fotogrametria que calcula o valor de pixel de milhares de caminhos possíveis a partir de um ponto de vista, atribuindo valores RGBD e montando uma matriz desses valores em uma representação volumétrica. Em sua essência, o NeRF é definido pela iluminação.

De fato, apesar de suas impressionantes visualizações e adocção lavada pela NVIDIA (NVDA ), o NeRF é notavelmente ‘rígido’ – em termos de CGI, ‘assado’. Portanto, a comunidade de pesquisa tem se concentrado em melhorar sua tractabilidade e versatilidade nesse aspecto nos últimos 12-18 meses.

Em termos de significado, as apostas para esse tipo de marco são altas e incluem a possibilidade de transformar a indústria de efeitos visuais de um modelo criativo e colaborativo centrado na geração de malha, dinâmica de movimento e texturização, para um modelo construído em torno de renderização inversa, onde a pipeline de efeitos visuais é alimentada por fotos do mundo real de coisas reais (ou mesmo, concebivelmente, de modelos reais e sintetizados), em vez de aproximações artesanais estimadas.

Por agora, há relativamente pouca causa para preocupação entre a comunidade de efeitos visuais, pelo menos em relação aos Campos de Radiância Neural. O NeRF tem apenas habilidades nascentes em termos de rigging, nesting, controle de profundidade, articulação… e certamente também em relação à iluminação. O vídeo acompanhante para outro novo artigo, que oferece deformações rudimentares para a geometria do NeRF, ilustra o enorme abismo entre o estado atual da arte em CGI e os esforços seminais das técnicas de renderização neural.

Selecionando os Elementos

No entanto, desde que é necessário começar em algum lugar, os pesquisadores do novo artigo adotaram o CGI como um mecanismo de controle e produção intermediário, agora uma abordagem comum em direção aos espaços latentes rígidos dos GANs e às redes lineares quase impenetráveis do NeRF.

Efetivamente, o desafio central é computar iluminação global (GI, que não tem aplicabilidade direta na renderização neural) em uma Transferência de Radiância Pré-Computada (PRT, que pode ser adaptada para renderização neural) cálculo.

GI é uma técnica de renderização CGI venerável que modela a forma como a luz quica em superfícies e em outras superfícies, e incorpora essas áreas de luz refletida em uma renderização, para adicionar realismo.

PRT é usado como uma função de iluminação intermediária na nova abordagem, e o fato de que é um componente discreto e editável é o que alcança o desentanglement. O novo método modela o material do objeto NeRF com um PRT aprendido.

A iluminação real da cena dos dados originais é recuperada como um mapa de ambiente no processo, e a geometria da cena em si é extraída como um Campo de Distância Assinado (SDF) que eventualmente fornecerá uma malha tradicional para o Blender operar no palco de luz virtual.

Uma visão geral da pipeline para a nova técnica.

A primeira etapa no processo é extrair a geometria da cena a partir das imagens de múltiplas vistas por meio da reconstrução de superfície implícita, via técnicas usadas na colaboração de pesquisa NeuS de 2021.

Para desenvolver um campo de transferência de radiância neural (NRTF, que acomodará os dados de iluminação), os pesquisadores usaram o rastreador de caminho diferenciável Mitsuba 2.

Isso facilita a otimização conjunta de uma função de distribuição de espalhamento bidirecional (BSDF), bem como a geração de um mapa de ambiente inicial. Uma vez que o BSDF é criado, o rastreador de caminho pode ser usado no Blender (veja o vídeo incorporado acima) para criar renderizações de cena virtuais de uma luz de cada vez (OLAT).

O NRTF é então treinado com uma perda combinada entre efeitos de material fotorealistas e dados sintéticos, que não estão entrelaçados entre si.

Uma comparação com o predecessor NeRFactor, nos desafios da síntese de vista nova e reiluminação.

O Caminho para a Iluminação

Os requisitos de treinamento para essa técnica, embora notavelmente menores do que os tempos de treinamento originais do NeRF, não são insignificantes. Em um NVIDIA Quadro RTX 8000 com 48GB de VRAM, o treinamento preliminar para a estimativa inicial de luz e textura leva 30 minutos; o treinamento OLAT (ou seja, o treinamento das capturas do palco de luz virtual) leva oito horas; e a otimização conjunta final entre os dados sintéticos e reais desentrelaçados leva mais 16 horas para atingir a qualidade ótima.

Além disso, a representação neural resultante não pode ser executada em tempo real, levando, de acordo com os pesquisadores, ‘vários segundos por quadro’.

Os pesquisadores concluem:

‘Nossos resultados demonstram uma melhoria clara sobre o estado da arte atual, enquanto o trabalho futuro pode envolver a melhoria adicional do tempo de execução e uma razão conjunta de geometria, material e iluminação da cena.’

Publicado pela primeira vez em 28 de julho de 2022.