Inteligência artificial
Reiluminação de Campos de Radiância Neurais com qualquer Mapa de Ambiente
Um novo artigo do Instituto Max Planck e do MIT propôs uma técnica para obter uma verdadeira desvinculação do conteúdo dos Campos de Radiância Neurais (NeRF) da iluminação presente quando os dados foram coletados, permitindo que mapas de ambiente ad hoc mudem completamente a iluminação em uma cena NeRF:
A nova técnica aplicada a dados reais. É notável que o método funciona mesmo em dados arquivados deste tipo, que não levaram em consideração o novo pipeline quando os dados foram capturados. Apesar disso, é obtido um controle de iluminação realista e especificado pelo usuário. Fonte: https://arxiv.org/pdf/2207.13607.pdf
A nova abordagem usa o popular programa de animação 3D de código aberto Blender para criar um ‘palco de luz virtual’, onde numerous iterações de possíveis cenários de iluminação são renderizadas e eventualmente treinadas em uma camada especial no modelo NeRF que pode acomodar qualquer mapa de ambiente que o usuário deseje usar para iluminar a cena.
Uma representação da parte do pipeline que utiliza o Blender para criar vistas de palco de luz virtual da geometria extraída. Métodos anteriores que seguem linhas semelhantes usaram palcos de luz reais para fornecer esses dados, o que é um requisito oneroso para objetos discretos e um impossível para vistas de ambiente exterior. No canto superior esquerdo das duas imagens da direita, podemos ver os mapas de ambiente que ditam a iluminação da cena. Esses podem ser criados arbitrariamente pelo usuário final, trazendo o NeRF um estágio mais próximo da flexibilidade de uma abordagem de CGI moderna.
A abordagem foi testada contra o framework de renderização inversa Mitsuba2 e também contra trabalhos anteriores PhySG, RNR, Neural-PIL e NeRFactor, utilizando apenas um modelo de iluminação direta, e obteve as melhores pontuações:
Resultados da nova técnica, comparados com abordagens semelhantes sob várias funções de perda. Os pesquisadores alegam que sua abordagem produz métodos de alta qualidade, com os resultados avaliados por meio da Razão de Sinal-Ruído de Pico (PSNR), Medida de Similaridade Estrutural (SSIM) e a eficaz, embora excêntrica, Similaridade de Imagem de Patch Aprendida (LPIPS).
