Renderização Neural: NeRF Dá um Passeio no Ar Fresco

Uma colaboração entre a Google Research e a Universidade de Harvard desenvolveu um novo método para criar vídeos neurais de 360 graus de cenas completas usando Campos de Radiância Neural (NeRF). A abordagem inovadora leva o NeRF um passo mais próximo do uso abstrato casual em qualquer ambiente, sem ser restrito a modelos de mesa ou cenários interiores fechados.

Veja o vídeo completo no final do artigo. Fonte: https://www.youtube.com/watch?v=YStDS2-Ln1s

O Mip-NeRF 360 pode lidar com fundos estendidos e objetos “infinitos” como o céu, porque, ao contrário da maioria das iterações anteriores, ele estabelece limites para a forma como os raios de luz são interpretados e cria fronteiras de atenção que racionalizam os tempos de treinamento prolongados. Veja o novo vídeo anexado no final deste artigo para mais exemplos e uma visão mais aprofundada do processo.

O novo artigo é intitulado Mip-NeRF 360: Campos de Radiância Neural Anti-Aliased Ilimitados e é liderado pelo Cientista de Pesquisa Sênior da Google Research, Jon Barron.

Para entender a inovação, é necessário ter uma compreensão básica de como a síntese de imagem baseada em campos de radiância neural funciona.

O que é NeRF?

É problemático descrever uma rede NeRF em termos de “vídeo”, pois é mais próximo de um ambiente virtual 3D-realizado, mas baseado em IA, onde múltiplos pontos de vista de fotos únicas (incluindo quadros de vídeo) são usados para costurar uma cena que tecnicamente existe apenas no espaço latente de um algoritmo de aprendizado de máquina – mas do qual um número extraordinário de pontos de vista e vídeos pode ser extraído à vontade.

Uma representação dos múltiplos pontos de captura de câmera que fornecem os dados que o NeRF reúne em uma cena neural (à direita).

As informações derivadas das fotos contribuintes são treinadas em uma matriz que é semelhante a uma grade de voxel tradicional em fluxos de trabalho de CGI, na qual cada ponto no espaço 3D acaba com um valor, tornando a cena navegável.

Uma matriz de voxel tradicional coloca informações de pixel (que normalmente existem em um contexto 2D, como a grade de pixel de um arquivo JPEG) em um espaço tridimensional. Fonte: ResearchGate

Depois de calcular o espaço intersticial entre as fotos (se necessário), o caminho de cada pixel possível de cada foto contribuinte é efetivamente “ray-traced” e recebe um valor de cor, incluindo um valor de transparência (sem o qual a matriz neural seria completamente opaca ou completamente vazia).

Assim como as grades de voxel, e diferentemente do espaço de coordenadas 3D baseado em CGI, o “interior” de um objeto “fechado” não tem existência em uma matriz NeRF. Você pode dividir um kit de bateria CGI e olhar dentro; mas no que diz respeito ao NeRF, a existência do kit de bateria termina quando o valor de opacidade de sua superfície é igual a ‘1’.

Uma Visão Mais Ampliada de um Pixel

O Mip-NeRF 360 é uma extensão da pesquisa de março de 2021, que efetivamente introduziu um anti-aliasing eficiente para o NeRF sem supersampling exaustivo.

O NeRF tradicionalmente calcula apenas um caminho de pixel, o que tende a produzir o tipo de ‘jaggies’ que caracterizaram os primeiros formatos de imagem da internet, bem como sistemas de jogos anteriores. Essas bordas serrilhadas foram resolvidas por vários métodos, geralmente envolvendo a amostragem de pixels adjacentes e encontrando uma representação média.

Porque o NeRF tradicional apenas amostra esse um caminho de pixel, o Mip-NeRF introduziu uma área de captação “cônica”, como uma lanterna de feixe largo, que fornece informações suficientes sobre pixels adjacentes para produzir um anti-aliasing econômico com detalhes melhorados.

A área de captação cônica que o Mip-NeRF usa é fatiada em frustuns cônicos (imagem inferior), que é ainda mais ‘borrada’ para criar espaços gaussianos vagos que podem ser usados para calcular a precisão e aliasing de um pixel. Fonte: https://www.youtube.com/watch?v=EpH175PY1A0

A melhoria sobre uma implementação padrão do NeRF foi notável:

Mip-NeRF (à direita), lançado em março de 2021, fornece detalhes melhorados por meio de um pipeline de aliasing mais abrangente, mas econômico, em vez de apenas ‘borrar’ pixels para evitar bordas serrilhadas. Fonte: https://jonbarron.info/mipnerf/

NeRF Ilimitado

O artigo de março deixou três problemas sem solução com relação ao uso do Mip-NeRF em ambientes ilimitados que podem incluir objetos muito distantes, incluindo céus. O novo artigo resolve isso aplicando uma transformação de Kalman aos gaussianos do Mip-NeRF.

Em segundo lugar, cenas maiores exigem mais poder de processamento e tempos de treinamento prolongados, o que o Mip-NeRF 360 resolve “destilando” a geometria da cena com um pequeno “proposta” perceptron multicamada (MLP), que pré-limita a geometria prevista por um grande NeRF padrão MLP. Isso acelera o treinamento em um fator de três.

Finalmente, cenas maiores tendem a tornar a discretização da geometria interpretada ambígua, resultando no tipo de artefatos que os jogadores podem estar familiarizados quando a saída do jogo “rasga”. O novo artigo aborda isso criando um novo regularizador para os intervalos de raio do Mip-NeRF.

À direita, vemos artefatos indesejados no Mip-NeRF devido à dificuldade em limitar uma cena tão grande. À esquerda, vemos que o novo regularizador otimizou a cena o suficiente para remover essas perturbações.

Para saber mais sobre o novo artigo, confira o vídeo abaixo e também a introdução ao Mip-NeRF de março de 2021. Você também pode saber mais sobre a pesquisa NeRF verificando nossa cobertura até agora.

Publicado originalmente em 25 de novembro de 2021
21 de dezembro de 2021, 12:25 – Substituído vídeo morto. – MA