Renderização Neural: NeRF dá um passeio no ar fresco

Uma colaboração entre o Google Research e a Universidade de Harvard desenvolveu um novo método para criar vídeo neural de 360 ​​graus de cenas completas usando Campos de radiância neural (NeRF). A nova abordagem leva o NeRF um passo mais perto do uso abstrato casual em qualquer ambiente, sem se restringir a modelos de mesa or cenários interiores fechados.

Veja o final do artigo para o vídeo completo. Fonte: https://www.youtube.com/watch?v=YStDS2-Ln1s

O Mip-NeRF 360 pode lidar com fundos estendidos e objetos 'infinitos' como o céu, porque, ao contrário da maioria das iterações anteriores, ele estabelece limites na forma como os raios de luz são interpretados e cria limites de atenção que racionalizam os longos tempos de treinamento. Veja o novo vídeo de acompanhamento incorporado no final deste artigo para obter mais exemplos e uma visão ampliada do processo.

A novo papel é intitulado Mip-NeRF 360: Campos de radiância neural anti-aliased ilimitados, e é liderado pelo cientista de pesquisa sênior da Google Research, Jon Barron.

Para entender o avanço, é necessário ter uma compreensão básica de como funciona a síntese de imagem baseada em campo de radiância neural.

O que é NeRF?

É problemático descrever uma rede NeRF em termos de um 'vídeo', já que está mais próximo de um totalmente realizado em 3D, mas Baseado em IA ambiente virtual, onde vários pontos de vista de fotos únicas (incluindo quadros de vídeo) são usados ​​para unir uma cena que tecnicamente existe apenas no espaço latente de um algoritmo de aprendizado de máquina – mas da qual um número extraordinário de pontos de vista e vídeos pode ser extraído à vontade .

Uma representação dos vários pontos de captura da câmera que fornecem os dados que o NeRF reúne em uma cena neural (foto à direita).

As informações derivadas das fotos de contribuição são treinadas em uma matriz semelhante a uma matriz tradicional grade de voxel em fluxos de trabalho CGI, em que cada ponto no espaço 3D termina com um valor, tornando a cena navegável.

Uma matriz de voxels tradicional coloca informações de pixel (que normalmente existem em um contexto 2D, como a grade de pixels de um arquivo JPEG) em um espaço tridimensional. Fonte: ResearchGate

Depois de calcular o espaço intersticial entre as fotos (se necessário), o caminho de cada pixel possível de cada foto contribuinte é efetivamente 'rastreado por raios' e atribuído um valor de cor, incluindo um valor de transparência (sem o qual a matriz neural seria completamente opaca, ou completamente vazio).

Como grades de voxels, e ao contrário Espaço de coordenadas 3D baseado em CGI, o 'interior' de um objeto 'fechado' não existe em uma matriz NeRF. Você pode abrir um kit de bateria CGI e olhar para dentro, se quiser; mas no que diz respeito ao NeRF, a existência do kit de bateria termina quando o valor de opacidade de sua superfície é igual a '1'.

Uma visão mais ampla de um pixel

O Mip-NeRF 360 é uma extensão do pesquisa de março de 2021, que efetivamente introduziu anti-aliasing eficiente para NeRF sem supersampling exaustivo.

NeRF tradicionalmente calcula apenas um caminho de pixel, que tende a produzir o tipo de 'jaggies' que caracterizou os primeiros formatos de imagem da Internet, bem como sistemas de jogos anteriores. Essas bordas irregulares foram resolvidas por vários métodos, geralmente envolvendo a amostragem de pixels adjacentes e a descoberta de uma representação média.

Como o NeRF tradicional apenas amostra esse caminho de um pixel, o Mip-NeRF introduziu uma área de captação 'cônica', como uma tocha de feixe largo, que fornece informações suficientes sobre adjacente pixels para produzir antialiasing econômico com detalhes aprimorados.

A captação do cone cônico que o Mip-NeRF usa é dividida em troncos cônicos (imagem inferior), que são ainda mais "desfocados" para criar espaços gaussianos vagos que podem ser usados ​​para calcular a precisão e o aliasing de um pixel. Fonte: https://www.youtube.com/watch?v=EpH175PY1A0

A melhoria em relação a uma implementação NeRF padrão foi notável:

O Mip-NeRF (à direita), lançado em março de 2021, fornece detalhes aprimorados por meio de um pipeline de aliasing mais abrangente, mas econômico, em vez de apenas 'desfocar' os pixels para evitar bordas irregulares. Fonte: https://jonbarron.info/mipnerf/

NeRF ilimitado

O artigo de março deixou três problemas sem solução com relação ao uso do Mip-NeRF em ambientes ilimitados que podem incluir objetos muito distantes, incluindo céus. O novo artigo resolve isso aplicando uma estilo Kalman warp para os Gaussianos Mip-NeRF.

Em segundo lugar, cenas maiores requerem maior poder de processamento e tempos de treinamento estendidos, que o Mip-NeRF 360 resolve 'destilando' a geometria da cena com uma pequena 'proposta' perceptron multicamadas (MLP), que pré-limita a geometria prevista por um grande padrão NeRF MLP. Isso acelera o treinamento por um fator de três.

Finalmente, cenas maiores tendem a tornar a discretização da geometria interpretada ambígua, resultando no tipo de artefatos com os quais os jogadores podem estar familiarizados quando a saída do jogo 'rasga'. O novo artigo aborda isso criando um novo regularizador para intervalos de raios Mip-NeRF.

À direita, vemos artefatos indesejados no Mip-NeRF devido à dificuldade de delimitar uma cena tão grande. À esquerda, vemos que o novo regularizador otimizou a cena o suficiente para remover essas perturbações.

Para saber mais sobre o novo papel, confira o vídeo abaixo, e também o Apresentação do vídeo de março de 2021 para Mip-NeRF. Você também pode descobrir mais sobre a pesquisa NeRF, verificando nossa cobertura até agora.

Publicado originalmente em 25 de novembro de 2021
21 de dezembro de 2021, 12h25 – Vídeo morto substituído. - MA