O NeRF Dá Mais um Passo em Direção a Substituir a CGI

Pesquisadores do MIT e do Google deram um grande passo para resolver um dos principais obstáculos para uma tecnologia emergente impulsionada por IA que pode eventualmente substituir a CGI – separar a imagem de campo de radiação neural (NeRF) em seus componentes visuais constituintes, para que a imagem possa ser retexturizada e reluzida.

A nova abordagem, chamada NeRFator, divide efetivamente a imagem capturada em normais por objeto (nos quais as texturas podem ser atribuídas), visibilidade da luz, albedo (a proporção de luz incidente que é refletida para longe de uma superfície) e Funções de Distribuição de Reflexão Bidirecional (BRDFs).

Com esses aspectos isolados, é possível não apenas substituir texturas para objetos ou grupos de objetos individuais, mas também adicionar fontes de luz e implementações de sombra novas e únicas, descontando qualquer uma que tenha sido capturada pelos arrays de câmera múltiplos que geram a entrada para a imagem NeRF.

Normais, visibilidade, albedo e BRDF separados sob NeRFator. Fonte: https://www.youtube.com/watch?v=UUVSPJlwhPg

O modelo suporta sombras suaves ou duras de fontes de luz arbitrárias e definidas pelo usuário, e separa os quatro aspectos da vídeo capturada programaticamente, usando uma perda de reconstrução, dados de cálculos anteriores de BRDF e uma regularização de suavidade simples.

Fluxo de trabalho do NeRFator, extrair separadamente facetas ação de imagens derivadas de arrays de câmera múltiplos. Fonte: https://arxiv.org/pdf/2106.01970.pdf

O NeRFator usa uma sonda de luz HDR, uma abordagem bem estabelecida que tem permeado a cena industrial e artística visual desde sua introdução em 1998, para avaliar possíveis rotas para raios, o que permite iluminação arbitrária. Como isso gera um número incontrolável de parâmetros possíveis, a sonda de luz é filtrada por uma rede perceptron multicamada (MLP), que mapeia a geometria percebida para a sonda sem tentar calcular um mapa de volume de iluminação completo para o espaço do modelo.

Dois modelos de campo de radiação neural são usados para demonstrar cinco modelos de iluminação possíveis sob NeRFator. Clique na imagem para uma resolução mais alta.

Motivo para Reflexão

A nova pesquisa é talvez mais significativa ao separar as camadas de imagens capturadas que controlam a reflexão. Isso permanece um dos maiores desafios para a imagem de campo de radiação neural, pois um sistema NeRF verdadeiramente novo e flexível precisará não apenas ser capaz de substituir texturas, mas crucialmente precisará de alguma forma refletir objetos em movimento (além dos ambientes fixos gerais) que normalmente seriam contabilizados em um fluxo de trabalho de CGI.

Essa questão foi notada recentemente em relação à impressionante nova pesquisa da Intel sobre transformar imagens de jogos de vídeo em vídeo fotorealístico por meio de redes neurais convolucionais. Em tais fluxos de trabalho, muitos aspectos “assados” do material de origem precisariam se tornar discretos e trocáveis, e isso é arguivelmente mais fácil de resolver para a reiluminação (que é uma função da geometria sendo renderizada em NeRF) do que para as reflexões (que utilizam geometria “fora da tela” que está completamente fora do escopo do modelo).

Portanto, isolar as camadas no vídeo NeRF que facilitam a reflexão traz o NeRF um passo mais perto de resolver seu desafio de reflexão.

O uso de um ambiente HDR já resolve o problema de gerar reflexos de ambiente do mundo (ou seja, céus, paisagens e outros fatores ambientais “fixos”), mas novas abordagens serão necessárias para introduzir reflexos dinâmicos e em movimento.

Fotogrametria com NeRF

A imagem de campo de radiação neural usa análise de aprendizado de máquina para desenvolver um espaço completamente volumétrico a partir de uma cena ou objeto que foi capturado de vários ângulos.

Os vários esquemas baseados em NeRF que surgiram no último ano usaram uma variedade de dispositivos de câmera contribuintes; alguns usam 16 ou mais câmeras, outros tão poucos quanto um ou dois. Em todos os casos, os pontos de vista intermediários são “preenchidos” (ou seja, interpretados) para que a cena ou objeto possa ser navegado fluidamente.

A entidade resultante é um espaço completamente volumétrico, com uma compreensão intrínseca de 3D que pode ser explorada de muitas maneiras, incluindo a capacidade de gerar malhas de CG tradicionais a partir da soma 3D-parsada das imagens de entrada.

NeRF no Contexto de um ‘Novo CGI’

A imagem de campo de radiação neural é desenhada diretamente a partir de imagens do mundo real, incluindo imagens em movimento de pessoas, objetos e cenas. Em contraste, uma metodologia de CGI “estuda” e interpreta o mundo, exigindo trabalhadores qualificados para construir malhas, rigs e texturas que façam uso de imagens do mundo real (ou seja, capturas faciais e ambientais). Ela permanece uma abordagem essencialmente interpretativa e artesanal que é cara e trabalhosa.

Além disso, a CGI teve problemas contínuos com o efeito “vale da estranheza” em seus esforços para recriar semelhanças humanas, o que não apresenta nenhuma restrição a uma abordagem impulsionada por NeRF, que simplesmente captura vídeo ou imagens de pessoas reais e as manipula.

Além disso, o NeRF pode gerar geometria de malha de estilo CGI tradicional diretamente a partir de fotos, se necessário, e, em essência, suplanta muitos dos procedimentos manuais que sempre foram necessários na imagem gerada por computador.

Desafios para NeRF

Essa última pesquisa do MIT e do Google vem no contexto de uma verdadeira enchente de artigos de NeRF nos últimos anos, muitos dos quais ofereceram soluções para os vários desafios lançados pelo artigo inicial de 2020.

Em abril, uma inovação de um consórcio de pesquisa chinês forneceu uma maneira de isoladamente isolar as cronologias individuais de facetas em uma cena NeRF, incluindo pessoas.

O consórcio de pesquisa chinês permite que os usuários finais copiem, colam e redimensionem elementos capturados, desentrelaçando-os da linha do tempo linear do vídeo de origem. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Essa abordagem não apenas permite reimaginar a cena de qualquer ângulo capturado pelo array de câmera (e não apenas a vista única representada em uma captura de vídeo típica), mas também permite uma composição versátil – e até mesmo a capacidade de representar duas facetas do mesmo footage que estão executando em seus próprios quadros de tempo individuais (ou até mesmo executando para trás, se necessário).

O consórcio de pesquisa chinês permite que os usuários finais copiem, colam e redimensionem elementos capturados, desentrelaçando-os da linha do tempo linear do vídeo de origem. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Um dos maiores desafios para o NeRF é reduzir os recursos consideráveis necessários para treinar uma cena, e isso foi abordado em vários artigos recentes. Por exemplo, o Instituto Max Planck para Sistemas Inteligentes recentemente introduziu o KiloNeRF, que não apenas acelera os tempos de renderização por um fator de 1000, mas até mesmo permite que o NeRF opere interativamente.

KiloNeRF executando um ambiente interativo a 50fps em um GTX 1080ti. Fonte: https://github.com/creiser/kilonerf

No entanto, a inovação de velocidade do NeRF que realmente capturou a imaginação dos pesquisadores e do público em 2021 foi a colaboração PlenOctrees, liderada pela UC Berkeley, que oferece renderização em tempo real de Campos de Radiação Neural:

O efeito das capacidades interativas do PlenOctrees foi reproduzido em uma interface baseada na web.

Movimento interativo ao vivo de um objeto PlenOctrees no Firefox (o movimento é mais suave e dinâmico do que este GIF representa). Fonte: http://alexyu.net/plenoctrees/demo/

Além disso, o Recursive-NeRF (de um artigo de maio de 2021 por pesquisadores da Universidade Tsinghua) oferece renderização recursiva de alta qualidade sob demanda. Em vez de obrigar o usuário a renderizar cenas inteiras, incluindo partes que podem não ser vistas, o Recursive-NeRF fornece algo semelhante à compressão com perda do JPEG, e pode gerar sub-NeRFs discretos para lidar com imagens extras sob demanda – alcançando uma economia enorme de recursos computacionais.

Mantendo detalhes enquanto descarta cálculos de renderização desnecessários com Recursive-NeRF. Clique na imagem para uma resolução mais alta. Fonte: https://arxiv.org/pdf/2105.09103.pdf

Outras abordagens incluem o FastNeRF, que afirma alcançar renderização neural de alta fidelidade a 200fps.

Foi observado que muitas das técnicas de otimização para o NeRF envolvem ‘assar’ a cena, comprometendo-se com aspectos que são desejados para serem renderizados e descartando outras facetas, o que limita a exploração, mas acelera muito a interatividade.

A desvantagem disso é que a pressão se move da GPU para o armazenamento, porque cenas “assadas” ocupam uma quantidade inimaginável de espaço em disco; até certo ponto, isso pode ser mitigado reduzindo a resolução dos dados “assados”, embora isso também envolva um certo compromisso, em termos de fechar caminhos de exploração ou interatividade.

Com relação à captura de movimento e rigging, uma nova abordagem das universidades Zheijang e Cornell, revelada em maio, ofereceu um método para recriar humanos animáveis usando campos de peso de mistura e estruturas de esqueleto interpretadas a partir do vídeo de entrada:

Estrutura de esqueleto derivada em Animatable NeRF. Fonte: https://www.youtube.com/watch?v=eWOSWbmfJo4

Quando o NeRF Terá seu Momento ‘Parque Jurássico’?

Apesar do ritmo acelerado de progresso com a síntese de imagem por meio de campos de radiação neural, é apenas nesse período que algum tipo de “lei da termodinâmica” será estabelecido para como o NeRF pode se tornar implantável. Em termos de uma linha do tempo análoga à história da CGI, o NeRF está atualmente pairando em torno de 1973, logo antes do primeiro uso da CGI em Westworld.

Isso não significa que o NeRF precisará necessariamente esperar nove anos por seu equivalente marco Wrath Of Khan, ou décadas para as quebras de barreira que a CGI alcançou sob o patrocínio entusiástico de James Cameron em 1989 em The Abyss ou 1991 em Terminator 2 – e então, o momento de quebra de barreira da tecnologia em 1993 em Parque Jurássico.

A cena de imagem mudou muito desde o longo período de estagnação para efeitos visuais fotoquímicos, que dominou a produção de cinema e televisão desde o nascimento do cinema até os anos 90. O advento da revolução do PC e a aceleração da lei de Moore levaram à revolução da CGI, que de outra forma poderia ter ocorrido tão cedo quanto os anos 60.

Permanece para ser visto se há alguma barreira tão implacável que possa segurar o progresso do NeRF por tanto tempo – e se inovações subsequentes na visão computacional não poderiam, no entanto, superar completamente o NeRF como o principal concorrente para a coroa da CGI, caracterizando os campos de radiação neural como a “máquina de fax” de curta duração da síntese de imagem neural.

Até agora, o NeRF não foi usado em nenhum contexto fora da pesquisa acadêmica; mas é notável que grandes jogadores, como a Google Research, e muitos dos principais laboratórios de pesquisa de visão computacional estão competindo para a última quebra do NeRF.

Muitos dos maiores obstáculos do NeRF começaram a ser diretamente abordados este ano; se a pesquisa subsequente oferecer uma solução para a questão da reflexão, e os muitos fios de pesquisa de otimização do NeRF se coalescerem em uma solução decisiva para as demandas consideráveis de processamento e/ou armazenamento da tecnologia, o NeRF realmente tem uma chance de se tornar o “novo CGI” nos próximos cinco anos.