NeRFocus: Trazendo Controle de Foco Leve para Campos de Radiância Neural

Nova pesquisa da China oferece um método para alcançar controle acessível sobre efeitos de profundidade de campo para Campos de Radiância Neural (NeRF), permitindo que o usuário final ajuste o foco e altere dinamicamente a configuração da lente virtual no espaço de renderização.

Intitulado NeRFocus, a técnica implementa uma abordagem de “imagem de lente fina” para travessia de foco e inova o P-treinamento, uma estratégia de treinamento probabilística que dispensa a necessidade de conjuntos de dados dedicados de profundidade de campo e simplifica um fluxo de trabalho de treinamento habilitado para foco.

O artigo é intitulado NeRFocus: Campo de Radiância Neural para Desfoque Sintético 3D e vem de quatro pesquisadores da Escola de Graduação de Shenzhen da Universidade de Pequim e do Laboratório Peng Cheng em Shenzhen, um instituto financiado pelo governo provincial de Guangdong.

Abordando o Locus de Atenção Foveado em NeRF

Se NeRF algum dia ocupar seu lugar como uma tecnologia de condução válida para realidade virtual e aumentada, precisará de um método leve de permitir renderização foveada realista, onde a maioria dos recursos de renderização se acumula em torno do olhar do usuário, em vez de ser distribuída indiscriminadamente em baixa resolução em todo o espaço visual disponível.

Do artigo de 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, vemos o locus de atenção em um esquema de renderização foveada novo para NeRF. Fonte: https://arxiv.org/pdf/2103.16365.pdf

Uma parte essencial da autenticidade das futuras implantações de NeRF egocêntrico será a capacidade do sistema de refletir a capacidade do olho humano de mudar o foco em um plano de perspectiva recuado (veja a primeira imagem acima).

Esse gradiente de foco também é um indicador perceptual da escala da cena; a visão de um helicóptero voando sobre uma cidade terá zero campos de foco navegáveis, porque toda a cena existe além da capacidade de foco mais externa do espectador, enquanto a análise de uma cena miniatura ou “próxima” não apenas permitirá “rastreamento de foco”, mas também conterá, por motivos de realismo, uma profundidade de campo estreita por padrão.

Abaixo está um vídeo demonstrando as capacidades iniciais do NeRFocus, fornecido por nós pelo autor correspondente do artigo:

Além dos Planos Focais Restritos

Cientes das necessidades de controle de foco, vários projetos NeRF nos últimos anos fizeram provisões para isso, embora todas as tentativas até o momento sejam basicamente soluções de contorno de algum tipo ou envolvam rotinas de pós-processamento notáveis que as tornam contribuições improváveis para os ambientes em tempo real eventualmente imaginados para as tecnologias de Campos de Radiância Neural.

O controle de foco sintético em estruturas de renderização neural foi tentado por vários métodos nos últimos 5-6 anos – por exemplo, usando uma rede de segmentação para cercar os dados de primeiro e segundo plano e, em seguida, desfocar genericamente o segundo plano – uma solução comum para efeitos de foco de dois planos simples.

Do artigo ‘Automatic Portrait Segmentation for Image Stylization’, uma separação de planos de foco mundana, no estilo de animação. Fonte: https://jiaya.me/papers/portrait_eg16.pdf

Representações de múltiplos planos adicionam alguns “cels de animação” virtuais a esse paradigma, por exemplo, usando estimação de profundidade para cortar a cena em um gradiente de planos focais distintos e, em seguida, orquestrar kernels dependentes de profundidade para sintetizar borramento.

Além disso, e altamente relevante para ambientes potenciais de RA/RV, a disparidade entre as duas vistas de um conjunto de câmera estéreo pode ser utilizada como um proxy de profundidade – um método proposto pela Google Research em 2015.

Do artigo liderado pela Google Fast Bilateral-Space Stereo for Synthetic Defocus, a diferença entre as duas vistas fornece um mapa de profundidade que pode facilitar o borramento. No entanto, essa abordagem é inautêntica na situação imaginada acima, onde a foto é claramente tirada com uma lente de 35-50mm (padrão SLR), mas o desfoque extremo do segundo plano só ocorreria com uma lente que exceda 200mm, que tem o tipo de plano focal altamente restrito que produz uma profundidade de campo estreita em ambientes normais, de tamanho humano. Fonte

Abordagens desse tipo tendem a demonstrar artefatos de bordo, pois tentam representar duas esferas de foco distintas e limitadas por bordo como um gradiente de foco contínuo.

Em 2021, a iniciativa RawNeRF ofereceu funcionalidade de Alta Definição Dinâmica (HDR), com maior controle sobre situações de baixa luz e uma capacidade aparentemente impressionante de ajustar o foco:

RawNeRF ajusta o foco de forma bonita (se, nesse caso, de forma inautêntica, devido a planos focais irrealistas), mas isso vem a um alto custo computacional. Fonte: https://bmild.github.io/rawnerf/

No entanto, o RawNeRF exige pré-computação onerosa para suas representações de múltiplos planos do NeRF treinado, resultando em um fluxo de trabalho que não pode ser facilmente adaptado para implementações mais leves ou de menor latência do NeRF.

Modelando uma Lente Virtual

O próprio NeRF é baseado no modelo de imagem de pinhole, que renderiza a cena inteira nitidamente de uma maneira semelhante a uma cena CGI padrão (antes das várias abordagens que renderizam borramento como um efeito de pós-processamento ou inerente com base na profundidade de campo).

O NeRFocus cria uma lente virtual “fina” (em vez de uma abertura “sem vidro”) que calcula o caminho do feixe de cada pixel de entrada e o renderiza diretamente, efetivamente invertendo o processo padrão de captura de imagem, que opera post facto na luz de entrada que já foi afetada pelas propriedades refrativas do design da lente.

Esse modelo introduz uma série de possibilidades para renderização de conteúdo dentro do frustum (o maior círculo de influência representado na imagem acima).

Calcular a cor e densidade corretas para cada perceptron multicamada (MLP) nessa gama mais ampla de possibilidades é uma tarefa adicional. Isso foi resolvido antes aplicando treinamento supervisionado a um grande número de imagens DSLR, envolvendo a criação de conjuntos de dados adicionais para um fluxo de trabalho de treinamento probabilístico – efetivamente envolvendo a preparação laboriosa e armazenamento de recursos computados múltiplos que podem ou não ser necessários.

O NeRFocus supera isso com P-treinamento, onde os conjuntos de dados de treinamento são gerados com base em operações de borramento básicas. Assim, o modelo é formado com operações de borramento inatas e navegáveis.

O diâmetro da abertura é definido como zero durante o treinamento e probabilidades pré-definidas são usadas para escolher um kernel de borramento aleatoriamente. Esse diâmetro obtido é usado para dimensionar os diâmetros compostos de cada cone, permitindo que o MLP preveja com precisão a radiação e densidade dos frustuns (os círculos amplos nas imagens acima, representando a zona de transformação máxima para cada pixel)

Os autores do novo artigo observam que o NeRFocus é potencialmente compatível com a abordagem orientada por HDR do RawNeRF, o que poderia ajudar na renderização de certas seções desafiadoras, como destaques desfocados especulares, e muitos dos outros efeitos computacionalmente intensivos que desafiaram os fluxos de trabalho de CGI por trinta ou mais anos.

O processo não envolve requisitos adicionais de tempo e/ou parâmetros em comparação com as abordagens anteriores, como o NeRF central e o Mip-NeRF (e, presumivelmente, o Mip-NeRF 360, embora isso não seja abordado no artigo), e é aplicável como uma extensão geral à metodologia central dos campos de radiância neural.

Publicado pela primeira vez em 12 de março de 2022.