O Novo CGI: Criando Bairros Neurais Com Block-NeRF

Os Campos de Radiância Neurais (NeRF) permitem que os objetos sejam recriados e explorados dentro de redes neurais usando apenas fotografias de múltiplos pontos de vista como entrada, sem a complexidade e o custo dos métodos tradicionais de CGI.

No entanto, o processo é computacionalmente caro, o que inicialmente limitou os ambientes NeRF a cenários de modelo de mesa. No entanto, o NeRF foi adotado por uma comunidade de pesquisa dedicada, que ao longo do último ano habilitou reconstruções externas bem como humanos neurais editáveis, além de muitas outras inovações.

Agora, uma nova iniciativa de pesquisa, que inclui a participação do Google Research, reconhece os possíveis limites rígidos para otimizar o NeRF e concentra-se em vez disso em costurar ambientes NeRF para criar bairros personalizados que compreendem múltiplas instâncias NeRF coordenadas.

Visão de uma rede Block-NeRF de NeRFs vinculados. Veja o vídeo incorporado no final do artigo e também o link de origem para vídeos suplementares de alta resolução e comprimento total. Fonte: https://waymo.com/research/block-nerf/

Navegar pela rede de NeRFs vinculados efetivamente torna o NeRF escalável e modular, fornecendo ambientes navegáveis que carregam partes extras do bairro conforme necessário, de maneira semelhante aos métodos de otimização de recursos dos videogames, onde o que está ao redor da esquina raramente é carregado até que fique claro que o ambiente será necessário.

Em uma grande iniciativa para desembaraçar facetas separadas, como clima e hora, o Block-NeRF também introduz ‘códigos de aparência’, tornando possível alterar dinamicamente o horário do dia:

Alterando o horário do dia com o Block-NeRF. Veja o vídeo incorporado no final do artigo e também o link de origem para vídeos suplementares de alta resolução e comprimento total. Fonte: https://waymo.com/research/block-nerf/

O novo artigo sugere que a otimização do NeRF está se aproximando de seu próprio limite térmico e que as implantações futuras de ambientes de radiância neural em realidade virtual, outros tipos de esferas interativas e trabalhos de efeitos visuais, provavelmente dependerão de operações paralelas, semelhantes à forma como a Lei de Moore eventualmente deu lugar a arquiteturas multi-núcleo, otimizações paralelas e novas abordagens de cache.

Os autores do artigo (intitulado Block-NeRF: Síntese de Visão Neural de Cena Grande Escalável) usaram 2,8 milhões de imagens para criar a maior cena neural já tentada – uma série de bairros em São Francisco.

Block-NeRF navega a Catedral de Grace em São Francisco. Veja o vídeo incorporado no final do artigo e também o link de origem para vídeos suplementares de alta resolução e comprimento total. Fonte: https://waymo.com/research/block-nerf/

O autor principal do artigo, representando a UC Berkley, é Matthew Tancik, o co-inventor dos Campos de Radiância Neural, que realizou o trabalho enquanto estagiário na empresa de desenvolvimento de tecnologia de condução autônoma Waymo, anfitriã da página do projeto. A iniciativa também oferece uma visão geral de vídeo no YouTube, incorporada no final deste artigo, além de muitos exemplos de vídeo suplementares no site do projeto.

O artigo é co-escrito por vários outros criadores do NeRF, incluindo Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) e Jonathan T. Barron (Google Research). Os outros contribuintes são Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar e Vincent Casser, todos da Waymo.

O Block-NeRF foi desenvolvido principalmente como pesquisa em ambientes virtuais para sistemas de veículos autônomos, incluindo carros e drones autônomos.

A via Embarcadero de um ponto de vista de 180 graus no Block-NeRF. Veja o vídeo incorporado no final do artigo e também o link de origem para vídeos suplementares de alta resolução e comprimento total. Fonte: https://waymo.com/research/block-nerf/

Outros fatores que podem ser alterados dinamicamente no Block-NeRF são a abertura da lente (veja a imagem acima), clima e estações.

No entanto, alterar a estação pode causar alterações relacionadas no ambiente, como árvores sem folhas, o que requer um conjunto de dados de entrada ainda mais extenso do que o construído para o Block-NeRF. O artigo afirma:

‘[Folhagem] muda com a estação e se move ao vento; isso resulta em representações desfocadas de árvores e plantas. Da mesma forma, inconsistências temporais nos dados de treinamento, como obras de construção, não são tratadas automaticamente e exigem o re-treinamento manual dos blocos afetados.’

Renderização Apocalíptica

Se você olhar o vídeo incorporado no final, notará uma espalhadura no estilo Mortos-Vivos no ambiente Block-NeRF em rede. Por vários motivos, não menos para fornecer um ambiente simulado inicial para sistemas robóticos, carros, pedestres e outros objetos transitórios foram deliberadamente apagados do material de origem, mas isso deixou alguns artefatos para trás, como as sombras de veículos estacionados ‘apagados’:

A sombra fantasma de um carro apagado. Fonte: https://waymo.com/research/block-nerf/

Para acomodar uma variedade de ambientes de iluminação, como dia ou noite, as redes foram treinadas para incorporar fluxos de dados desembaraçados relacionados a cada condição desejada. Na imagem abaixo, vemos os fluxos contribuintes para a filmagem Block-NeRF de uma rodovia durante o dia e à noite:

Os facetas sob demanda por trás de uma renderização ‘assada’ aparente do Block-NeRF, permitindo que um usuário ligue a noite conforme necessário. Fonte: https://waymo.com/research/block-nerf/

Considerações Ambientais e Éticas

Nos últimos anos, as submissões de pesquisa começaram a incluir advertências e declarações sobre possíveis implicações éticas e ambientais do trabalho proposto. No caso do Block-NeRF, os autores observam que os requisitos de energia são altos e que a contabilização de objetos transitórios de curto e longo prazo (como folhas em árvores e obras de construção, respectivamente) exigiria a re-scanning regular dos dados de origem, levando a um aumento da ‘vigilância’ em áreas urbanas cujos modelos neurais precisam ser mantidos atualizados.

Os autores afirmam:

‘Dependendo da escala em que este trabalho está sendo aplicado, suas demandas de computação podem levar a ou piorar os danos ambientais se a energia usada para computação levar a aumentar as emissões de carbono. Como mencionado no artigo, preveremos trabalhos adicionais, como métodos de cache, que poderiam reduzir as demandas de computação e, portanto, mitigar os danos ambientais.’

Em relação à vigilância, eles continuam:

‘Aplicações futuras deste trabalho podem envolver esforços de coleta de dados ainda maiores, o que levanta preocupações de privacidade adicionais. Embora imagens detalhadas de ruas públicas já possam ser encontradas em serviços como o Google Street View, nossa metodologia pode promover varreduras repetidas e mais regulares do ambiente. Algumas empresas no espaço de veículos autônomos também são conhecidas por realizar varreduras de área regulares usando sua frota de veículos; no entanto, algumas podem usar apenas varreduras LiDAR, que podem ser menos sensíveis do que coletar imagens de câmera.’

Métodos e Soluções

Os ambientes NeRF individuais podem ser escalados para baixo, em teoria, para qualquer tamanho antes de serem montados em uma matriz Block-NeRF. Isso abre caminho para a inclusão granular de conteúdo que certamente está sujeito a alterações, como árvores, e para a identificação e gerenciamento de obras de construção, que podem persistir ao longo do tempo por anos de re-captura, mas provavelmente evoluirão e eventualmente se tornarão entidades consistentes.

No entanto, nessa primeira saída de pesquisa, blocos NeRF discretos são limitados aos blocos de cidade reais de cada ambiente retratado, costurados juntos, com uma sobreposição de 50% garantindo uma transição consistente de um bloco para o próximo à medida que o usuário navega pela rede.

Cada bloco é limitado por um filtro geográfico. Os autores observam que essa parte do framework está aberta à automação e, surpreendentemente, que sua implementação depende do OpenStreetMap em vez do Google Maps.

O raio de interseção para um espaço de renderização ‘ativo’ do Block-NeRF. Fonte: Waymo

Os blocos são treinados em paralelo, com blocos necessários renderizados sob demanda. Os códigos de aparência inovadores também são orquestrados entre o conjunto de blocos, garantindo que não se viaje inesperadamente para diferentes condições climáticas, horários do dia ou até mesmo uma estação diferente.

Segmentos do Block-NeRF são condicionados à exposição de forma análoga à Faixa Dinâmica Alta (HDR) em material de origem fotográfica. Fonte: Waymo

A capacidade de alternar iluminação e outras variáveis ambientais é derivada das Otimizações Latentes Gerativas introduzidas em NeRF no Mundo (NeRF-W), que por sua vez derivou o método do artigo de pesquisa de 2019 da Facebook AI Otimizando o Espaço Latente de Redes Gerativas.

Um modelo de segmentação semântica originado para Panoptic-DeepLab em 2020 é usado para bloquear elementos indesejados (como pessoas e veículos)

Dados

Descobrindo que conjuntos de dados urbanos comuns, como CityScapes, não eram adequados para um trabalho de detalhe intensivo como o Block-NeRF, os pesquisadores criaram seu próprio conjunto de dados. Dados de imagem foram capturados de 12 câmeras que abrangem uma visão de 360 graus, com filmagens feitas a 10 Hz com um valor de exposição escalonado.

Os bairros de São Francisco cobertos foram Alamo Square e Mission Bay. Para as capturas de Alamo Square, uma área aproximada de 960m x 570m foi coberta, dividida em 35 instâncias Block-NeRF, cada uma treinada com dados de 38 a 48 diferentes execuções de coleta de dados, com um tempo total de condução de 18-28 minutos.

O número de imagens contribuintes para cada Block-NeRF variou de 64.575 a 108.216, e o tempo total de condução representado para essa área foi de 13,4 horas em 1.330 diferentes execuções de coleta de dados. Isso resultou em 2.818.745 imagens de treinamento apenas para Alamo Square. Veja o artigo para obter mais detalhes sobre a coleta de dados para Mission Bay.

Publicado pela primeira vez em 11 de fevereiro de 2022.