NeRF: Treinamento de Drones em Ambientes de Radiância Neural

Pesquisadores da Universidade de Stanford desenvolveram uma nova forma de treinar drones para navegar em ambientes fotorealistas e altamente precisos, aproveitando a recente avalanche de interesse em Campos de Radiância Neural (NeRF).

Drones podem ser treinados em ambientes virtuais mapeados diretamente de locais reais, sem necessidade de reconstrução de cenas 3D especializadas. Nesta imagem do projeto, uma perturbação do vento foi adicionada como um obstáculo potencial para o drone, e podemos ver o drone sendo momentaneamente desviado de sua trajetória e compensando no último momento para evitar um obstáculo potencial. Fonte: https://mikh3x4.github.io/nerf-navigation/

O método oferece a possibilidade de treinamento interativo de drones (ou outros tipos de objetos) em cenários virtuais que incluem automaticamente informações de volume (para calcular a evasão de colisões), texturas extraídas diretamente de fotos reais (para ajudar a treinar as redes de reconhecimento de imagens dos drones de forma mais realista) e iluminação do mundo real (para garantir que uma variedade de cenários de iluminação sejam treinados na rede, evitando a sobreajuste ou superotimização para a foto original da cena).

Um objeto-couch navega um ambiente virtual complexo que teria sido muito difícil de mapear usando captura de geometria e retexturização em fluxos de trabalho tradicionais de AR/VR, mas que foi recriado automaticamente em NeRF a partir de um número limitado de fotos. Fonte: https://www.youtube.com/watch?v=5JjWpv9BaaE

As implementações típicas de NeRF não apresentam mecanismos de trajetória, pois a maioria dos projetos de NeRF nos últimos 18 meses se concentrou em outros desafios, como reiluminação de cenas, renderização de reflexos, composição e desentanglement de elementos capturados. Portanto, a principal inovação do novo artigo é implementar um ambiente NeRF como um espaço navegável, sem o equipamento extensivo e os procedimentos laboriosos que seriam necessários para modelá-lo como um ambiente 3D baseado em captura de sensores e reconstrução CGI.

NeRF como VR/AR

O novo artigo é intitulado Navegação de Robôs por Visão em um Mundo de Radiância Neural e é uma colaboração entre três departamentos da Universidade de Stanford: Aeronáutica e Astronáutica, Engenharia Mecânica e Ciência da Computação.

O trabalho propõe um quadro de navegação que fornece a um robô um ambiente NeRF pré-treinado, cuja densidade de volume delimita os caminhos possíveis para o dispositivo. Ele também inclui um filtro para estimar onde o robô está dentro do ambiente virtual, com base no reconhecimento de imagens da câmera RGB a bordo do robô. Dessa forma, um drone ou robô é capaz de “alucinar” mais precisamente o que pode esperar ver em um determinado ambiente.

O otimizador de trajetória do projeto navega por um modelo NeRF de Stonehenge que foi gerado por meio de fotogrametria e interpretação de imagens (neste caso, de modelos de malha) em um ambiente de Radiância Neural. O planejador de trajetória calcula vários caminhos possíveis antes de estabelecer uma trajetória ótima sobre o arco.

Como um ambiente NeRF apresenta oclusões totalmente modeladas, o drone pode aprender a calcular obstruções mais facilmente, desde que a rede neural por trás do NeRF possa mapear a relação entre oclusões e a forma como os sistemas de navegação baseados em visão a bordo do drone percebem o ambiente. O pipeline de geração automática de NeRF oferece um método relativamente trivial para criar espaços de treinamento hiper-realistas com apenas algumas fotos.

O quadro de replanejamento online desenvolvido para o projeto da Universidade de Stanford facilita um pipeline de navegação inteiramente baseado em visão e resiliente.

A iniciativa da Universidade de Stanford é uma das primeiras a considerar as possibilidades de explorar um espaço NeRF no contexto de um ambiente navegável e imersivo do tipo VR. Os Campos de Radiância Neural são uma tecnologia emergente e atualmente estão sujeitos a esforços acadêmicos múltiplos para otimizar seus requisitos de recursos computacionais altos, bem como para desentanglar os elementos capturados.

Nerf Não É (Realmente) CGI

Como um ambiente NeRF é uma cena 3D navegável, ele se tornou uma tecnologia mal compreendida desde sua emergência em 2020, frequentemente amplamente percebida como um método para automatizar a criação de malhas e texturas, em vez de substituir ambientes 3D familiares aos espectadores dos departamentos de efeitos visuais de Hollywood e dos ambientes de realidade aumentada e virtual.

NeRF extrai informações de geometria e textura de um número limitado de pontos de vista de imagens, calculando a diferença entre imagens como informações volumétricas. Fonte: https://www.matthewtancik.com/nerf

Na verdade, o ambiente NeRF é mais como um espaço de “renderização ao vivo”, onde uma amalgamação de informações de pixel e iluminação é retida e navegada em uma rede neural ativa e em execução.

A chave para o potencial do NeRF é que ele requer apenas um número limitado de imagens para recriar ambientes, e que os ambientes gerados contêm todas as informações necessárias para uma reconstrução de alta fidelidade, sem a necessidade dos serviços de modeladores, artistas de textura, especialistas em iluminação e das hordas de outros contribuintes para a “CGI tradicional”.

Segmentação Semântica

Mesmo que o NeRF efetivamente constitua “Imagem Gerada por Computador” (CGI), ele oferece uma metodologia completamente diferente e um pipeline altamente automatizado. Além disso, o NeRF pode isolar e “encapsular” partes móveis de uma cena, para que elas possam ser adicionadas, removidas, aceleradas e geralmente operar como facetas discretas em um ambiente virtual – uma capacidade que está muito além do estado da arte atual na interpretação “de Hollywood” do que é CGI.

Uma colaboração da Universidade de Tecnologia de Xangai, lançada no verão de 2021, oferece um método para individuar elementos móveis NeRF em facetas “coláveis” para uma cena. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativamente, a arquitetura do NeRF é um pouco de uma “caixa preta”; atualmente não é possível extrair um objeto de um ambiente NeRF e manipulá-lo diretamente com ferramentas baseadas em malha e imagem tradicionais, embora vários esforços de pesquisa estejam começando a fazer avanços na desconstrução da matriz por trás dos ambientes de renderização ao vivo da rede neural NeRF.