Em Direção a Humanos em Tempo Real com Renderização de Lumigraph Neural

Apesar da onda atual de interesse em Campos de Radiância Neural (NeRF), uma tecnologia capaz de criar ambientes e objetos 3D gerados por IA, essa nova abordagem de tecnologia de síntese de imagens ainda requer um grande tempo de treinamento e carece de uma implementação que permita interfaces altamente responsivas em tempo real.

No entanto, uma colaboração entre nomes impressionantes da indústria e da academia oferece uma nova abordagem para esse desafio (conhecido genericamente como Síntese de Visão Nova, ou NVS).

O artigo de pesquisa, intitulado Renderização de Lumigraph Neural, afirma uma melhoria no estado da arte de cerca de duas ordens de magnitude, representando vários passos em direção à renderização em tempo real de CG por meio de pipelines de aprendizado de máquina.

Renderização de Lumigraph Neural (à direita) oferece melhor resolução de artefatos de mistura e manipulação aprimorada de oclusão em relação a métodos anteriores. Fonte.

Embora os créditos do artigo apenas citam a Universidade de Stanford e a empresa de tecnologia de exibição holográfica Raxium (atualmente operando em modo stealth), os contribuintes incluem um arquiteto principal de aprendizado de máquina do Google, um cientista da computação da Adobe e o diretor de tecnologia da StoryFile (que recentemente fez manchetes com uma versão de IA de William Shatner).

Em relação à recente publicidade de Shatner, a StoryFile parece estar empregando a Renderização de Lumigraph Neural em seu novo processo para a criação de entidades interativas geradas por IA com base nas características e narrativas de indivíduos.

A StoryFile vislumbra o uso dessa tecnologia em exibições de museus, narrativas interativas online, exibições holográficas, realidade aumentada (AR) e documentação de patrimônio – e também parece estar explorando aplicações potenciais da Renderização de Lumigraph Neural em entrevistas de recrutamento e aplicações de encontros virtuais:

Usos propostos a partir de um vídeo online da StoryFile. Fonte: https://www.youtube.com/watch?v=2K9J6q5DqRc

Captura Volumétrica para Interfaces de Síntese de Visão Nova e Vídeo

O princípio da captura volumétrica, ao longo da gama de artigos que estão se acumulando sobre o assunto, é a ideia de tirar imagens estáticas ou vídeos de um sujeito e usar aprendizado de máquina para ‘preencher’ as vistas que não foram cobertas pela matriz original de câmeras.

Fonte: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Na imagem acima, tirada da pesquisa de IA do Facebook de 2019 (veja abaixo), vemos as quatro etapas da captura volumétrica: múltiplas câmeras obtêm imagens/footagem; arquitetura de codificador/decodificador (ou outras arquiteturas) calcula e concatena a relatividade das vistas; algoritmos de marcha de raios calculam os voxels (ou outras unidades geométricas espaciais XYZ) de cada ponto no espaço volumétrico; e (na maioria dos artigos recentes) o treinamento ocorre para sintetizar uma entidade completa que possa ser manipulada em tempo real.

É essa fase de treinamento frequentemente extensa e intensiva em dados que, até o momento, manteve a síntese de visão nova fora do reino da captura em tempo real ou altamente responsiva.

O fato de a Síntese de Visão Nova criar um mapa 3D completo de um espaço volumétrico significa que é relativamente trivial costurar esses pontos juntos em uma malha de geração de computador tradicional, capturando e articulando efetivamente um humano CGI (ou qualquer outro objeto limitado) em tempo real.

Abordagens que usam NeRF dependem de nuvens de pontos e mapas de profundidade para gerar as interpolações entre os pontos de vista esparsos dos dispositivos de captura:

NeRF pode gerar profundidade volumétrica por meio do cálculo de mapas de profundidade, em vez de geração de malhas de CG. Fonte: https://www.youtube.com/watch?v=JuH79E8rdKc

Embora NeRF seja capaz de calcular malhas, a maioria das implementações não usa isso para gerar cenas volumétricas.

Em contraste, a abordagem do Renderizador Diferenciável Implícito (IDR), publicada pelo Instituto de Ciência Weizmann em outubro de 2020, baseia-se em explorar informações de malha 3D automaticamente geradas a partir de matrizes de captura:

Exemplos de capturas IDR transformadas em malhas CGI interativas. Fonte: https://www.youtube.com/watch?v=C55y7RhJ1fE

Embora NeRF careça da capacidade de IDR para estimativa de forma, IDR não pode igualar a qualidade de imagem de NeRF, e ambos exigem recursos extensivos para treinar e coletar (embora inovações recentes em NeRF estejam começando a abordar isso).

Suporte de câmera personalizado da NLR com 16 câmeras GoPro HERO7 e 6 câmeras Back-Bone H7PRO centrais. Para renderização em tempo real, essas operam a uma taxa mínima de 60fps. Fonte: https://arxiv.org/pdf/2103.11571.pdf

Em vez disso, a Renderização de Lumigraph Neural utiliza SIREN (Redes de Representação Sinusoidal) para incorporar as forças de cada abordagem em seu próprio quadro, que visa gerar saída diretamente utilizável em pipelines gráficos em tempo real existentes.

SIREN foi utilizada para implementações semelhantes ao longo do último ano e agora representa uma chamada de API popular para Colabs em comunidades de síntese de imagens; no entanto, a inovação da NLR é aplicar SIRENs à supervisão de imagem de vista múltipla bidimensional, o que é problemático devido à extensão com que SIREN produz saída sobreajustada em vez de generalizada.

Depois que a malha de CG é extraída das imagens da matriz, a malha é rasterizada via OpenGL e as posições de vértice da malha são mapeadas para os pixels apropriados, após o que a mistura das várias malhas contribuintes é calculada.

A malha resultante é mais generalizada e representativa do que a de NeRF (veja imagem abaixo), requer menos cálculo e não aplica detalhes excessivos a áreas (como pele facial lisa) que não podem se beneficiar disso:

Fonte: https://arxiv.org/pdf/2103.11571.pdf

No lado negativo, a NLR ainda não tem capacidade para iluminação dinâmica ou reiluminação, e a saída é restrita a mapas de sombra e outras considerações de iluminação obtidas no momento da captura. Os pesquisadores pretendem abordar isso em trabalhos futuros.

Além disso, o artigo admite que as formas geradas pela NLR não são tão precisas quanto algumas abordagens alternativas, como Seleção de Visão Pixel a Pixel para Estereoscopia Multivista não Estruturada, ou a pesquisa do Instituto Weizmann mencionada anteriormente.

O Crescimento da Síntese de Imagem Volumétrica

A ideia de criar entidades 3D a partir de uma série limitada de fotos com redes neurais precede NeRF, com artigos visionários remontando a 2007 ou antes. Em 2019, o departamento de pesquisa de IA do Facebook produziu um artigo de pesquisa seminal, Volumes Neurais: Aprendizado de Volumes Renderizáveis Dinâmicos a Partir de Imagens, que primeiro permitiu interfaces responsivas para humanos sintéticos gerados por captura volumétrica baseada em aprendizado de máquina.

A pesquisa de 2019 do Facebook permitiu a criação de uma interface de usuário responsiva para uma pessoa volumétrica. Fonte: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/