Partes Neurais: Desmembrando Primitivas para Geometria Inferida com Significado

Enquanto sistemas capazes de gerar geometria 3D a partir de imagens estáticas individuais proliferaram nos últimos anos, os objetos que eles obtêm tendem a ser ‘fundidos’ juntos, sem qualquer esquema semântico real para refletir como as partes contribuem para o todo.

Há uma série de bons motivos para gerar modelos hierárquicos inferidos com uma divisão significativa de partes, incluindo análise industrial, pesquisa médica e aplicações de imagem, geração automática de geometria para jogos de vídeo, simuladores e ambientes de VR/AR, e rigging de efeitos visuais, entre outros.

Muitos métodos desenvolvidos nos últimos anos, como Superquadrics de análise de forma, produzem resultados menos do que satisfatórios e lutaram para progredir o estado da arte além do corte indicativo de estilo cuboide.

Segmentação por Superquadrics e outras abordagens fornecem sub-partes cruas ou amplamente representacionais para uma imagem inferida. Fonte: https://www.youtube.com/watch?v=6WK3B0IZJsw

No entanto, uma nova pesquisa do Instituto Max Planck, intitulada Partes Neurais: Aprendizado de Abstrações de Forma 3D Expressivas com Redes Neurais Invertíveis, oferece um novo sistema de representação de primitivas 3D neurais que cria seções semanticamente úteis.

Métodos anteriores podem decompor objetos inferidos grandes, mas não de uma maneira semanticamente útil. À direita, o método Partes Neurais cria fragmentos mais práticos. Fonte: https://paschalidoud.github.io/neural_parts

A segmentação é alcançada por meio de uma Rede Neural Invertível (INN), que usa homeomorfismo condicional para deformar uma forma geométrica base em primitivas e vice-versa, calculando a hierarquia topológica em ambas as direções. Dessa forma, cada forma primitiva é associada a uma incorporação de primitiva aprendível para gerar a incorporação de forma para essa primitiva.

Arquitetura

Partes Neurais precisam equilibrar a qualidade da reconstrução e a integridade da primitiva, desde que primitivas complexas tenderão o sistema em direção a decomposições complexas. Portanto, a arquitetura das Partes Neurais foi projetada para conciliar essas considerações conflitantes de maneira elegante.

A arquitetura das Partes Neurais consiste em um extrator de recursos que mapeia a entrada de um vetor e um componente de homeomorfismo condicional que aprende mapeamentos homeomórficos condicionados pela incorporação de forma.

A seção inicial do extrator de recursos usa um componente ResNet-18 para extrair imagens de recursos. O componente de homeomorfismo condicional usa um módulo de transformação de valor real não preservador de volume (real NVP).

Avaliação

O sistema foi testado contra três conjuntos de dados – 2017’s Dynamic FAUST (D-FAUST), FreiHAND (2019) e o popular ShapeNet da Universidade de Stanford de 2015. D-FAUST contém 38.640 malhas centradas em humanos, o que se provou adequado para a comparação, enquanto os primeiros 5000 poses de mão em FreiHAND foram usados para gerar malhas. Para ShapeNet, os pesquisadores seguiram o mesmo treinamento específico de categoria delineado pelos pesquisadores de Stanford em 2016.

Os testes foram executados contra métodos baseados em primitivas, incluindo superquadrics, CvxNet e H-SQs.

Em ShapeNet, os pesquisadores descobriram que o modelo Partes Neurais resultou em reconstruções mais precisas do que CvxNet em um nível de 5 e 25 primitivas. Alguns dos objetos mais simples no banco de dados, como cadeiras, não continham geometria suficiente para uma decomposição significativa.

Para FreiHAND, Partes Neurais resultaram em reconstruções geometricamente mais precisas, com melhor captura de detalhes finos, como a posição do polegar. Os pesquisadores observam que, em comparação, CvxNet e SQs estão mais focados na estrutura central geral e carecem desses detalhes.

Para Dynamic FAUST, CvxNet e SQs foram comparados com a saída de Partes Neurais usando cinco primitivas para capturar a integridade do corpo humano inicialmente inferido a partir dos dados. Partes Neurais foi capaz de alcançar uma segmentação mais suave, sem sacrificar os essenciais da topologia.

Trabalho Futuro

Os pesquisadores pretendem estender Partes Neurais para estudos que não oferecem malhas de destino, por meio do uso de técnicas de renderização diferenciáveis. Como uma esfera base é a primitiva atualmente empregada no framework Partes Neurais, os pesquisadores também estão considerando o uso de primitivas geométricas mais complexas e expressivas.