Partes Neurais: Desmembramento de Primitivas para Geometria Inferida com Significado

Enquanto sistemas capazes de gerar geometria 3D a partir de imagens estáticas únicas proliferaram nos últimos anos, os objetos que eles obtêm tendem a ser “fundidos” juntos, sem qualquer esquema semântico real para refletir como as partes contribuem para o todo.

Há várias boas razões para gerar modelos hierárquicos inferidos com uma divisão de partes significativa, incluindo análise industrial, pesquisa médica e aplicações de imagem, geração automática de geometria para jogos de vídeo, simuladores e ambientes de realidade virtual e aumentada, e rigging de efeitos visuais, entre outros.

Muitos métodos desenvolvidos nos últimos anos, como a análise de formas superquadricas, produziram resultados menos do que satisfatórios e lutaram para progredir o estado da arte além do corte indicativo de estilo cuboide.

Segmentação por superquadricas e outras abordagens fornecem sub-partes cruas ou amplamente representacionais para uma imagem inferida. Fonte: https://www.youtube.com/watch?v=6WK3B0IZJsw

No entanto, uma nova pesquisa do Instituto Max Planck, intitulada Partes Neurais: Aprendizado de Abstrações de Formas 3D Expressivas com Redes Neurais Invertíveis, oferece um novo sistema de representação de primitivas 3D neurais que cria seções semanticamente úteis.

Métodos anteriores podem decompor objetos grandes inferidos, mas não de uma maneira semanticamente útil. À direita, o método Partes Neurais cria fragmentos mais práticos. Fonte: https://paschalidoud.github.io/neural_parts

A segmentação é alcançada por meio de uma Rede Neural Invertível (INN), que usa homeomorfismo condicional para deformar uma forma geométrica de base em primitivas e vice-versa, calculando a hierarquia topológica em ambas as direções. Dessa forma, cada forma primitiva é associada a uma incorporação de primitiva aprendível para gerar a incorporação de forma para essa primitiva.

Arquitetura

Partes Neurais precisam equilibrar a qualidade da reconstrução e a integridade da primitiva, pois primitivas complexas tenderão o sistema em direção a decomposições complexas. Portanto, a arquitetura de Partes Neurais foi projetada para equilibrar essas considerações conflitantes de maneira elegante.

A arquitetura de Partes Neurais consiste em um extrator de recursos que mapeia a entrada de um vetor e um componente de homeomorfismo condicional que aprende mapeamentos homeomórficos condicionados pela incorporação de forma.

A seção inicial do extrator de recursos usa um componente ResNet-18 para extrair imagens de recursos. O componente de homeomorfismo condicional usa um módulo de transformação de valor real não preservador de volume (real NVP).

Avaliação

O sistema foi testado contra três conjuntos de dados – o Dynamic FAUST de 2017 (D-FAUST), FreiHAND (2019) e o popular ShapeNet de 2015 da Universidade de Stanford (ShapeNet). D-FAUST contém 38.640 malhas centradas em humanos, o que se provou adequado para a comparação, enquanto as primeiras 5.000 poses de mãos em FreiHAND foram usadas para gerar malhas. Para ShapeNet, os pesquisadores seguiram o mesmo treinamento específico de categoria delineado por pesquisadores de Stanford em 2016.

Os testes foram executados contra métodos baseados em primitivas, incluindo superquadricas, CvxNet e H-SQs.

Em ShapeNet, os pesquisadores descobriram que o modelo Partes Neurais resultou em reconstruções mais precisas do que CvxNet em um nível de 5 e 25 primitivas. Alguns dos objetos mais simples no banco de dados, como cadeiras, não continham geometria suficiente para uma decomposição significativa.

Para FreiHAND, Partes Neurais resultou em reconstruções geometricamente mais precisas, com melhor captura de detalhes finos, como a posição do polegar. Os pesquisadores observam que, em comparação, CvxNet e SQs estão mais focados na estrutura central geral e carecem desses detalhes.

Para Dynamic FAUST, CvxNet e SQs foram comparados com a saída de Partes Neurais usando cinco primitivas para capturar a integridade do corpo humano inicialmente inferido a partir dos dados. Partes Neurais conseguiu alcançar uma segmentação mais suave, sem sacrificar os aspectos essenciais da topologia.

Trabalho Futuro

Os pesquisadores pretendem estender Partes Neurais para estudos que não oferecem malhas de destino diretas, por meio do uso de técnicas de renderização diferenciáveis. Como uma esfera de base é a primitiva atual empregada no quadro de Partes Neurais, os pesquisadores também estão considerando o uso de primitivas geométricas mais complexas e expressivas.