Neural Parts: Rozdělování Primitiv pro Smysluplnou Odvozenou Geometrii

Zatímco systémy schopné generovat 3D geometrii ze statických jednotlivých obrázků se v posledních letech rozšířily, objekty, které získávají, tendují k tomu, aby byly “slitovány” вместе, bez skutečného sémantického schématu, které by odráželo, jak části přispívají k celku.

Existuje několik dobrých důvodů, proč generovat hierarchické odvozené modely s významným rozdělením částí, včetně průmyslové analýzy, lékařského výzkumu a aplikací zobrazování, automatické generace geometrie pro videohry, simulátory a VR/AR prostředí a vizuálních efektů rigging, mezi jinými.

Mnohé metody vyvinuté v posledních letech, jako je Superquadrics shape parsing, produkují méně než uspokojivé výsledky a měly potíže s pokrokem stavu umění za hranice cuboid-style indicative slicing.

Segmentace pomocí Superquadrics a dalších přístupů poskytuje hrubé nebo široce reprezentativní sub-části odvozeného obrazu. Zdroj: https://www.youtube.com/watch?v=6WK3B0IZJsw

Ale nová výzkum z Max Planck Institute, nazvaný Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible Neural Networks, nabízí nový neuronový primitivní 3D reprezentační systém, který vytváří sémanticky užitečné sekce.

Předchozí metody mohou rozložit velké odvozené objekty, ale ne způsobem, který je sémanticky užitečný. Na pravé straně metoda Neural Parts vytváří více praktické fragmenty. Zdroj: https://paschalidoud.github.io/neural_parts

Segmentace je dosažena pomocí Invertible Neural Network (INN), který používá podmíněný homeomorfismus pro deformaci základního geometrického tvaru do primitiv a naopak, počítaje topologickou hierarchii v obou směrech. Díky tomu je každá primitivní forma spojena s learnable primitivní embedding, aby se generoval tvar embedding pro tuto primitivu.

Architektura

Neural Parts potřebuje najít rovnováhu mezi kvalitou rekonstrukce a integritou primitiv, protože komplexní primitivy budou tendovat systém směrem ke komplexní dekonstrukci. Proto byla architektura Neural Parts navržena tak, aby elegantně vyrovnala tyto protichůdné úvahy.

Architektura Neural Parts se skládá z feature extractoru, který mapuje vstupní vektor, a podmíněného homeomorfismu, který učí homeomorfické mapy, které jsou podmíněny tvarovým embeddingem.

Počáteční sekce feature extractoru používá ResNet-18 komponentu pro extrakci feature obrázků. Podmíněný homeomorfismus používá real-valued non-volume preserving (real NVP) transformační modul.

Hodnocení

Systém byl testován proti třem datovým sadám – 2017’s Dynamic FAUST (D-FAUST), FreiHAND (2019) a Stanford University’s populární 2015 ShapeNet.  D-FAUST obsahuje 38 640 lidských centerovaných mřížek, které se ukázaly jako vhodné pro srovnání, zatímco první 5000 rukou pozic v FreiHAND byly použity pro generování mřížek. Pro ShapeNet výzkumníci následovali stejné kategorie-specifické trénování, které stanovili výzkumníci z Stanfordu v roce 2016.

Testy byly provedeny proti primitivním metodám, včetně superquadrics, CvxNet a H-SQs.

Podle ShapeNet výzkumníci zjistili, že model Neural Parts vedl k více přesným rekonstrukcím než CvxNet na úrovni 5 a 25 primitiv. Některé z jednodušších objektů v databázi, jako jsou židle, neobsahovaly dostatečnou geometrii pro smysluplnou dekonstrukci.

Pro FreiHAND model Neural Parts vedl k více geometricky přesným rekonstrukcím, s lepšími detaily, jako je poloha palce. Výzkumníci poznamenali, že v porovnání s tím CvxNet a SQs se více zaměřují na obecnou jádrovou strukturu a postrádají tyto detaily.

Pro Dynamic FAUST CvxNet a SQs byly srovnány s výstupem modelu Neural Parts pomocí pěti primitiv pro zachycení integrity lidského těla, které bylo inicializováno z dat. Model Neural Parts byl schopen dosáhnout hladší segmentace, aniž by obětoval základní topologii.

Budoucí práce

Výzkumníci mají v úmyslu rozšířit Neural Parts na studie, které přímo nenabízejí cílové mřížky, pomocí diferencovatelných renderovacích technik. Jelikož je základní koule aktuálně používána jako primitiv v rámci Neural Parts, výzkumníci také zvažují použití složitějších a expresivnějších geometrických primitiv.