Neurale Dele: Nedbrydning af Primitiver til Meningfuld Infereret Geometri

Mens systemer, der kan generere 3D-geometri fra statiske enkeltbilleder, har været almindelige i de seneste år, har objekterne, de får, tendens til at være “sammensmeltede” uden nogen reel semantisk skema til at reflektere, hvordan dele bidrager til helheden.

Der er flere gode grunde til at generere hierarkiske infererede modeller med en meningfuld opdeling af dele, herunder industrielle analyser, medicinsk forskning og billedanalyse, automatisk generering af geometri til videospil, simuleringer og VR/AR-miljøer samt visuelle effekter, blandt andet.

Mange metoder, der er udviklet i de seneste år, såsom Superquadrics-formularer, giver mindre tilfredsstillende resultater og har haft svært ved at udvikle tilstanden for kunsten ud over cuboid-stil indeksning.

Segmentation af Superquadrics og andre metoder giver grove eller bredt repræsentative underdele til en infereret billed. Kilde: https://www.youtube.com/watch?v=6WK3B0IZJsw

Men ny forskning fra Max Planck-instituttet, med titlen Neurale Dele: Læring af udtryksfulde 3D-formabstraktioner med invertible neurale netværk, tilbyder et nyt neuralt primitivt 3D-repræsentationssystem, der skaber semantisk nyttige sektioner.

Tidligere metoder kan dekomponere store infererede objekter, men ikke på en semantisk nyttig måde. Til højre, metoden Neurale Dele skaber mere praktiske fragmenter. Kilde: https://paschalidoud.github.io/neural_parts

Segmentationen opnås via et invertiblet neuralt netværk (INN), der bruger betinget homeomorfisme til at deformere en basisgeometrisk form til primitiver og vice versa, og beregner den topologiske hierarki i begge retninger. På denne måde er hver primitiv form forbundet med en lærbart primitiv indlejring for at generere formindlejringen for den pågældende primitiv.

Arkitektur

Neurale Dele skal finde en balance mellem rekonstruktionskvalitet og primitiv integritet, da komplekse primitiver vil føre systemet mod komplekse dekonstruktioner. Derfor er arkitekturen i Neurale Dele designet til at afbalancere disse modstridende overvejelser på en elegant måde.

Arkitekturen i Neurale Dele består af en funktionsextraktor, der mapper input af en vektor, og en betinget homeomorfikomponent, der lærer homeomorfiske afbildninger, der er betinget af formindlejringen.

Den første del af funktionsextraktoren bruger en ResNet-18-komponent til at trække funktionerbilleder ud. Den betingede homeomorfikomponent bruger en realværdi non-volume-bevarende (real NVP)-transformationmodul.

Evaluering

Systemet blev testet mod tre datasæt – 2017’s Dynamiske FAUST (D-FAUST), FreiHAND (2019) og Stanford Universitets populære 2015 ShapeNet. D-FAUST indeholder 38.640 menneskecentrerede mesh, der var velegnede til sammenligningen, mens de første 5000 håndstillinger i FreiHAND blev brugt til at generere mesh. For ShapeNet fulgte forskerne den samme kategorispecifikke træning, som Stanford-forskerne i 2016 havde foreslået.

Testene blev kørt mod primitivbaserede metoder, herunder superquadrics, CvxNet og H-SQs.

Under ShapeNet fandt forskerne, at Neural Parts-modellen resulterede i mere nøjagtige rekonstruktioner end CvxNet på et niveau af både 5 og 25 primitiver. Nogle af de enklere objekter i databasen, såsom stole, indeholdt ikke nok geometri til en meningfuld dekonstruktion.

For FreiHAND resulterede Neurale Dele i mere geometrisk nøjagtige rekonstruktioner med bedre fangetagelse af fine detaljer såsom tommelfingerposition. Forskerne bemærker, at i sammenligning er CvxNet og SQs mere fokuseret på den generelle kernestruktur og mangler disse detaljer.

For Dynamisk FAUST blev CvxNet og SQs sammenlignet med outputtet fra Neurale Dele ved hjælp af fem primitiver til at fange integriteten af den menneskelige krop, der oprindeligt var infereret fra data. Neurale Dele kunne opnå glattere segmentering uden at ofre essensen af topologien.

Fremtidig Arbejde

Forskerne har til hensigt at udvide Neurale Dele til studier, der ikke direkte tilbyder mål-mesh, ved hjælp af differentierbare renderingsmetoder. Da en basis-sfære er den aktuelle primitive, der anvendes i Neurale Dele-rammen, overvejer forskerne også at bruge mere komplekse og udtryksfulde geometriske primitiver.