Neurale Delen: Primitieven voor Betekenisvolle Afgeleide Geometrie Uiteenrafelen

Terwijl systemen die in staat zijn om 3D-geometrie te genereren uit statische enkele afbeeldingen in recente jaren zijn toegenomen, hebben de objecten die ze verkrijgen de neiging om ‘samengevoegd’ te zijn, zonder enig echt semantisch schema om weer te geven hoe de delen bijdragen aan het geheel.

Er zijn een aantal goede redenen om hiërarchische afgeleide modellen met een betekenisvolle verdeling van delen te genereren, waaronder industriële analyse, medisch onderzoek en beeldvormingstoepassingen, automatische generatie van geometrie voor videospellen, simulators en VR/AR-omgevingen, en visuele effecten rigging, onder andere.

Veel methoden die in recente jaren zijn ontwikkeld, zoals Superquadrics vormparsing, produceren minder dan bevredigende resultaten en hebben moeite om de stand van de techniek verder te brengen dan cuboid-stijl indicatieve slicing.

Segmentatie door Superquadrics en andere benaderingen bieden grove of breed representatieve subdelen van een afgeleide afbeelding. Bron: https://www.youtube.com/watch?v=6WK3B0IZJsw

Echter, nieuw onderzoek van het Max Planck Instituut, getiteld Neurale Delen: Leren van Uitdrukkingsvolle 3D-Vormabstracties met Omkeerbare Neurale Netwerken, biedt een nieuw neuronaal primitief 3D-representatiesysteem dat semantisch nuttige secties creëert.

Vorige methoden kunnen grote afgeleide objecten ontleden, maar niet op een semantisch nuttige manier. Rechts, creëert de Neurale Delen-methode meer praktische fragmenten. Bron: https://paschalidoud.github.io/neural_parts

De segmentatie wordt bereikt via een Omkeerbare Neurale Netwerk (INN), dat conditionele homeomorfisme gebruikt om een basisgeometrische vorm te deformeren in primitieven en vice versa, waarbij de topologische hiërarchie in beide richtingen wordt berekend. Op deze manier wordt elke primitieve vorm geassocieerd met een leerbaar primitief ingesloten om de vormingesloten te genereren voor die primitieve.

Architectuur

Neurale delen moeten een balans vinden tussen reconstructiekwaliteit en primitieve integriteit, aangezien complexe primitieven het systeem naar complexe deconstructions zullen neigen. Daarom is de architectuur van Neurale Delen ontworpen om deze tegenstrijdige overwegingen op een elegante manier te combineren.

De Neurale Delen-architectuur bestaat uit een functie-extractor die de invoer van een vector kaart en een conditionele homeomorfisme-component die homeomorfische mappings leert die worden geconditioneerd door de vormingesloten.

Het initiële gedeelte van de functie-extractor gebruikt een ResNet-18 component om functie-afbeeldingen te extraheren. De conditionele homeomorfisme-component gebruikt een real-waarde niet-volumebeware (real NVP) transformatiemodule.

Evaluatie

Het systeem werd getest tegen drie datasets – 2017’s Dynamische FAUST (D-FAUST), FreiHAND (2019) en Stanford University’s populaire 2015 ShapeNet.  D-FAUST bevat 38.640 mensgerichte netwerken, die geschikt bleken voor de vergelijking, terwijl de eerste 5000 handposities in FreiHAND werden gebruikt om netwerken te genereren. Voor ShapeNet volgden de onderzoekers dezelfde categorie-specifieke training die door Stanford-onderzoekers in 2016 werd uitgestippeld.

De tests werden uitgevoerd tegen primitief-gebaseerde methoden, waaronder superquadrics, CvxNet en H-SQs.

Onder ShapeNet vonden de onderzoekers dat het Neurale Delen-model resulteerde in nauwkeurigere reconstructies dan CvxNet op een niveau van zowel 5 als 25 primitieven. Sommige van de eenvoudigere objecten in de database, zoals stoelen, bevatten niet genoeg geometrie voor een betekenisvolle deconstructie.

Voor FreiHAND resulteerde Neurale Delen in geometrisch nauwkeurigere reconstructies, met betere vastlegging van fijne details zoals duimpositie. De onderzoekers merken op dat, in vergelijking, CvxNet en SQs meer gericht zijn op de algemene kernstructuur en deze details ontbreken.

Voor Dynamische FAUST werden CvxNet en SQs vergeleken met de uitvoer van Neurale Delen met behulp van vijf primitieven om de integriteit van het menselijk lichaam te vangen dat aanvankelijk uit de gegevens werd afgeleid. Neurale Delen kon soepelere segmentatie bereiken zonder de essentie van de topologie op te offeren.

Toekomstig Onderzoek

De onderzoekers zijn van plan om Neurale Delen uit te breiden naar studies die geen directe doelnetwerken bieden, door gebruik te maken van differentieerbare renderingtechnieken. Aangezien een basisbol de huidige primitieve is die in het Neurale Delen-kader wordt gebruikt, overwegen de onderzoekers ook het gebruik van meer complexe en expressieve geometrische primitieven.