Neural Delar: Bryta ned primitiver för meningsfullt infererad geometri

Medan system som kan generera 3D-geometri från statiska enstaka bilder har blomstrat under de senaste åren, tenderar de objekt som de erhåller att vara “sammanfogade” utan någon verklig semantisk schema för att reflektera hur delarna bidrar till helheten.

Det finns flera goda skäl att generera hierarkiska infererade modeller med en meningsfull uppdelning av delar, inklusive industriell analys, medicinsk forskning och bildanalys, automatisk generering av geometri för videospel, simulatorer och VR/AR-miljöer, samt visuella effekter och riggning, bland annat.

Många metoder som har utvecklats under de senaste åren, som till exempel Superquadrics-formparsing, ger mindre tillfredsställande resultat och har kämpat för att främja tillståndet för konsten bortom kuboid-stilens indikativa skärning.

Segmentering med Superquadrics och andra metoder ger grova eller breda representationella sub-delar till en infererad bild. Källa: https://www.youtube.com/watch?v=6WK3B0IZJsw

Men ny forskning från Max Planck-institutet, med titeln Neural Delar: Lärande uttrycksfulla 3D-formabstraktioner med omvändbara neuronnätverk, erbjuder ett nytt neuralt primitivt 3D-representationssystem som skapar semantiskt användbara sektioner.

Tidigare metoder kan bryta ned stora infererade objekt, men inte på ett semantiskt användbart sätt. Till höger skapar Neural Delar metoden mer praktiska fragment. Källa: https://paschalidoud.github.io/neural_parts

Segmenteringen uppnås via ett omvändbart neuronnätverk (INN), som använder villkorlig homeomorfism för att deformera en basgeometrisk form till primitiver och vice versa, och beräknar den topologiska hierarkin i båda riktningarna. På detta sätt associeras varje primitiv form med en lärd primitivinbäddning för att generera forminbäddningen för den primitiva.

Arkitektur

Neural Delar måste balansera rekonstruktionskvalitet och primitiv integritet, eftersom komplexa primitiver tenderar systemet mot komplexa dekonstruktioner. Därför har Neural Delars arkitektur utformats för att hantera dessa motsatta överväganden på ett elegant sätt.

Neural Delars arkitektur består av en funktionsextraherare som kartar inmatningen av en vektor och en villkorlig homeomorfikomponent som lär sig homeomorfiska mappningar som är villkorade av forminbäddningen.

Den första delen av funktionsextraheraren använder en ResNet-18-komponent för att extrahera funktionbilder. Den villkorliga homeomorfikomponenten använder en realvärdes icke-volymbevarande (real NVP)-transformeringsmodul.

Utvardering

Systemet testades mot tre datamängder – 2017 års Dynamic FAUST (D-FAUST), FreiHAND (2019) och Stanford Universitys populära 2015 ShapeNet. D-FAUST innehåller 38 640 människo-centrerade nät, som visade sig vara lämpliga för jämförelsen, medan de första 5000 handpositionerna i FreiHAND användes för att generera nät. För ShapeNet följde forskarna samma kategori-specifika utbildning som Stanford-forskarna 2016.

Testerna kördes mot primitivbaserade metoder, inklusive superquadrics, CvxNet och H-SQs.

Under ShapeNet fann forskarna att Neural Delar-modellen resulterade i mer exakta rekonstruktioner än CvxNet på en nivå av både 5 och 25 primitiver. Några av de enklare objekten i databasen, som till exempel stolar, innehöll inte tillräckligt med geometri för en meningsfull dekonstruktion.

För FreiHAND resulterade Neural Delar i mer geometriskt exakta rekonstruktioner, med bättre fångst av fina detaljer som tumposition. Forskarna noterar att, i jämförelse, CvxNet och SQs är mer fokuserade på den allmänna kärnstrukturen och saknar dessa detaljer.

För Dynamic FAUST jämfördes CvxNet och SQs med utdata från Neural Delar med hjälp av fem primitiver för att fånga kroppens integritet, som initialt erhölls från data. Neural Delar kunde uppnå jämnare segmentering, utan att offra topologins väsentligheter.

Framtida arbete

Forskarna avser att utöka Neural Delar till studier som inte direkt erbjuder målnät, med hjälp av differentierbar renderings-teknik. Eftersom en bas-sfär är den nuvarande primitiven som används i Neural Delars ramverk, överväger forskarna också att använda mer komplexa och uttrycksfulla geometriska primitiver.