Parti Neurali: Decomposizione di Primitivi per una Geometria Inferita Significativa

Mentre i sistemi in grado di generare geometria 3D da immagini statiche singole si sono moltiplicati negli ultimi anni, gli oggetti che ottengono tendono ad essere “fusi” insieme, senza una vera e propria schema semantico che rifletta come le parti contribuiscono al tutto.

Esistono diverse buone ragioni per generare modelli gerarchici con una divisione di parti significativa, tra cui l’analisi industriale, la ricerca medica e le applicazioni di imaging, la generazione automatica di geometria per videogiochi, simulatori e ambienti VR/AR, e il rigging degli effetti visivi, tra gli altri.

Molti metodi sviluppati negli ultimi anni, come l’analisi di forme Superquadrics, producono risultati meno che soddisfacenti e hanno lottato per progredire lo stato dell’arte oltre la divisione cuboidale.

Segmentazione mediante Superquadrics e altri approcci forniscono sottoparti crude o rappresentative a un’immagine inferita. Fonte: https://www.youtube.com/watch?v=6WK3B0IZJsw

Tuttavia, una nuova ricerca dell’Istituto Max Planck, intitolata Parti Neurali: Apprendimento di Astrazioni di Forme 3D Espressive con Reti Neurali Invertibili, offre un nuovo sistema di rappresentazione di primitivi neurali 3D che crea sezioni semanticamente utili.

Metodi precedenti possono decomporre oggetti grandi inferiti, ma non in modo semanticamente utile. A destra, il metodo Parti Neurali crea frammenti più pratici. Fonte: https://paschalidoud.github.io/neural_parts

La segmentazione viene ottenuta mediante una Rete Neurale Invertibile (INN), che utilizza l’omeomorfismo condizionale per deformare una forma geometrica di base in primitivi e viceversa, calcolando la gerarchia topologica in entrambe le direzioni. In questo modo, ogni forma primitiva è associata a un’impronta primitiva apprendibile per generare l’impronta della forma per quel primitivo.

Architettura

Le Parti Neurali devono trovare un equilibrio tra la qualità della ricostruzione e l’integrità dei primitivi, poiché i primitivi complessi tenderanno il sistema verso decostruzioni complesse. Pertanto, l’architettura delle Parti Neurali è stata progettata per bilanciare queste considerazioni contrastanti in modo elegante.

L’architettura delle Parti Neurali consiste in un estrattore di caratteristiche che mappa l’input di un vettore e un componente di omeomorfismo condizionale che apprende mapping omeomorfici condizionati dall’impronta della forma.

La sezione iniziale dell’estrattore di caratteristiche utilizza un componente ResNet-18 per estrarre immagini di caratteristiche. Il componente di omeomorfismo condizionale utilizza un modulo di trasformazione real NVP non conservativo del volume.

Valutazione

Il sistema è stato testato contro tre dataset – Dynamic FAUST (2017), FreiHAND (2019) e il popolare dataset ShapeNet (2015) dell’Università di Stanford. Il dataset D-FAUST contiene 38.640 mesh centrate sull’uomo, che si sono rivelate adatte al confronto, mentre i primi 5000 pose di mano in FreiHAND sono stati utilizzati per generare mesh. Per ShapeNet, i ricercatori hanno seguito la stessa formazione specifica della categoria delineata dai ricercatori di Stanford nel 2016.

I test sono stati eseguiti contro metodi basati su primitivi, tra cui superquadrici, CvxNet e H-SQs.

Sotto ShapeNet, i ricercatori hanno scoperto che il modello Parti Neurali ha prodotto ricostruzioni più accurate rispetto a CvxNet a un livello di 5 e 25 primitivi. Alcuni degli oggetti più semplici nel database, come le sedie, non contenevano abbastanza geometria per una decostruzione significativa.

Per FreiHAND, le Parti Neurali hanno prodotto ricostruzioni più accurate geometricamente, con una migliore cattura di dettagli fini come la posizione del pollice. I ricercatori notano che, al confronto, CvxNet e SQs si concentrano di più sulla struttura centrale generale e mancano di questi dettagli.

Per Dynamic FAUST, CvxNet e SQs sono stati confrontati con l’output delle Parti Neurali utilizzando cinque primitivi per catturare l’integrità del corpo umano inizialmente inferito dai dati. Le Parti Neurali sono state in grado di ottenere una segmentazione più liscia, senza sacrificare gli elementi essenziali della topologia.

Lavori Futuri

I ricercatori intendono estendere le Parti Neurali agli studi che non offrono direttamente mesh di destinazione, utilizzando tecniche di rendering differenziabili. Poiché una sfera di base è il primitivo attualmente impiegato nel framework delle Parti Neurali, i ricercatori stanno anche considerando l’uso di primitivi geometrici più complessi e espressivi.