Neural Parts: Menghancurkan Primitif untuk Geometri yang Dapat Diinferensi dengan Makna

Sementara sistem yang dapat menghasilkan geometri 3D dari gambar statis tunggal telah berkembang dalam beberapa tahun terakhir, objek yang mereka peroleh cenderung “melebur” bersama, tanpa skema semantik yang sebenarnya untuk mencerminkan bagaimana bagian-bagian tersebut berkontribusi pada keseluruhan.

Ada beberapa alasan yang baik untuk menghasilkan model yang diinferensi dengan pembagian bagian yang bermakna, termasuk analisis industri, penelitian medis dan aplikasi penggambaran, generasi otomatis geometri untuk video-game, simulator dan lingkungan VR/AR, dan rigging efek visual, di antara lainnya.

Banyak metode yang dikembangkan dalam beberapa tahun terakhir, seperti Superquadrics parsing bentuk, menghasilkan hasil yang kurang memuaskan, dan telah bergelut untuk memajukan keadaan seni di luar pemotongan yang menunjukkan gaya cuboid.

Segmentasi oleh Superquadrics dan pendekatan lainnya memberikan sub-bagian yang kasar atau representatif secara umum untuk gambar yang diinferensi. Sumber: https://www.youtube.com/watch?v=6WK3B0IZJsw

Namun, penelitian baru penelitian dari Max Planck Institute, yang berjudul Neural Parts: Belajar Abstraksi Bentuk 3D yang Ekspressif dengan Jaringan Neural Invers, menawarkan sistem representasi primitif 3D neural baru yang menciptakan bagian yang berguna secara semantik.

Metode sebelumnya dapat mendekomposisi objek yang diinferensi besar, tetapi tidak dengan cara yang berguna secara semantik. Di sebelah kanan, metode Neural Parts menciptakan fragmen yang lebih praktis. Sumber: https://paschalidoud.github.io/neural_parts

Segmentasi ini dicapai melalui Jaringan Neural Invers (INN), yang menggunakan homeomorfisme kondisional untuk mengubah bentuk geometris dasar menjadi primitif, dan sebaliknya, menghitung hierarki topologi dalam kedua arah. Dengan cara ini, setiap bentuk primitif diasosiasikan dengan embedding primitif yang dapat dipelajari untuk menghasilkan embedding bentuk untuk primitif tersebut.

Arsitektur

Neural Parts perlu menemukan keseimbangan antara kualitas rekonstruksi dan integritas primitif, karena primitif yang kompleks akan cenderung sistem menuju dekonstruksi yang kompleks. Oleh karena itu, arsitektur Neural Parts telah dirancang untuk memenuhi pertimbangan yang bertentangan ini dengan cara yang elegan.

Arsitektur Neural Parts terdiri dari ekstraktor fitur yang memetakan input vektor, dan komponen homeomorfisme kondisional yang mempelajari pemetaan homeomorfik yang dikondisikan oleh embedding bentuk.

Bagian awal ekstraktor fitur menggunakan komponen ResNet-18 untuk mengekstrak gambar fitur. Komponen homeomorfisme kondisional menggunakan modul transformasi real NVP yang tidak mempertahankan volume.

Evaluasi

Sistem ini diuji melawan tiga dataset – 2017’s Dynamic FAUST (D-FAUST), FreiHAND (2019) dan Stanford University’s popular 2015 ShapeNet. D-FAUST berisi 38.640 mesh manusia-pusat, yang terbukti cocok untuk perbandingan, sedangkan 5000 pose tangan pertama di FreiHAND digunakan untuk menghasilkan mesh. Untuk ShapeNet, peneliti mengikuti pelatihan kategori-spesifik yang sama seperti yang dilakukan oleh peneliti Stanford pada 2016.

Pengujian ini dilakukan melawan metode berbasis primitif termasuk superquadrics, CvxNet, dan H-SQs.

Di bawah ShapeNet, peneliti menemukan bahwa model Neural Parts menghasilkan rekonstruksi yang lebih akurat daripada CvxNet pada tingkat 5 dan 25 primitif. Beberapa objek yang lebih sederhana dalam database, seperti kursi, tidak mengandung cukup geometri untuk dekonstruksi yang bermakna.

Untuk FreiHAND, Neural Parts menghasilkan rekonstruksi yang lebih akurat secara geometris, dengan penangkapan detail yang lebih baik seperti posisi ibu jari. Peneliti mencatat bahwa dibandingkan dengan CvxNet dan SQs, yang lebih fokus pada struktur inti umum, dan kekurangan detail tersebut.

Untuk Dynamic FAUST, CvxNet dan SQs dibandingkan dengan output Neural Parts menggunakan lima primitif untuk menangkap integritas tubuh manusia yang diinferensi dari data awal. Neural Parts dapat mencapai segmentasi yang lebih halus, tanpa mengorbankan esensial topologi.

Pekerjaan Masa Depan

Peneliti berencana untuk memperluas Neural Parts ke studi yang tidak secara langsung menawarkan mesh target, dengan menggunakan teknik rendering yang dapat dibedakan. Karena bola dasar adalah primitif yang saat ini digunakan dalam kerangka kerja Neural Parts, peneliti juga mempertimbangkan untuk menggunakan primitif geometris yang lebih kompleks dan ekspresif.