Bagaimana Rekonstruksi 3D Single-View Bekerja?

Secara tradisional, model untuk rekonstruksi objek single-view yang dibangun pada jaringan saraf konvolusi telah menunjukkan kinerja yang luar biasa dalam tugas rekonstruksi. Dalam beberapa tahun terakhir, rekonstruksi 3D single-view telah muncul sebagai topik penelitian populer di komunitas AI. Terlepas dari metodologi spesifik yang digunakan, semua model rekonstruksi 3D single-view berbagi pendekatan umum dengan mengintegrasikan jaringan encoder-decoder dalam kerangka mereka. Jaringan ini melakukan penalaran kompleks tentang struktur 3D di ruang output.

Dalam artikel ini, kita akan mengeksplorasi bagaimana rekonstruksi 3D single-view bekerja secara real-time dan tantangan saat ini yang dihadapi oleh kerangka ini dalam tugas rekonstruksi. Kita akan membahas berbagai komponen kunci dan metode yang digunakan oleh model rekonstruksi 3D single-view dan mengeksplorasi strategi yang dapat meningkatkan kinerja kerangka ini. Selain itu, kita akan menganalisis hasil yang dihasilkan oleh kerangka state-of-the-art yang menggunakan metode encoder-decoder. Mari kita mulai.

Rekonstruksi 3D Single-View

Rekonstruksi 3D single-view objek melibatkan pembuatan model 3D dari objek dari satu sudut pandang, atau dengan kata lain, dari satu gambar. Misalnya, menyimpulkan struktur 3D dari objek, seperti sepeda motor dari gambar, adalah proses yang kompleks. Ini menggabungkan pengetahuan tentang susunan struktural bagian, petunjuk gambar tingkat rendah, dan informasi semantik tingkat tinggi. Spektrum ini mencakup dua aspek utama: rekonstruksi dan pengenalan. Proses rekonstruksi membedakan struktur 3D dari gambar input menggunakan petunjuk seperti bayangan, tekstur, dan efek visual. Di sisi lain, proses pengenalan mengklasifikasikan gambar input dan mengambil model 3D yang sesuai dari database.

Model rekonstruksi 3D single-view saat ini mungkin berbeda dalam arsitektur, tetapi mereka disatukan oleh inklusi struktur encoder-decoder dalam kerangka mereka. Dalam struktur ini, encoder memetakan gambar input ke representasi laten, sedangkan decoder membuat inferensi kompleks tentang struktur 3D dari ruang output. Untuk menyelesaikan tugas ini, jaringan harus mengintegrasikan informasi tingkat tinggi dan rendah. Selain itu, banyak metode encoder-decoder state-of-the-art bergantung pada pengenalan untuk tugas rekonstruksi 3D single-view, yang membatasi kemampuan rekonstruksi mereka. Lebih lanjut, kinerja jaringan saraf konvolusi modern dalam rekonstruksi 3D single-view objek dapat dilampaui tanpa secara eksplisit menyimpulkan struktur 3D objek. Namun, dominasi pengenalan dalam jaringan konvolusi dalam tugas rekonstruksi objek single-view dipengaruhi oleh berbagai prosedur eksperimental, termasuk protokol evaluasi dan komposisi dataset. Faktor-faktor ini memungkinkan kerangka untuk menemukan solusi jalan pintas, dalam hal ini, pengenalan gambar.

Secara tradisional, kerangka rekonstruksi 3D single-view objek mendekati tugas rekonstruksi menggunakan pendekatan bentuk dari bayangan, dengan tekstur dan defokus sebagai pandangan eksotis untuk tugas rekonstruksi. Karena teknik ini menggunakan satu petunjuk kedalaman, mereka dapat menyediakan penalaran untuk bagian yang terlihat dari permukaan. Selain itu, banyak kerangka rekonstruksi 3D single-view menggunakan beberapa petunjuk bersama dengan pengetahuan struktural untuk memperkirakan kedalaman dari satu gambar monokular, kombinasi yang memungkinkan kerangka ini untuk memprediksi kedalaman permukaan yang terlihat. Lebih baru, kerangka estimasi kedalaman mengirimkan struktur jaringan saraf konvolusi untuk mengekstrak kedalaman dalam gambar monokular.

Namun, untuk rekonstruksi 3D single-view yang efektif, model tidak hanya harus melakukan penalaran tentang struktur 3D dari objek yang terlihat dalam gambar, tetapi mereka juga perlu mengkhayalkan bagian yang tidak terlihat dalam gambar menggunakan beberapa prior yang dipelajari dari data. Untuk mencapai ini, sebagian besar model saat ini mengirimkan struktur jaringan saraf konvolusi yang dilatih untuk memetakan gambar 2D ke bentuk 3D menggunakan supervisi langsung, sedangkan banyak kerangka lain mengirimkan representasi voxel dari bentuk 3D dan menggunakan representasi laten untuk menghasilkan konvolusi 3D. Beberapa kerangka juga mempartisi ruang output secara hierarkis untuk meningkatkan efisiensi komputasi dan memori yang memungkinkan model untuk memprediksi bentuk 3D dengan resolusi lebih tinggi. Penelitian terbaru berfokus pada menggunakan bentuk supervisi yang lebih lemah untuk prediksi bentuk 3D single-view menggunakan jaringan saraf konvolusi, baik dengan membandingkan bentuk yang diprediksi dan prediksi ground-truth untuk melatih regresi bentuk atau menggunakan beberapa sinyal pembelajaran untuk melatih bentuk rata-rata yang membantu model memprediksi deformasi. Alasan lain di balik kemajuan terbatas dalam rekonstruksi 3D single-view adalah jumlah data pelatihan yang terbatas yang tersedia untuk tugas ini.

Rekonstruksi 3D single-view adalah tugas yang kompleks karena tidak hanya menafsirkan data visual secara geometris, tetapi juga semantik. Meskipun mereka tidak sepenuhnya berbeda, mereka mencakup spektrum yang berbeda dari rekonstruksi geometris ke pengenalan semantik. Tugas rekonstruksi memerlukan penalaran per-pixel dari struktur 3D objek dalam gambar. Tugas rekonstruksi tidak memerlukan pemahaman semantik tentang isi gambar, dan dapat dicapai menggunakan petunjuk gambar tingkat rendah, termasuk tekstur, warna, bayangan, perspektif, dan fokus. Pengenalan, di sisi lain, adalah kasus ekstrem dari penggunaan semantik gambar karena tugas pengenalan menggunakan objek secara keseluruhan dan mengklasifikasikan objek dalam input, dan mengambil bentuk yang sesuai dari database. Meskipun tugas pengenalan dapat menyediakan penalaran yang kuat tentang bagian objek yang tidak terlihat dalam gambar, solusi semantik hanya memungkinkan jika dapat dijelaskan oleh objek yang ada dalam database.

Meskipun tugas rekonstruksi dan pengenalan mungkin berbeda satu sama lain secara signifikan, keduanya cenderung mengabaikan informasi yang berharga yang terkandung dalam gambar input. Disarankan untuk menggunakan kedua tugas ini secara bersamaan untuk mendapatkan hasil terbaik, dan bentuk 3D yang akurat untuk rekonstruksi objek, yaitu untuk rekonstruksi 3D single-view yang optimal, model harus menggunakan pengetahuan struktural, petunjuk gambar tingkat rendah, dan pemahaman tingkat tinggi tentang objek.

Rekonstruksi 3D Single-View: Pengaturan Konvensional

Untuk menjelaskan pengaturan konvensional dan menganalisis pengaturan kerangka rekonstruksi 3D single-view, kita akan mengirimkan pengaturan standar untuk memperkirakan bentuk 3D menggunakan satu pandangan atau gambar objek. Dataset yang digunakan untuk pelatihan adalah dataset ShapeNet, dan mengevaluasi kinerja di seluruh 13 kelas yang memungkinkan model untuk memahami bagaimana jumlah kelas dalam dataset menentukan kinerja estimasi bentuk model.

Sebagian besar jaringan saraf konvolusi modern menggunakan satu gambar untuk memprediksi model 3D dengan resolusi tinggi, dan kerangka ini dapat dikategorikan berdasarkan representasi output: peta kedalaman, awan titik, dan grid voxel. Model menggunakan OGN atau Octree Generating Networks sebagai metode representatif yang secara historis telah melampaui pendekatan grid voxel, dan/atau dapat mencakup representasi output dominan. Berbeda dengan metode yang ada yang menggunakan representasi output, pendekatan OGN memungkinkan model untuk memprediksi bentuk dengan resolusi tinggi, dan menggunakan oktree untuk merepresentasikan ruang yang ditempati secara efisien.

Baseline

Untuk mengevaluasi hasil, model mengirimkan dua baseline yang mempertimbangkan masalah sebagai tugas pengenalan murni. Baseline pertama didasarkan pada pengelompokan, sedangkan baseline kedua melakukan pengambilan database.

Pengelompokan

Dalam baseline pengelompokan, model menggunakan algoritma K-Means untuk mengelompokkan atau menggabungkan bentuk pelatihan ke dalam K sub-kategori, dan menjalankan algoritma pada 32*32*32 voxelisasi yang diratakan menjadi vektor. Setelah menentukan penugasan klaster, model beralih kembali untuk bekerja dengan model dengan resolusi yang lebih tinggi. Model kemudian menghitung bentuk rata-rata dalam setiap klaster, dan mengambangkan bentuk rata-rata di mana nilai optimal dihitung dengan memaksimalkan rata-rata IoU atau Intersection over Union di seluruh model. Karena model mengetahui hubungan antara bentuk 3D dan gambar dalam data pelatihan, model dapat dengan mudah mencocokkan gambar dengan klaster yang sesuai.

Pengambilan

Baseline pengambilan mempelajari untuk membenamkan bentuk dan gambar dalam ruang yang sama. Model mempertimbangkan kesamaan pasangan bentuk matriks 3D dalam dataset pelatihan untuk membangun ruang benam. Model mencapai ini dengan menggunakan pendekatan Multi-Dimensional Scaling dengan pemetaan Sammon untuk merapatkan setiap baris dalam matriks ke deskriptor berdimensi rendah. Selain itu, untuk menghitung kesamaan antara dua bentuk sewenang-wenang, model menggunakan deskriptor lapangan cahaya. Selanjutnya, model melatih jaringan saraf konvolusi untuk memetakan gambar ke deskriptor untuk membenamkan gambar dalam ruang.

Analisis

Model rekonstruksi 3D single-view mengikuti strategi yang berbeda sebagai hasilnya mereka outperform model lain dalam beberapa area, tetapi mereka juga gagal dalam beberapa area lain. Untuk membandingkan kerangka yang berbeda dan mengevaluasi kinerja mereka, kita memiliki beberapa metrik, salah satunya adalah skor IoU rata-rata.

Seperti yang dapat dilihat dalam gambar di atas, meskipun memiliki arsitektur yang berbeda, model rekonstruksi 3D saat ini yang paling mutakhir memberikan kinerja yang hampir sama. Namun, menarik untuk dicatat bahwa meskipun merupakan metode pengenalan murni, kerangka pengambilan outperform model lain dalam hal skor IoU rata-rata dan median. Kerangka pengelompokan memberikan hasil yang solid dengan outperform AtlasNet, OGN, dan kerangka Matryoshka. Namun, hasil yang paling tidak terduga dari analisis ini adalah Oracle (ORCL ) NN outperform semua metode lain meskipun menggunakan arsitektur pengambilan yang sempurna. Meskipun menghitung skor IoU rata-rata membantu dalam perbandingan, tidak memberikan gambaran lengkap karena varians hasil sangat tinggi terlepas dari model.

Metri Evaluasi Umum

Model rekonstruksi 3D single-view sering menggunakan metri evaluasi yang berbeda untuk menganalisis kinerja mereka dalam berbagai tugas. Berikut adalah beberapa metri evaluasi yang umum digunakan.

Intersection Over Union

Rata-rata Intersection Over Union adalah metrik yang umum digunakan sebagai ukuran kuantitatif untuk menjadi acuan bagi model rekonstruksi 3D single-view. Meskipun IoU memberikan beberapa wawasan tentang kinerja model, tidak dianggap sebagai satu-satunya metrik untuk mengevaluasi metode karena hanya menunjukkan kualitas bentuk yang diprediksi oleh model jika nilai-nilai tersebut cukup tinggi dengan perbedaan yang signifikan antara skor rendah dan menengah untuk dua bentuk yang diberikan.

Chamfer Distance

Jarak Chamfer didefinisikan pada awan titik, dan dirancang untuk diterapkan pada berbagai representasi 3D dengan memuaskan. Namun, metrik evaluasi Jarak Chamfer sangat sensitif terhadap outlier yang membuatnya menjadi ukuran yang bermasalah untuk mengevaluasi kinerja model, dengan jarak outlier dari bentuk referensi sangat menentukan kualitas generasi.

F-Score

F-Score adalah metrik evaluasi yang umum digunakan oleh sebagian besar model rekonstruksi 3D multi-view. Metrik F-Score didefinisikan sebagai mean harmonis antara recall dan presisi, dan mengevaluasi jarak antara permukaan objek secara eksplisit. Presisi menghitung persentase poin yang direkonstruksi yang berada dalam jarak yang ditentukan sebelumnya ke ground truth, untuk mengukur akurasi rekonstruksi. Recall di sisi lain menghitung persentase poin pada ground truth yang berada dalam jarak yang ditentukan sebelumnya ke rekonstruksi untuk mengukur kelengkapan rekonstruksi. Selain itu, dengan mengubah ambang batas jarak, pengembang dapat mengontrol ketatnya metrik F-Score.

Analisis Per-Kelas

Kesamaan kinerja yang disampaikan oleh kerangka di atas tidak dapat menjadi hasil dari metode yang berjalan pada subset kelas yang berbeda, dan gambar berikut menunjukkan kinerja relatif yang konsisten di seluruh kelas yang berbeda dengan baseline pengambilan Oracle NN mencapai hasil terbaik di antara mereka, dan semua metode mengamati varians yang tinggi untuk semua kelas.

Selain itu, jumlah contoh pelatihan yang tersedia untuk kelas mungkin menyebabkan seseorang untuk menganggap bahwa itu mempengaruhi kinerja per-kelas. Namun, seperti yang ditunjukkan pada gambar berikut, jumlah contoh pelatihan yang tersedia untuk kelas tidak mempengaruhi kinerja per-kelas, dan jumlah contoh dalam kelas dan skor IoU rata-rata tidak terkorelasi.

Analisis Kualitatif

Hasil kuantitatif yang dibahas di atas didukung oleh hasil kualitatif seperti yang ditunjukkan pada gambar berikut.

Untuk sebagian besar kelas, tidak ada perbedaan yang signifikan antara baseline pengelompokan dan prediksi yang dibuat oleh metode berbasis decoder. Pendekatan pengelompokan gagal memberikan hasil ketika jarak antara sampel dan bentuk rata-rata klaster tinggi, atau ketika bentuk rata-rata itu sendiri tidak dapat menjelaskan klaster dengan baik. Di sisi lain, kerangka yang menggunakan metode berbasis decoder dan arsitektur pengambilan memberikan hasil yang paling akurat dan menarik karena mereka dapat menyertakan detail halus dalam model 3D yang dihasilkan.

Rekonstruksi 3D Single-View: Pikiran Terakhir

Dalam artikel ini, kita telah membahas tentang Rekonstruksi 3D Single-View Objek, dan membahas bagaimana itu bekerja, dan membahas dua baseline: Pengambilan dan Pengelompokan, dengan baseline pengambilan outperform model saat ini yang paling mutakhir. Akhirnya, meskipun Rekonstruksi 3D Single-View Objek adalah salah satu topik terpanas dan paling banyak diteliti di komunitas AI, dan meskipun membuat kemajuan yang signifikan dalam beberapa tahun terakhir, Rekonstruksi 3D Single-View Objek masih jauh dari sempurna dengan hambatan yang signifikan untuk diatasi dalam beberapa tahun mendatang.