Rekonstruksi objek 3D tampilan-tunggal dengan jaringan konvolusi telah menunjukkan kemampuan luar biasa. Model rekonstruksi 3D tampilan-tunggal menghasilkan model 3D dari objek apa pun menggunakan satu gambar sebagai referensi, menjadikannya salah satu topik penelitian terpanas di bidang penglihatan komputer.

Misalnya, mari kita lihat motor di gambar di atas. Menghasilkan struktur 3D-nya memerlukan pipa yang kompleks yang pertama kali menggabungkan petunjuk dari gambar tingkat rendah dengan informasi semantik tingkat tinggi, dan pengetahuan tentang pengaturan struktural bagian-bagian.

Karena proses yang kompleks, Rekonstruksi 3D tampilan-tunggal telah menjadi tantangan besar di bidang penglihatan komputer. Dalam upaya untuk meningkatkan efisiensi Rekonstruksi 3D tampilan-tunggal, pengembang telah bekerja pada Citra Splatter, metode yang bertujuan untuk mencapai rekonstruksi bentuk dan penampilan 3D ultra-cepat dari objek. Di intinya, kerangka kerja Citra Splatter menggunakan metode Splatting Gaussian untuk menganalisis representasi 3D, memanfaatkan kecepatan dan kualitas yang ditawarkannya.

Baru-baru ini, metode Splatting Gaussian telah diimplementasikan oleh berbagai model rekonstruksi multi-tampilan untuk rendering waktu nyata, penskalaan yang ditingkatkan, dan pelatihan yang cepat. Dengan demikian, Citra Splatter adalah kerangka kerja pertama yang mengimplementasikan metode Splatting Gaussian untuk tugas rekonstruksi tampilan-tunggal.

Dalam artikel ini, kita akan menjelajahi bagaimana kerangka kerja Citra Splatter menggunakan Splatting Gaussian untuk mencapai rekonstruksi 3D tampilan-tunggal ultra-cepat. Jadi mari kita mulai.

Citra Splatter : Upaya Rekonstruksi 3D Tampilan-Tunggal Ultra-Cepat

Seperti yang disebutkan sebelumnya, Citra Splatter adalah pendekatan ultra-cepat untuk rekonstruksi objek 3D tampilan-tunggal berbasis metode Splatting Gaussian. Citra Splatter adalah kerangka kerja visi komputer pertama yang mengimplementasikan Splatting Gaussian untuk generasi objek 3D monokular karena secara tradisional, Splatting Gaussian telah memungkinkan kerangka kerja rekonstruksi objek 3D multi-tampilan. Namun, apa yang membedakan kerangka kerja Citra Splatter dari metode sebelumnya adalah bahwa ini adalah pendekatan berbasis pembelajaran, dan rekonstruksi pada pengujian hanya memerlukan evaluasi feed-forward dari jaringan saraf.

Citra Splatter secara fundamental bergantung pada kualitas rendering Splatting Gaussian dan kecepatan pemrosesan yang tinggi untuk menghasilkan rekonstruksi 3D. Kerangka kerja Citra Splatter memiliki desain yang sederhana: kerangka kerja menggunakan jaringan saraf 2D gambar-ke-gambar untuk memprediksi Gaussian 3D per piksel gambar input, dan memetakan gambar input ke satu Gaussian 3D per piksel. Gaussian 3D yang dihasilkan memiliki bentuk gambar, yang dikenal sebagai Citra Splatter, dan Gaussian juga menyediakan representasi 360 derajat dari gambar. Proses ini ditunjukkan pada gambar berikut.

Meskipun prosesnya sederhana dan lurus, ada beberapa tantangan utama yang dihadapi oleh kerangka kerja Citra Splatter ketika menggunakan Splatting Gaussian untuk menghasilkan Gaussian 3D untuk representasi 3D tampilan-tunggal. Tantangan utama pertama adalah merancang jaringan saraf yang menerima gambar objek sebagai input, dan menghasilkan campuran Gaussian yang sesuai yang mewakili semua sisi gambar sebagai output. Untuk mengatasi ini, Citra Splatter memanfaatkan kenyataan bahwa meskipun campuran Gaussian yang dihasilkan adalah sebuah set atau koleksi item yang tidak teratur, masih dapat disimpan dalam struktur data yang teratur. Oleh karena itu, kerangka kerja menggunakan gambar 2D sebagai wadah untuk Gaussian 3D sebagai hasilnya, setiap piksel dalam wadah berisi parameter dari satu Gaussian, termasuk sifat-sifat seperti bentuk, opasitas, dan warna.

Dengan menyimpan set Gaussian 3D dalam gambar, kerangka kerja Citra Splatter dapat mengurangi hambatan rekonstruksi yang dihadapi ketika mempelajari jaringan saraf gambar-ke-gambar. Dengan menggunakan pendekatan ini, proses rekonstruksi dapat diimplementasikan hanya dengan menggunakan operator 2D yang efisien, bukan mengandalkan operator 3D. Selain itu, dalam kerangka kerja Citra Splatter, representasi 3D adalah campuran Gaussian 3D yang memungkinkan untuk memanfaatkan kecepatan rendering dan efisiensi memori yang ditawarkan oleh Splatting Gaussian, yang meningkatkan efisiensi dalam pelatihan serta inferensi. Terus maju, kerangka kerja Citra Splatter tidak hanya menghasilkan representasi 3D tampilan-tunggal, tetapi juga menunjukkan efisiensi luar biasa karena dapat dilatih bahkan pada satu GPU pada benchmark objek 3D standar. Selain itu, kerangka kerja Citra Splatter dapat diperluas untuk menerima beberapa gambar sebagai input. Ini dapat dilakukan dengan mendaftarkan campuran Gaussian individu ke referensi umum dan kemudian menggabungkan campuran Gaussian yang diprediksi dari tampilan individu. Kerangka kerja juga menyuntikkan lapisan perhatian silang ringan dalam arsitektur yang memungkinkan tampilan yang berbeda untuk berkomunikasi satu sama lain selama prediksi.

Dari sudut pandang empiris, perlu dicatat bahwa kerangka kerja Citra Splatter dapat menghasilkan rekonstruksi 360 derajat dari objek bahkan jika hanya melihat satu sisi objek. Kerangka kerja kemudian mengalokasikan Gaussian yang berbeda dalam tetangga 2D ke bagian yang berbeda dari objek 3D untuk mengkodekan informasi 360 derajat yang dihasilkan dalam gambar 2D. Selain itu, kerangka kerja menetapkan opasitas beberapa Gaussian ke nol yang menonaktifkannya, sehingga memungkinkan untuk dihilangkan selama pemrosesan pasca.

Untuk merangkum, kerangka kerja Citra Splatter adalah

1. Pendekatan baru untuk menghasilkan rekonstruksi objek 3D tampilan-tunggal dengan memporting pendekatan Splatting Gaussian.
2. Memperluas metode untuk rekonstruksi objek 3D multi-tampilan.
3. Mencapai kinerja rekonstruksi objek 3D yang luar biasa pada benchmark standar dengan kecepatan dan kualitas yang luar biasa.

Citra Splatter : Metodologi dan Arsitektur

Splatting Gaussian

Seperti yang disebutkan sebelumnya, Splatting Gaussian adalah metode utama yang diimplementasikan oleh kerangka kerja Citra Splatter untuk menghasilkan rekonstruksi objek 3D tampilan-tunggal. Dalam istilah sederhana, Splatting Gaussian adalah metode rasterisasi untuk merekonstruksi gambar 3D dan rendering gambar waktu nyata dengan beberapa titik pandang. Ruang 3D dalam gambar disebut sebagai Gaussian, dan teknik pembelajaran mesin diimplementasikan untuk mempelajari parameter dari setiap Gaussian. Splatting Gaussian tidak memerlukan pelatihan selama rendering yang memfasilitasi waktu rendering yang lebih cepat. Gambar berikut merangkum arsitektur Splatting Gaussian 3D.

Splatting Gaussian 3D pertama kali menggunakan himpunan gambar input untuk menghasilkan awan titik. Splatting Gaussian kemudian menggunakan gambar input untuk memperkirakan parameter eksternal kamera seperti kemiringan dan posisi dengan mencocokkan piksel antara gambar, dan parameter ini kemudian digunakan untuk menghitung awan titik. Menggunakan berbagai metode pembelajaran mesin, Splatting Gaussian kemudian mengoptimalkan empat parameter untuk setiap Gaussian, yaitu: Posisi (di mana letaknya), Kovarians (seberapa jauh peregangan atau penskalaan dalam matriks 3×3), Warna (apa skema warna RGB), dan Alfa (mengukur transparansi). Proses optimasi merender gambar untuk setiap posisi kamera dan menggunakan untuk menentukan parameter yang lebih dekat dengan gambar asli. Sebagai hasilnya, output Splatting Gaussian 3D yang dihasilkan adalah gambar, yang disebut Citra Splatter, yang menyerupai gambar asli yang paling dekat dengan posisi kamera dari mana diambil.

Selain itu, fungsi opasitas dan fungsi warna dalam Splatting Gaussian memberikan lapangan radiasi dengan arah pandang titik 3D. Kerangka kerja kemudian merender lapangan radiasi ke gambar dengan mengintegrasikan warna yang diamati sepanjang sinar yang melewati piksel. Splatting Gaussian merepresentasikan fungsi-fungsi ini sebagai kombinasi Gaussian berwarna di mana mean Gaussian atau pusat serta kovarians Gaussian membantu menentukan bentuk dan ukuran. Setiap Gaussian juga memiliki sifat opasitas dan warna yang bergantung pada tampilan yang bersama-sama menentukan lapangan radiasi.

Citra Splatter

Komponen renderer memetakan himpunan Gaussian 3D ke gambar. Untuk melakukan rekonstruksi 3D tampilan-tunggal, kerangka kerja kemudian mencari fungsi invers untuk Gaussian 3D yang merekonstruksi campuran Gaussian 3D dari gambar. Kunci inklusi di sini adalah untuk mengusulkan desain yang efektif namun sederhana untuk fungsi invers. Secara khusus, untuk gambar input, kerangka kerja memprediksi Gaussian untuk setiap piksel individu menggunakan arsitektur jaringan saraf gambar-ke-gambar untuk menghasilkan gambar, Citra Splatter. Jaringan juga memprediksi bentuk, opasitas, dan warna.

Sekarang, mungkin diperkirakan bagaimana kerangka kerja Citra Splatter dapat menghasilkan rekonstruksi 3D dari objek bahkan jika hanya memiliki akses ke satu tampilan objek? Dalam waktu nyata, kerangka kerja Citra Splatter mempelajari untuk menggunakan beberapa Gaussian yang tersedia untuk merekonstruksi tampilan, dan menggunakan Gaussian yang tersisa untuk secara otomatis merekonstruksi bagian objek yang tidak terlihat. Untuk memaksimalkan efisiensinya, kerangka kerja dapat secara otomatis mematikan Gaussian dengan memprediksi jika opasitasnya nol. Jika opasitasnya nol, Gaussian dimatikan, dan kerangka kerja tidak merender titik-titik ini, dan dihilangkan dalam pemrosesan pasca.

Kehilangan Tingkat Gambar

Kelebihan besar dari memanfaatkan kecepatan dan efisiensi yang ditawarkan oleh metode Splatting Gaussian adalah bahwa memungkinkan kerangka kerja untuk merender semua gambar pada setiap iterasi, bahkan untuk batch dengan ukuran batch yang relatif lebih besar. Selain itu, ini berarti bahwa kerangka kerja tidak hanya dapat menggunakan kerugian yang dapat diuraikan, tetapi juga dapat menggunakan kerugian tingkat gambar yang tidak diuraikan menjadi kerugian per-piksel.

Normalisasi Skala

Sangat sulit untuk memperkirakan ukuran objek dengan melihat satu tampilan, dan ini adalah tugas yang sulit untuk menyelesaikan ketidakpastian ini ketika dilatih dengan kerugian. Masalah yang sama tidak terlihat pada dataset sintetis karena semua objek dirender dengan intrinsik kamera yang identik dan objek berada pada jarak tetap dari kamera, yang pada akhirnya membantu dalam menyelesaikan ketidakpastian. Namun, pada dataset dengan gambar kehidupan nyata, ketidakpastian ini sangat jelas, dan kerangka kerja Citra Splatter menggunakan beberapa metode pra-pemrosesan untuk memperbaiki skala semua objek.

Warna yang Bergantung pada Tampilan

Untuk merepresentasikan warna yang bergantung pada tampilan, kerangka kerja Citra Splatter menggunakan harmonik bola untuk menggeneralisasi warna di luar model warna Lambertian. Untuk setiap Gaussian tertentu, model mendefinisikan koefisien yang diprediksi oleh jaringan dan harmonik bola. Perubahan tampilan mengubah arah pandang dalam sumber kamera ke arah pandang yang sesuai dalam kerangka acuan. Model kemudian menemukan koefisien yang sesuai untuk menemukan fungsi warna yang diubah. Model dapat melakukannya karena harmonik bola tertutup, bersama dengan setiap urutan lainnya.

Arsitektur Jaringan Saraf

Sebagian besar arsitektur predictor yang memetakan gambar input ke kombinasi Gaussian identik dengan proses yang digunakan dalam kerangka kerja SongUNet. Lapisan terakhir dalam arsitektur digantikan oleh lapisan konvolusi 1×1 dengan model warna yang menentukan lebar saluran output. Diberikan gambar input, jaringan menghasilkan tensor saluran output sebagai output, dan untuk setiap piksel saluran, mengkodekan parameter yang kemudian diubah menjadi offset, opasitas, rotasi, kedalaman, dan warna. Kerangka kerja kemudian menggunakan fungsi nonlinier untuk mengaktifkan parameter dan mendapatkan parameter Gaussian.

Untuk merekonstruksi representasi 3D dengan multi-tampilan, kerangka kerja Citra Splatter menerapkan jaringan yang sama ke setiap tampilan input, dan kemudian menggunakan pendekatan tampilan untuk menggabungkan rekonstruksi individu. Selain itu, untuk memfasilitasi koordinasi dan pertukaran informasi yang efisien antara tampilan dalam jaringan, kerangka kerja Citra Splatter membuat dua modifikasi dalam jaringan. Pertama, kerangka kerja mengkondisikan model dengan pose kamera yang sesuai, dan melewatkan vektor dengan mengkodekan setiap entri menggunakan embedding posisi sinusoidal yang menghasilkan beberapa dimensi. Kedua, kerangka kerja menambahkan lapisan perhatian silang untuk memfasilitasi komunikasi antara fitur dari tampilan yang berbeda.

Citra Splatter : Eksperimen dan Hasil

Kerangka kerja Citra Splatter mengukur kualitas rekonstruksi dengan mengevaluasi kualitas sintesis tampilan baru karena kerangka kerja menggunakan tampilan sumber dan merender bentuk 3D ke tampilan yang tidak terlihat untuk melakukan rekonstruksi. Kerangka kerja mengevaluasi kinerjanya dengan mengukur skor SSIM atau Kesamaan Struktural, PSNR atau Rasio Sinyal ke Kebisingan Puncak, dan skor Kualitas Perseptual atau LPIPS.

Kinerja Rekonstruksi 3D Tampilan-Tunggal

Tabel berikut menunjukkan kinerja model Citra Splatter dalam tugas rekonstruksi 3D tampilan-tunggal pada benchmark ShapeNet.

Seperti yang dapat dilihat, kerangka kerja Citra Splatter mengungguli semua metode rekonstruksi deterministik di seluruh skor LPIPS dan SSIM. Skor ini menunjukkan bahwa model Citra Splatter menghasilkan gambar dengan rekonstruksi yang lebih tajam. Selain itu, model Citra Splatter juga mengungguli semua metode deterministik dalam skor PSNR yang menunjukkan bahwa rekonstruksi yang dihasilkan juga lebih akurat. Selain mengungguli semua metode deterministik, kerangka kerja Citra Splatter hanya memerlukan pose kamera relatif untuk meningkatkan efisiensinya dalam fase pelatihan dan pengujian.

Gambar berikut menunjukkan kekuatan kualitatif kerangka kerja Citra Splatter, dan seperti yang dapat dilihat, model menghasilkan rekonstruksi dengan geometri tipis dan menarik, dan menangkap detail dari tampilan yang dikondisikan.

Gambar berikut menunjukkan bahwa rekonstruksi yang dihasilkan oleh kerangka kerja Citra Splatter tidak hanya lebih tajam tetapi juga memiliki akurasi yang lebih baik daripada model sebelumnya, terutama dalam kondisi tidak biasa dengan struktur tipis dan visibilitas terbatas.

Rekonstruksi 3D Multi-Tampilan

Untuk mengevaluasi kemampuan rekonstruksi 3D multi-tampilannya, kerangka kerja Citra Splatter dilatih pada dataset SpaneNet-SRN Cars untuk prediksi dua tampilan. Metode yang ada menggunakan kondisi pose kamera absolut untuk tugas rekonstruksi 3D multi-tampilan yang berarti model mempelajari untuk mengandalkan orientasi kanonik objek dalam objek. Meskipun ini melakukan tugasnya, ini membatasi kemampuan model karena pose kamera absolut sering tidak diketahui untuk gambar baru dari objek.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Citra Splatter, metode yang bertujuan untuk mencapai rekonstruksi bentuk dan penampilan 3D ultra-cepat dari objek. Di intinya, kerangka kerja Citra Splatter menggunakan metode Splatting Gaussian untuk menganalisis representasi 3D, memanfaatkan kecepatan dan kualitas yang ditawarkannya. Kerangka kerja Citra Splatter memproses gambar menggunakan arsitektur 2D CNN yang siap pakai untuk memprediksi pseudo-gambar yang berisi satu Gaussian berwarna per setiap piksel. Dengan menggunakan metode Splatting Gaussian, kerangka kerja Citra Splatter dapat menggabungkan rendering yang cepat dengan inferensi yang cepat yang menghasilkan pelatihan yang cepat dan evaluasi yang lebih cepat pada benchmark sintetis dan nyata.