Rendering Neural: NeRF Berjalan di Udara Segar

Kolaborasi antara Google Research dan Harvard University telah mengembangkan metode baru untuk membuat video neural 360 derajat dari adegan lengkap menggunakan Neural Radiance Fields (NeRF). Pendekatan baru ini membawa NeRF lebih dekat ke penggunaan abstrak kasual di lingkungan apa pun, tanpa terbatas pada model meja atau skenario interior tertutup.

Lihat akhir artikel untuk video lengkap. Sumber: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 dapat menangani latar belakang yang diperpanjang dan ‘objek tak terhingga’ seperti langit, karena, tidak seperti kebanyakan iterasi sebelumnya, itu menetapkan batasan pada cara cahaya diterjemahkan, dan menciptakan batas perhatian yang rasionalisasi waktu pelatihan yang panjang. Lihat video baru yang disertakan di akhir artikel ini untuk contoh lebih lanjut, dan wawasan yang lebih dalam tentang prosesnya.

Makalah baru ini berjudul Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields, dan dipimpin oleh Senior Staff Research Scientist di Google Research Jon Barron.

Untuk memahami terobosan ini, perlu memiliki pemahaman dasar tentang bagaimana sintesis gambar berbasis neural radiance field berfungsi.

Apa itu NeRF?

Sulit untuk menjelaskan jaringan NeRF dalam istilah ‘video’, karena lebih dekat dengan lingkungan virtual 3D yang sepenuhnya direalisasikan tetapi berbasis AI, di mana beberapa sudut pandang dari foto tunggal (termasuk bingkai video) digunakan untuk menyatukan adegan yang secara teknis hanya ada di ruang laten algoritma pembelajaran mesin – tetapi dari mana sejumlah besar sudut pandang dan video dapat diekstrak sesuai keinginan.

Ilustrasi dari titik-titik pengambilan kamera yang menyediakan data yang NeRF satukan menjadi adegan neural (terlihat di sebelah kanan).

Informasi yang diperoleh dari foto-foto yang berkontribusi dilatih ke dalam matriks yang mirip dengan voxel grid dalam alur kerja CGI, di mana setiap titik di ruang 3D berakhir dengan nilai, membuat adegan dapat dinavigasi.

Matriks voxel tradisional menempatkan informasi piksel (yang biasanya ada dalam konteks 2D, seperti grid piksel file JPEG) ke dalam ruang tiga dimensi. Sumber: ResearchGate

Setelah menghitung ruang antara foto-foto (jika perlu), jalur setiap piksel yang mungkin dari setiap foto yang berkontribusi secara efektif ‘dijalurkan’ dan diberi nilai warna, termasuk nilai transparansi (tanpa yang matriks neural akan sepenuhnya tidak transparan, atau sepenuhnya kosong).

Seperti voxel grid, dan tidak seperti ruang koordinat 3D berbasis CGI, ‘interior’ dari objek ‘tertutup’ tidak ada dalam matriks NeRF. Anda dapat membelah drum kit CGI dan melihat ke dalam, jika Anda suka; tetapi sejauh NeRF berkaitan, keberadaan drum kit berakhir ketika nilai opasitas permukaannya sama dengan ‘1’.

Lebih Luas dari Sebuah Piksel

Mip-NeRF 360 adalah ekstensi dari penelitian dari Maret 2021, yang secara efektif memperkenalkan anti-aliasing yang efisien ke NeRF tanpa supersampling yang menyeluruh.

NeRF secara tradisional menghitung hanya satu jalur piksel, yang cenderung menghasilkan jenis ‘jaggies’ yang ditandai dengan format gambar internet awal, serta sistem game sebelumnya. Tepi-tepi yang kasar ini diselesaikan dengan berbagai metode, biasanya melibatkan pengambilan sampel piksel yang berdekatan dan menemukan representasi rata-rata.

Karena NeRF tradisional hanya mengambil sampel satu jalur piksel, Mip-NeRF memperkenalkan ‘area penangkapan’ konikal, seperti senter dengan balok yang lebar, yang menyediakan informasi yang cukup tentang piksel yang berdekatan untuk menghasilkan anti-aliasing yang ekonomis dengan detail yang ditingkatkan.

Area penangkapan konikal yang digunakan Mip-NeRF dipotong menjadi konikal frustum (gambar bawah), yang lebih lanjut ‘diburamkan’ untuk merepresentasikan ruang Gaussian yang kabur yang dapat digunakan untuk menghitung akurasi dan aliasing dari sebuah piksel. Sumber: https://www.youtube.com/watch?v=EpH175PY1A0

Perbaikan atas implementasi NeRF standar sangat mencolok:

Mip-NeRF (kanan), dirilis pada Maret 2021, menyediakan detail yang ditingkatkan melalui pipa anti-aliasing yang lebih komprehensif tetapi ekonomis, bukan hanya ‘memburamkan’ piksel untuk menghindari tepi yang kasar. Sumber: https://jonbarron.info/mipnerf/

NeRF Tak Terbatas

Makalah Maret meninggalkan tiga masalah yang belum terpecahkan terkait dengan penggunaan Mip-NeRF dalam lingkungan yang tidak terbatas yang mungkin termasuk objek yang sangat jauh, termasuk langit. Makalah baru ini memecahkan masalah ini dengan menerapkan warp gaya Kalman ke Gaussian Mip-NeRF.

Kedua, adegan yang lebih besar memerlukan daya pemrosesan yang lebih besar dan waktu pelatihan yang lebih lama, yang diselesaikan Mip-NeRF 360 dengan ‘mengarahkan’ geometri adegan dengan multi-layer perceptron (MLP) kecil, yang membatasi geometri yang diprediksi oleh MLP NeRF standar yang besar. Ini mempercepat waktu pelatihan hingga tiga kali lipat.

Akhirnya, adegan yang lebih besar cenderung membuat diskritisasi geometri yang ditafsirkan menjadi kabur, menghasilkan jenis artifact yang mungkin akrab bagi gamer ketika output game ‘sobek’. Makalah baru ini menangani masalah ini dengan menciptakan regularizer baru untuk interval sinar Mip-NeRF.

Di sebelah kanan, kita melihat artifact yang tidak diinginkan di Mip-NeRF karena kesulitan dalam membatasi adegan yang sangat besar. Di sebelah kiri, kita melihat bahwa regularizer baru telah mengoptimalkan adegan dengan cukup baik untuk menghilangkan gangguan ini.

Untuk mengetahui lebih lanjut tentang makalah baru, lihat video di bawah, dan juga pengenalan video Maret 2021 ke Mip-NeRF. Anda juga dapat mengetahui lebih lanjut tentang penelitian NeRF dengan memeriksa liputan kami sejauh ini.

Awalnya dipublikasikan 25 November 2021
21 Desember 2021, 12:25 – Menggantikan video yang sudah tidak aktif. – MA