Neural Rendering: NeRF Berjalan di Udara Segar

Kolaborasi antara Google Research dan Universitas Harvard telah mengembangkan metode baru untuk membuat video saraf 360 derajat menggunakan adegan lengkap Bidang Cahaya Saraf (NeRF). Pendekatan baru membawa NeRF selangkah lebih dekat ke penggunaan abstrak biasa di lingkungan apa pun, tanpa dibatasi model meja or skenario interior tertutup.

Lihat akhir artikel untuk video selengkapnya. Sumber: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 dapat menangani latar belakang yang diperluas dan objek 'tak terbatas' seperti langit, karena, tidak seperti kebanyakan iterasi sebelumnya, Mip-NeRF XNUMX membatasi cara menafsirkan sinar cahaya, dan menciptakan batasan perhatian yang merasionalisasikan waktu pelatihan yang lama. Lihat video penyerta baru yang disematkan di akhir artikel ini untuk lebih banyak contoh, dan wawasan yang diperluas tentang prosesnya.

Grafik kertas baru berjudul Mip-NeRF 360: Medan Cahaya Neural Anti-Aliased Tanpa Batas, dan dipimpin oleh Senior Staff Research Scientist di Google Research Jon Barron.

Untuk memahami terobosan tersebut, diperlukan pemahaman dasar tentang bagaimana fungsi sintesis citra berbasis bidang neural radiance.

Apa itu NeRF?

Sulit untuk menggambarkan jaringan NeRF dalam istilah 'video', karena lebih dekat ke realisasi 3D sepenuhnya tetapi Berbasis AI lingkungan virtual, tempat beberapa sudut pandang dari satu foto (termasuk bingkai video) digunakan untuk menyatukan sebuah adegan yang secara teknis hanya ada di ruang laten algoritme pembelajaran mesin – namun dari sana sejumlah besar sudut pandang dan video dapat diekstraksi sesuka hati .

Penggambaran beberapa titik tangkapan kamera yang menyediakan data yang disusun NeRF menjadi pemandangan saraf (gambar kanan).

Informasi yang diperoleh dari foto yang berkontribusi dilatih menjadi matriks yang mirip dengan tradisional jaringan voxel dalam alur kerja CGI, di mana setiap titik dalam ruang 3D diakhiri dengan sebuah nilai, membuat pemandangan dapat dinavigasi.

Matriks voxel tradisional menempatkan informasi piksel (yang biasanya ada dalam konteks 2D, seperti kisi piksel file JPEG) ke dalam ruang tiga dimensi. Sumber: ResearchGate

Setelah menghitung ruang interstisial di antara foto (jika perlu), jalur setiap piksel yang mungkin dari setiap foto yang berkontribusi secara efektif 'dilacak dengan sinar' dan diberi nilai warna, termasuk nilai transparansi (tanpanya matriks saraf akan sepenuhnya buram, atau benar-benar kosong).

Seperti jaringan voxel, dan tidak seperti Ruang koordinat 3D berbasis CGI, 'interior' dari objek 'tertutup' tidak ada dalam matriks NeRF. Anda dapat membuka kit drum CGI dan melihat ke dalamnya, jika Anda suka; tetapi sejauh menyangkut NeRF, keberadaan drum kit berakhir ketika nilai opasitas permukaannya sama dengan '1'.

Tampilan Piksel yang Lebih Luas

Mip-NeRF 360 adalah perpanjangan dari penelitian dari Maret 2021, yang secara efektif memperkenalkan anti-aliasing yang efisien ke NeRF tanpa supersampling yang lengkap.

NeRF secara tradisional menghitung hanya satu jalur piksel, yang cenderung menghasilkan jenis 'jaggies' yang mencirikan format gambar internet awal, serta sistem permainan sebelumnya. Tepi bergerigi ini diselesaikan dengan berbagai metode, biasanya melibatkan pengambilan sampel piksel yang berdekatan dan menemukan representasi rata-rata.

Karena NeRF tradisional hanya mengambil sampel satu jalur piksel, Mip-NeRF memperkenalkan area tangkapan 'kerucut', seperti obor sinar lebar, yang memberikan cukup informasi tentang berdekatan piksel untuk menghasilkan antialiasing yang ekonomis dengan detail yang lebih baik.

Tangkapan kerucut berbentuk kerucut yang digunakan Mip-NeRF diiris menjadi frustum berbentuk kerucut (gambar bawah), yang selanjutnya 'kabur' untuk membuat ruang Gaussian samar yang dapat digunakan untuk menghitung akurasi dan aliasing piksel. Sumber: https://www.youtube.com/watch?v=EpH175PY1A0

Peningkatan atas implementasi NeRF standar adalah penting:

Mip-NeRF (kanan), dirilis pada Maret 2021, memberikan detail yang lebih baik melalui saluran aliasing yang lebih komprehensif namun ekonomis, bukan hanya piksel 'buram' untuk menghindari tepi bergerigi. Sumber: https://jonbarron.info/mipnerf/

NeRF Tidak Terbatas

Makalah Maret meninggalkan tiga masalah yang belum terpecahkan sehubungan dengan penggunaan Mip-NeRF di lingkungan tanpa batas yang mungkin mencakup objek yang sangat jauh, termasuk langit. Makalah baru memecahkan ini dengan menerapkan a Gaya Kalman warp ke Mip-NeRF Gaussians.

Kedua, pemandangan yang lebih besar membutuhkan kekuatan pemrosesan yang lebih besar dan waktu pelatihan yang lebih lama, yang diselesaikan oleh Mip-NeRF 360 dengan 'menyaring' geometri pemandangan dengan 'proposal' kecil perceptron multi-lapisan (MLP), yang membatasi geometri yang diprediksi oleh MLP NeRF standar besar. Ini mempercepat pelatihan dengan faktor tiga.

Akhirnya, adegan yang lebih besar cenderung membuat diskritisasi dari geometri yang ditafsirkan menjadi ambigu, menghasilkan jenis artefak yang mungkin akrab bagi gamer saat keluaran game 'menangis'. Makalah baru membahas ini dengan membuat regularizer baru untuk interval sinar Mip-NeRF.

Di sebelah kanan, kami melihat artefak yang tidak diinginkan di Mip-NeRF karena kesulitan dalam membatasi pemandangan yang begitu besar. Di sebelah kiri, kita melihat bahwa regularizer baru telah mengoptimalkan pemandangan dengan cukup baik untuk menghilangkan gangguan ini.

Untuk mengetahui lebih lanjut tentang kertas baru, lihat video di bawah ini, dan juga Pengenalan video bulan Maret 2021 ke Mip-NeRF. Anda juga dapat mengetahui lebih lanjut tentang penelitian NeRF dengan memeriksa liputan kami selama ini.

Awalnya diterbitkan 25 November 2021
21 Desember 2021, 12:25 – Mengganti video mati. – MA