NeRFocus: Membawa Kontrol Fokus Ringan ke Neural Radiance Fields

Penelitian baru dari Tiongkok menawarkan metode untuk mencapai kontrol yang terjangkau atas efek kedalaman lapangan untuk Neural Radiance Fields (NeRF), memungkinkan pengguna akhir untuk mengatur fokus dan mengubah konfigurasi lensa virtual dalam ruang rendering.

Bernama NeRFocus, teknik ini menerapkan pendekatan ‘thin lens imaging’ baru untuk traversal fokus, dan mengembangkan P-training, strategi pelatihan probabilistik yang menghilangkan kebutuhan akan dataset kedalaman lapangan yang didedikasikan, dan menyederhanakan alur kerja pelatihan yang diaktifkan fokus.

Makalah paper ini berjudul NeRFocus: Neural Radiance Field untuk 3D Synthetic Defocus, dan berasal dari empat peneliti dari Sekolah Pascasarjana Shenzhen di Universitas Peking, dan Laboratorium Peng Cheng di Shenzhen, sebuah lembaga yang didanai oleh Pemerintah Provinsi Guangdong.

Mengatasi Locus Perhatian Foveated di NeRF

Jika NeRF ingin mengambil tempatnya sebagai teknologi pengemudi yang valid untuk realitas virtual dan augmented, maka NeRF memerlukan metode ringan untuk memungkinkan rendering foveated yang realistis, di mana sebagian besar sumber daya rendering terkonsentrasi di sekitar pandangan pengguna, bukan didistribusikan secara tidak diskriminatif pada resolusi yang lebih rendah di seluruh ruang visual yang tersedia.

Dari makalah 2021 Foveated Neural Radiance Fields untuk Real-Time dan Egocentric Virtual Reality, kita melihat locus perhatian dalam skema rendering foveated baru untuk NeRF. Sumber: https://arxiv.org/pdf/2103.16365.pdf

Bagian penting dari autentikasi penerapan NeRF egosentrik di masa depan akan menjadi kemampuan sistem untuk memantulkan kapasitas mata manusia untuk beralih fokus di sepanjang bidang perspektif yang mundur (lihat gambar pertama di atas).

Gradien fokus ini juga merupakan indikator perseptual dari skala adegan; pandangan dari helikopter yang terbang di atas kota akan memiliki bidang fokus yang tidak dapat dinavigasi, karena seluruh adegan ada di luar kapasitas fokus luar pengguna, sementara pemeriksaan adegan miniatur atau ‘dekat’ tidak hanya memungkinkan ‘fokus racking’, tetapi juga harus, untuk kepentingan realisme, mengandung bidang fokus yang sempit secara default.

Di bawah ini adalah video yang menunjukkan kemampuan awal NeRFocus, yang disediakan oleh penulis makalah yang sesuai:

Melampaui Bidang Fokus Terbatas

Sadari akan kebutuhan untuk kontrol fokus, beberapa proyek NeRF dalam beberapa tahun terakhir telah membuat provisi untuk itu, meskipun semua upaya hingga saat ini secara efektif merupakan solusi yang berbeda-beda, atau melibatkan rutinitas pasca-pengolahan yang cukup yang membuatnya tidak mungkin menjadi kontribusi pada lingkungan waktu nyata yang akhirnya diantisipasi untuk teknologi Neural Radiance Fields.

Kontrol fokus sintetis dalam kerangka rendering neural telah dicoba dengan berbagai metode dalam 5-6 tahun terakhir – misalnya, dengan menggunakan jaringan segmentasi untuk memagari data latar depan dan latar belakang, dan kemudian secara generik memburamkan latar belakang – sebuah solusi umum untuk efek fokus dua bidang yang sederhana.

Dari makalah ‘Automatic Portrait Segmentation for Image Stylization’, pemisahan bidang fokus yang sederhana dan bergaya animasi. Sumber: https://jiaya.me/papers/portrait_eg16.pdf

Representasi multi-bidang menambahkan beberapa ‘sel animasi’ virtual ke paradigma ini, misalnya dengan menggunakan estimasi kedalaman untuk memotong adegan menjadi gradien fokus yang kasar tetapi dapat diatur, dan kemudian mengatur kernel yang bergantung pada kedalaman untuk mensintesis buram.

Tambahan, dan sangat relevan dengan lingkungan AR/VR potensial, perbedaan antara dua sudut pandang pengaturan kamera stereo dapat digunakan sebagai proksi kedalaman – metode yang diusulkan oleh Google Research pada 2015.

Dari makalah yang dipimpin Google, Fast Bilateral-Space Stereo for Synthetic Defocus, perbedaan antara dua sudut pandang menyediakan peta kedalaman yang dapat memfasilitasi pemburaman. Namun, pendekatan ini tidak otentik dalam skenario yang dibayangkan di atas, di mana foto tersebut jelas diambil dengan lensa 35-50mm (standar SLR), tetapi pemburaman latar belakang yang ekstrem hanya akan terjadi dengan lensa yang melebihi 200mm, yang memiliki bidang fokus yang sangat terbatas yang menghasilkan bidang fokus yang sempit dalam lingkungan manusia yang normal. Sumber

Pendekatan semacam ini cenderung menunjukkan artefak tepi, karena mereka mencoba untuk merepresentasikan dua bidang fokus yang berbeda dan terbatas sebagai gradien fokus yang kontinu.

Pada 2021, inisiatif RawNeRF menawarkan fungsi High Dynamic Range (HDR), dengan kontrol yang lebih baik atas situasi cahaya rendah, dan kemampuan yang tampaknya impresif untuk mengatur fokus:

RawNeRF mengatur fokus dengan indah (meskipun, dalam kasus ini, tidak otentik karena bidang fokus yang tidak realistis), tetapi memerlukan biaya komputasi yang tinggi. Sumber: https://bmild.github.io/rawnerf/

Namun, RawNeRF memerlukan pra-komputasi yang berat untuk representasi multi-bidang dari NeRF yang dilatih, menghasilkan alur kerja yang tidak dapat dengan mudah disesuaikan dengan implementasi NeRF yang lebih ringan atau lebih rendah latensi.

Mengembangkan Lensa Virtual

NeRF sendiri didasarkan pada model pengambilan gambar pinhole, yang merender seluruh adegan dengan tajam dalam cara yang serupa dengan adegan CGI default (sebelum berbagai pendekatan yang merender buram sebagai efek pasca-pengolahan atau efek bawaan berdasarkan kedalaman lapangan).

NeRFocus menciptakan lensa virtual ‘tipis’ (bukan ‘apertur tanpa kaca’) yang menghitung jalur balok dari setiap piksel masuk dan merender secara langsung, efektif membalik proses pengambilan gambar standar, yang beroperasi post facto pada input cahaya yang telah dipengaruhi oleh sifat refraktif desain lensa.

Model ini memperkenalkan berbagai kemungkinan untuk rendering konten di dalam frustum (lingkaran pengaruh terbesar yang digambarkan pada gambar di atas).

Menghitung warna dan kepadatan yang benar untuk setiap multilayer perceptron (MLP) dalam kemungkinan yang lebih luas ini adalah tugas tambahan. Ini telah diselesaikan sebelumnya dengan menerapkan pelatihan yang diawasi pada sejumlah besar gambar DLSR, yang melibatkan pembuatan dataset tambahan untuk alur kerja pelatihan probabilistik – secara efektif melibatkan persiapan dan penyimpanan sumber daya komputasi yang laborius yang mungkin atau tidak mungkin diperlukan.

NeRFocus mengatasi ini dengan P-training, di mana dataset pelatihan dihasilkan berdasarkan operasi buram dasar. Dengan demikian, model dibentuk dengan operasi buram yang bawaan dan dapat dinavigasi.

Diameter aperture diatur ke nol selama pelatihan, dan probabilitas yang telah ditentukan digunakan untuk memilih kernel buram secara acak. Diameter yang diperoleh ini digunakan untuk menskalakan diameter setiap kerucut komposit, memungkinkan MLP untuk memprediksi radiasi dan kepadatan frustum (lingkaran lebar di gambar atas, yang mewakili zona transformasi maksimum untuk setiap piksel)

Penulis makalah baru mengamati bahwa NeRFocus secara potensial kompatibel dengan pendekatan HDR-driven dari RawNeRF, yang dapat membantu dalam rendering beberapa bagian yang menantang, seperti sorotan buram, dan banyak efek intensif komputasi lainnya yang telah menantang alur kerja CGI selama tiga puluh atau lebih tahun.

Proses ini tidak melibatkan persyaratan tambahan untuk waktu dan/atau parameter dibandingkan dengan pendekatan sebelumnya seperti NeRF inti dan Mip-NeRF (dan, kemungkinan Mip-NeRF 360, meskipun ini tidak dibahas dalam makalah), dan dapat diterapkan sebagai ekstensi umum pada metodologi neural radiance fields.

Dipublikasikan pertama kali pada 12 Maret 2022.