NeRF: Facebook Co-Research Mengembangkan Sintesis Video Campuran Statis/Dinamis

Kolaborasi antara Virginia Polytechnic Institute and State University dan Facebook telah menyelesaikan salah satu tantangan besar dalam sintesis video NeRF: mencampurkan citra statis dan dinamis serta video dalam Neural Radiance Fields (NeRF) output.

Sistem ini dapat menghasilkan adegan yang dapat dinavigasi yang menampilkan elemen video dinamis dan lingkungan statis, masing-masing direkam di lokasi, tetapi dipisahkan menjadi aspek yang dapat dikontrol dari lingkungan virtual:

Lebih lanjut, ini mencapai hal ini dari satu sudut pandang, tanpa memerlukan jenis array kamera multi yang dapat mengikat inisiatif seperti ini ke lingkungan studio.

Makalah paper, berjudul Sintesis Tampilan Dinamis dari Video Monokular Dinamis, bukanlah yang pertama mengembangkan alur kerja NeRF monokular, tetapi tampaknya merupakan yang pertama untuk melatih model waktu-bervariasi dan waktu-statis secara bersamaan dari input yang sama, dan menghasilkan kerangka kerja yang memungkinkan video gerak untuk ada di dalam ‘peta sebelumnya’ NeRF locale, serupa dengan jenis lingkungan virtual yang sering mengandung aktor dalam film SF dengan anggaran tinggi.

Di Luar D-NeRF

Peneliti telah harus merekayasa kembali kelenturan Dinamis NeRF (D-NeRF) dengan hanya satu titik pandang, dan tidak dengan banyaknya kamera yang digunakan D-NeRF. Untuk menyelesaikan ini, mereka memprediksi aliran adegan maju dan mundur dan menggunakan informasi ini untuk mengembangkan medan radiasi yang terdistorsi yang konsisten secara waktu.

Dengan hanya satu POV, diperlukan analisis aliran optik 2D untuk mendapatkan titik 3D dalam bingkai referensi. Titik 3D yang dihitung kemudian diberikan kembali ke kamera virtual untuk membangun ‘aliran adegan’ yang sesuai dengan aliran optik yang dihitung dengan aliran optik yang diperkirakan.

Pada saat pelatihan, elemen dinamis dan statis dipersatukan menjadi model lengkap sebagai aspek yang dapat diakses secara terpisah.

Dengan memasukkan perhitungan kerugian urutan kedalaman, model dan menerapkan regularisasi yang ketat dari prediksi aliran adegan dalam D-NeRF, masalah kabur gerak sangat diminimalkan.

Meskipun penelitian ini memiliki banyak hal untuk ditawarkan dalam hal mengatur perhitungan NeRF, dan sangat meningkatkan kelenturan dan kemampuan eksplorasi untuk output dari satu sudut pandang, setidaknya sama pentingnya adalah pemisahan dan reintegrasi elemen NeRF dinamis dan statis yang baru.

Mengandalkan kamera tunggal, sistem seperti ini tidak dapat meniru pandangan panopticon dari array kamera multi NeRF, tetapi dapat pergi ke mana saja, dan tanpa truk.

NeRF – Statis atau Video?

Baru-baru ini kita melihat beberapa penelitian NeRF yang mengesankan dari Cina yang dapat memisahkan elemen dalam adegan NeRF dinamis yang direkam dengan 16 kamera.

ST-NeRF (di atas) memungkinkan pemirsa untuk memposisikan kembali elemen yang terpisah dalam adegan yang direkam, dan bahkan untuk mengubah ukurannya, mengubah kecepatan putarnya, membekukannya atau menjalankannya secara terbalik. Selain itu, ST-NeRF memungkinkan pengguna untuk ‘menggulir’ melalui bagian mana pun dari busur 180 derajat yang direkam oleh 16 kamera.

Namun, peneliti makalah ST-NeRF mengakui dalam penutup bahwa waktu selalu berjalan dalam satu atau lain arah di bawah sistem ini, dan bahwa sulit untuk mengubah pencahayaan dan menerapkan efek pada lingkungan yang sebenarnya adalah video, bukan ‘lingkungan NeRF yang dipetakan secara statis’ yang tidak memiliki komponen bergerak, dan tidak perlu direkam sebagai video.

Lingkungan NeRF Statis yang Sangat Dapat Diedit

Adegan Neural Radiance Field statis, sekarang dipisahkan dari segmen video gerak, lebih mudah untuk diobati dan ditingkatkan dalam beberapa cara, termasuk relighting, seperti yang diusulkan awal tahun ini oleh NeRV (Neural Reflectance and Visibility Fields untuk Relighting dan Sintesis Tampilan), yang menawarkan langkah awal dalam mengubah pencahayaan dan/atau tekstur lingkungan atau objek NeRF:

Relighting objek NeRF dengan NeRV. Sumber: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing di NeRV, bahkan termasuk efek spekular fotorealistik. Karena dasar array gambar adalah statis, lebih mudah untuk memproses dan meningkatkan aspek NeRF dengan cara ini daripada mencakup efek di seluruh rangkaian bingkai video, membuat pra-pengolahan awal dan pelatihan akhir lebih ringan dan lebih mudah.