NeRF: Facebook Co-Research Mengembangkan Sintesis Video Campuran Statis/Dinamis

Kolaborasi antara Virginia Polytechnic Institute and State University dan Facebook telah menyelesaikan salah satu tantangan besar dalam sintesis video NeRF: mencampurkan gambar dan video statis dan dinamis secara bebas dalam Neural Radiance Fields (NeRF) output.

Sistem ini dapat menghasilkan adegan yang dapat dinavigasi yang menampilkan elemen video dinamis dan lingkungan statis, masing-masing direkam di lokasi, tetapi dipisahkan menjadi aspek yang dapat dikontrol dari lingkungan virtual:

Selain itu, ini mencapai hal ini dari satu sudut pandang, tanpa memerlukan jenis array kamera multi yang dapat mengikat inisiatif seperti ini ke lingkungan studio.

Makalah paper, berjudul Sintesis Tampilan Dinamis dari Video Monokular Dinamis, bukan yang pertama mengembangkan alur kerja NeRF monokular, tetapi tampaknya merupakan yang pertama untuk melatih model waktu-bervariasi dan model waktu-statis dari input yang sama, dan menghasilkan kerangka kerja yang memungkinkan video gerak untuk ada di dalam ‘pre-mapped’ NeRF lokasi, mirip dengan jenis lingkungan virtual yang sering mengandung aktor dalam film SF dengan anggaran tinggi.

Di Luar D-NeRF

Peneliti telah harus merekayasa kembali kelenturan Dinamis NeRF (D-NeRF) dengan hanya satu titik pandang, dan tidak dengan multiplicity kamera yang digunakan D-NeRF. Untuk menyelesaikan ini, mereka memprediksi aliran adegan maju dan mundur dan menggunakan informasi ini untuk mengembangkan medan radiasi yang terdistorsi yang konsisten secara waktu.

Dengan hanya satu POV, diperlukan analisis aliran optik 2D untuk mendapatkan titik 3D dalam bingkai referensi. Titik 3D yang dihitung kemudian diberikan kembali ke kamera virtual untuk mengatur ‘aliran adegan’ yang sesuai dengan aliran optik yang dihitung dengan aliran optik yang diperkirakan.

Pada saat pelatihan, elemen dinamis dan statis direkonsiliasi menjadi model penuh sebagai aspek yang dapat diakses secara terpisah.

Dengan memasukkan perhitungan kerugian urutan kedalaman, model dan menerapkan regularisasi ketat dari prediksi aliran adegan di D-NeRF, masalah kabur gerak sangat diminimalkan.

Meskipun penelitian ini memiliki banyak hal untuk ditawarkan dalam hal meregulasi perhitungan NeRF, dan sangat meningkatkan kelenturan dan fasilitas eksplorasi untuk output dari satu POV, setidaknya sama pentingnya adalah pemisahan dan reintegrasi elemen NeRF dinamis dan statis yang novel.

Mengandalkan kamera tunggal, sistem seperti ini tidak dapat mereplikasi tampilan panopticon dari array kamera multi NeRF, tetapi dapat pergi ke mana saja, dan tanpa truk.

NeRF – Statis atau Video?

Baru-baru ini kita melihat beberapa penelitian NeRF yang mengesankan dari Cina yang dapat memisahkan elemen dalam adegan NeRF dinamis yang direkam dengan 16 kamera.

ST-NeRF (di atas) memungkinkan pemirsa untuk memposisikan kembali elemen yang terindividuasi dalam adegan yang direkam, dan bahkan untuk mengubah ukuran mereka, mengubah kecepatan pemutaran, membekukan mereka atau menjalankannya secara terbalik. Selain itu, ST-NeRF memungkinkan pengguna untuk ‘menggulir’ melalui bagian mana pun dari busur 180 derajat yang direkam oleh 16 kamera.

Namun, peneliti dari makalah ST-NeRF mengakui dalam penutup bahwa waktu selalu berjalan dalam satu atau lain arah di bawah sistem ini, dan bahwa sulit untuk mengubah pencahayaan dan menerapkan efek pada lingkungan yang sebenarnya adalah video, bukan ‘statis-mapped’ NeRF lingkungan yang tidak memiliki komponen bergerak, dan tidak perlu direkam sebagai video.

Lingkungan NeRF Statis yang Sangat Dapat Diedit

Adegan Neural Radiance Field statis, sekarang terisolasi dari segmen video gerak, lebih mudah untuk diobati dan ditingkatkan dalam beberapa cara, termasuk relighting, seperti yang diusulkan awal tahun ini oleh NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), yang menawarkan langkah awal dalam mengubah pencahayaan dan/atau tekstur dari lingkungan atau objek NeRF:

Relighting objek NeRF dengan NeRV. Sumber: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing di NeRV, bahkan termasuk efek spekular fotorealistik. Karena dasar array gambar adalah statis, lebih mudah untuk memproses dan meningkatkan aspek NeRF dengan cara ini daripada mencakup efek di seluruh rangkaian bingkai video, membuat pra-pengolahan awal dan pelatihan akhir lebih ringan dan lebih mudah.