ST-NeRF: Kompositing dan Editing untuk Sintesis Video

Sebuah konsorsium penelitian Tiongkok telah mengembangkan teknik untuk membawa kemampuan editing dan kompositing ke salah satu sektor penelitian sintesis gambar terpanas tahun lalu – Neural Radiance Fields (NeRF). Sistem ini disebut ST-NeRF (Spatio-Temporal Coherent Neural Radiance Field).

Apa yang tampak seperti gerakan kamera fisik dalam gambar di bawah sebenarnya hanya pengguna ‘menggulir’ melalui sudut pandang pada konten video yang ada dalam ruang 4D. POV tidak terkunci pada kinerja orang-orang yang digambarkan dalam video, yang gerakannya dapat dilihat dari bagian mana pun dari radius 180 derajat.

Setiap aspek dalam video adalah elemen yang ditangkap secara terpisah, dikompositkan menjadi adegan yang kohesif yang dapat dijelajahi secara dinamis.

Aspek-aspek tersebut dapat dengan bebas diduplikasi dalam adegan, atau diubah ukurannya:

Selain itu, perilaku temporal dari setiap aspek dapat dengan mudah diubah, diperlambat, dijalankan mundur, atau dimanipulasi dengan cara apa pun, membuka jalur untuk arsitektur filter dan tingkat interpretasi yang sangat tinggi.

Dua aspek NeRF terpisah berjalan pada kecepatan yang berbeda dalam adegan yang sama. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Tidak perlu melakukan rotoskopi pada pelaku atau lingkungan, atau memiliki pelaku melakukan gerakan mereka secara buta dan di luar konteks adegan yang dimaksud. Sebaliknya, footage direkam secara alami melalui array 16 kamera video yang menutupi 180 derajat:

Tiga elemen yang digambarkan di atas, dua orang dan lingkungan, adalah terpisah, dan hanya digarisbawahi untuk tujuan ilustrasi. Setiap elemen dapat dipertukarkan, dan setiap elemen dapat dimasukkan ke dalam adegan pada titik yang lebih awal atau lebih lambat dalam timeline capture individu.

ST-NeRF adalah inovasi pada penelitian Neural Radiance Fields (NeRF), sebuah kerangka kerja pembelajaran mesin yang memungkinkan multiple viewpoint capture disintesis menjadi ruang virtual yang dapat dinavigasi dengan ekstensif pelatihan (meskipun single viewpoint capture juga merupakan sub-sektor penelitian NeRF).

Neural Radiance Fields bekerja dengan mengumpulkan multiple capture viewpoint menjadi ruang 3D yang kohesif dan dapat dinavigasi, dengan celah antara cakupan diperkirakan dan dirender oleh jaringan neural. Di mana video (bukan gambar statis) digunakan, sumber daya rendering yang dibutuhkan seringkali besar. Sumber: https://www.matthewtancik.com/nerf

Minat pada NeRF telah menjadi intens dalam sembilan bulan terakhir, dan daftar Reddit yang dipelihara daftar kertas penelitian NeRF turunan atau eksploratif saat ini mencantumkan enam puluh proyek.

Beberapa cabang dari kertas penelitian NeRF asli. Sumber: https://crossminds.ai/graphlist/nerf-neural-radiance-fields-ai-research-graph-60708936c8663c4cfa875fc2/

Pelatihan Terjangkau

Makalah ini adalah kolaborasi antara peneliti di Universitas Teknologi Shanghai dan DGene Digital Technology, dan telah diterima dengan antusiasme di Open Review.

ST-NeRF menawarkan sejumlah inovasi atas inisiatif sebelumnya dalam ruang video navigasi yang dihasilkan ML. Tidak kurang, ia mencapai tingkat realisme yang tinggi dengan hanya 16 kamera. Meskipun Facebook’s DyNeRF menggunakan hanya dua kamera lebih dari ini, ia menawarkan busur navigasi yang jauh lebih terbatas.

Contoh lingkungan Facebook’s DyNeRF, dengan busur gerakan yang lebih terbatas, dan lebih banyak kamera per kaki persegi diperlukan untuk merekonstruksi adegan. Sumber: https://neural-3d-video.github.io

Selain tidak memiliki kemampuan untuk mengedit dan mengkompositkan aspek individu, DyNeRF juga sangat mahal dalam hal sumber daya komputasi. Sebaliknya, peneliti Tiongkok menyatakan bahwa biaya pelatihan untuk data mereka berkisar antara $900-$3.000, dibandingkan dengan $30.000 untuk model generasi video state-of-the-art DVDGAN, dan sistem intensif seperti DyNeRF.

Pengulas juga mencatat bahwa ST-NeRF membuat inovasi besar dalam memisahkan proses pembelajaran gerakan dari proses sintesis gambar. Pemisahan ini memungkinkan editing dan kompositing, dengan pendekatan sebelumnya yang kaku dan linier dibandingkan.

Meskipun 16 kamera adalah array yang sangat terbatas untuk busur pandangan setengah lingkaran penuh, peneliti berharap dapat mengurangi jumlah ini lebih lanjut dalam pekerjaan selanjutnya melalui penggunaan latar belakang statis pra-pindai, dan pendekatan pemodelan adegan yang lebih data-driven. Mereka juga berharap dapat mengintegrasikan kemampuan re-lighting, inovasi baru-baru ini dalam penelitian NeRF.

Mengatasi Keterbatasan ST-NeRF

Dalam konteks makalah penelitian CS akademis yang cenderung membuang kemampuan aktual dari sistem baru dalam paragraf akhir, bahkan keterbatasan yang diakui oleh peneliti untuk ST-NeRF tidak biasa.

Mereka mengamati bahwa sistem tidak dapat saat ini mengindividuasi dan merender objek tertentu dalam adegan, karena orang-orang dalam footage dipecah menjadi entitas individu melalui sistem yang dirancang untuk mengenali manusia dan tidak objek – masalah yang tampaknya mudah diselesaikan dengan YOLO dan kerangka kerja serupa, dengan pekerjaan yang lebih sulit dari ekstraksi video manusia sudah diselesaikan.

Meskipun peneliti mencatat bahwa saat ini tidak mungkin untuk menghasilkan gerakan lambat, tampaknya tidak ada yang menghalangi implementasi ini menggunakan inovasi yang ada dalam interpolasi bingkai seperti DAIN dan RIFE.

Sebagaimana dengan semua implementasi NeRF, dan di banyak sektor lain penelitian penglihatan komputer, ST-NeRF dapat gagal dalam kasus oklusi parah, di mana subjek sementara terhalang oleh orang lain atau objek, dan mungkin sulit untuk melacak atau mengambil kembali dengan akurat. Sebagaimana di tempat lain, kesulitan ini mungkin harus menunggu solusi hulu. Sementara itu, peneliti mengakui bahwa intervensi manual diperlukan dalam bingkai yang teroklusi.

Akhirnya, peneliti mengamati bahwa prosedur segmentasi manusia saat ini bergantung pada perbedaan warna, yang dapat menyebabkan penggabungan tidak sengaja dua orang menjadi satu blok segmentasi – hambatan yang tidak terbatas pada ST-NeRF, tetapi intrinsik pada perpustakaan yang digunakan, dan yang mungkin dapat diatasi oleh analisis aliran optik dan teknik lain yang muncul.

Dipublikasikan pertama kali pada 7 Mei 2021.