CGI Baru: Membuat Lingkungan Saraf Dengan Block-NeRF

Medan Radiasi Saraf (NeRF) memungkinkan objek dibuat ulang dan dieksplorasi di dalam jaringan saraf menggunakan hanya beberapa foto sudut pandang sebagai input, tanpa kompleksitas dan biaya metode CGI tradisional.

Namun, proses ini memerlukan biaya komputasi yang tinggi, yang awalnya membatasi lingkungan NeRF pada model meja. Meskipun demikian, NeRF telah diadopsi oleh komunitas penelitian yang dedikasi, yang selama setahun terakhir memungkinkan rekonstruksi luar serta manusia saraf yang dapat diedit, serta banyak inovasi lainnya.

Sekarang, sebuah inisiatif penelitian baru, yang melibatkan partisipasi Google Research, mengakui kemungkinan batas keras pada optimasi NeRF, dan fokus pada menjahit lingkungan NeRF untuk membuat lingkungan tetangga yang terdiri dari beberapa instance NeRF yang terkordinasi.

Sudut pandang dari jaringan Block-NeRF yang terhubung. Lihat video yang disematkan di akhir artikel, dan juga tautan sumber untuk video suplemen beresolusi tinggi. Sumber: https://waymo.com/research/block-nerf/

Mengarahkan jaringan NeRF yang terhubung secara efektif membuat NeRF dapat diskalakan dan modular, menyediakan lingkungan yang dapat dinavigasi yang memuat bagian tambahan dari lingkungan tetangga saat diperlukan, dengan cara yang mirip dengan metode optimasi sumber daya dari permainan video, di mana apa yang ada di sekitar sudut tidak dimuat sampai jelas bahwa lingkungan akan diperlukan.

Dalam upaya besar untuk memisahkan aspek-aspek terpisah seperti cuaca dan jam, Block-NeRF juga memperkenalkan ‘kode penampilan’, yang memungkinkan perubahan dinamis waktu hari:

Mengubah waktu hari dengan Block-NeRF. Lihat video yang disematkan di akhir artikel, dan juga tautan sumber untuk video suplemen beresolusi tinggi. Sumber: https://waymo.com/research/block-nerf/

Makalah baru tersebut menyarankan bahwa optimasi NeRF mendekati batas termalnya, dan bahwa penerapan lingkungan radiasi saraf di realitas virtual, jenis interaktif lainnya, dan VFX, kemungkinan akan bergantung pada operasi paralel, mirip dengan cara yang Hukum Moore akhirnya digantikan oleh arsitektur multi-inti, optimasi paralel, dan pendekatan baru untuk caching.

Penulis makalah tersebut (berjudul Block-NeRF: Sintesis Tampilan Saraf Adegan Besar yang Dapat Diskalakan) menggunakan 2,8 juta gambar untuk membuat adegan saraf terbesar yang pernah dicoba – sebuah seri lingkungan tetangga di San Francisco.

Block-NeRF menavigasi Katedral Grace di San Francisco. Lihat video yang disematkan di akhir artikel, dan juga tautan sumber untuk video suplemen beresolusi tinggi. Sumber: https://waymo.com/research/block-nerf/

Penulis utama makalah tersebut, yang mewakili UC Berkley, adalah Matthew Tancik, penemu Medan Radiasi Saraf, yang melakukan pekerjaan tersebut saat menjadi magang di perusahaan teknologi pengembangan kendaraan otonom Waymo, tuan rumah halaman proyek. Inisiatif tersebut juga menawarkan video ringkasan di YouTube, yang disematkan di akhir artikel ini, serta banyak contoh video pendukung dan suplemen di halaman proyek.

Makalah tersebut ditulis bersama oleh beberapa penemu NeRF lainnya, termasuk Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research), dan Jonathan T. Barron (Google Research). Kontributor lainnya adalah Vincent Casser, Xinchen Yan, Sabeek Pradhan, Henrik Kretzschmar, dan Vincent Casser, semua dari Waymo.

Block-NeRF dikembangkan terutama sebagai penelitian tentang lingkungan virtual untuk sistem kendaraan otonom, termasuk mobil dan drone yang dapat berkendara sendiri.

Jalan Embarcadero dari sudut pandang 180 derajat di Block-NeRF. Lihat video yang disematkan di akhir artikel, dan juga tautan sumber untuk video suplemen beresolusi tinggi. Sumber: https://waymo.com/research/block-nerf/

Faktor lain yang dapat diubah dinamis di Block-NeRF adalah aperture lensa (lihat gambar di atas), cuaca, dan musim.

Namun, mengubah musim dapat menyebabkan perubahan terkait di lingkungan, seperti pohon tanpa daun, yang memerlukan dataset input yang lebih ekstensif daripada yang dibangun untuk Block-NeRF. Makalah tersebut menyatakan:

‘[Daun] berubah musim dan bergerak di angin; ini menghasilkan representasi kabur dari pohon dan tanaman. Demikian pula, inkonsistensi temporal dalam data pelatihan, seperti pekerjaan konstruksi, tidak secara otomatis ditangani dan memerlukan pelatihan ulang blok yang terkena.’

Rendering Apokaliptik

Jika Anda melihat video yang disematkan di akhir, Anda akan melihat Walking Dead-style kesunyian di lingkungan Block-NeRF yang terhubung. Untuk berbagai alasan, tidak hanya untuk menyediakan lingkungan starter yang disimulasikan untuk sistem robot, mobil, pejalan kaki, dan objek sementara lainnya, sengaja dihapus dari materi sumber, tetapi ini telah meninggalkan beberapa artefak di belakang, seperti bayangan kendaraan yang ‘dihapus’:

Bayangan kendaraan yang ‘dihapus’. Sumber: https://waymo.com/research/block-nerf/

Untuk mengakomodasi berbagai lingkungan pencahayaan seperti siang atau malam, jaringan tersebut telah dilatih untuk menggabungkan aliran data yang terpisah yang terkait dengan setiap kondisi yang diinginkan. Dalam gambar di bawah, kita melihat aliran yang berkontribusi untuk footage Block-NeRF dari jalan raya pada siang dan malam hari:

Faset on-demand di balik render Block-NeRF yang ‘dibakar’, yang memungkinkan pengguna untuk mengaktifkan malam sesuai kebutuhan. Sumber: https://waymo.com/research/block-nerf/

Pertimbangan Lingkungan dan Etika

Selama beberapa tahun terakhir, pengajuan penelitian telah mulai menyertakan catatan dan penafian tentang kemungkinan dampak etika dan lingkungan dari pekerjaan yang diusulkan. Dalam kasus Block-NeRF, penulis mencatat bahwa kebutuhan energi tinggi, dan bahwa penghitungan objek sementara jangka pendek dan jangka panjang (seperti daun di pohon dan pekerjaan konstruksi, masing-masing) akan memerlukan pemindaian ulang data sumber secara teratur, yang akan meningkatkan ‘pengawasan’ di daerah perkotaan yang model sarafnya perlu diperbarui.

Penulis menyatakan:

‘Tergantung pada skala pekerjaan ini diterapkan, kebutuhan komputasi dapat menyebabkan atau memperburuk kerusakan lingkungan jika energi yang digunakan untuk komputasi menyebabkan peningkatan emisi karbon. Seperti yang disebutkan dalam makalah, kami memprediksi pekerjaan lebih lanjut, seperti metode caching, yang dapat mengurangi kebutuhan komputasi dan dengan demikian mengurangi kerusakan lingkungan.’

Mengenai pengawasan, mereka melanjutkan:

‘Aplikasi masa depan dari pekerjaan ini mungkin melibatkan upaya pengumpulan data yang lebih besar, yang meningkatkan kekhawatiran privasi lebih lanjut. Sementara gambar detail jalan raya umum sudah dapat ditemukan di layanan seperti Google Street View, metode kami dapat mempromosikan pemindaian ulang lingkungan yang lebih sering dan teratur. Beberapa perusahaan di ruang kendaraan otonom juga dikenal melakukan pemindaian area teratur menggunakan armada kendaraan mereka; namun beberapa mungkin hanya menggunakan pemindaian LiDAR yang kurang sensitif daripada mengumpulkan gambar kamera.’

Metode dan Solusi

Lingkungan NeRF individual dapat diskalakan, secara teori, ke ukuran apa pun sebelum dirakit menjadi array Block-NeRF. Ini membuka jalan untuk inklusi konten granular yang pasti berubah, seperti pohon, dan untuk identifikasi dan manajemen pekerjaan konstruksi, yang mungkin bertahan dalam waktu selama bertahun-tahun dari pengambilan ulang, tetapi kemungkinan akan berkembang dan akhirnya menjadi entitas yang konsisten.

Namun dalam penelitian awal ini, blok NeRF diskrit terbatas pada blok kota nyata dari setiap lingkungan yang digambarkan, dijahit bersama, dengan tumpang tindih 50% yang memastikan transisi konsisten dari satu blok ke blok lainnya saat pengguna menavigasi jaringan.

Setiap blok dibatasi oleh filter geografis. Penulis mencatat bahwa bagian ini dari kerangka kerja terbuka untuk otomatisasi, dan, mengejutkan, bahwa implementasi mereka bergantung pada OpenStreetMap bukan Google Maps.

Radius persimpangan untuk ruang render ‘aktif’ Block-NeRF. Sumber: Waymo

Blok dilatih secara paralel, dengan blok yang diperlukan dirender sesuai kebutuhan. Kode penampilan inovatif juga diarahkan di antara set blok, memastikan bahwa satu tidak melakukan perjalanan ke cuaca, waktu hari, atau bahkan musim yang berbeda tanpa pengawasan.

Segmen Block-NeRF dikondisikan pada eksposur dengan cara yang analog dengan High Dynamic Range (HDR) dalam materi sumber fotografi. Sumber: Waymo

Kemampuan untuk mengubah pencahayaan dan variabel lingkungan lainnya berasal dari Optimasi Laten Generatif yang diperkenalkan dalam NeRF di Alam (NeRF-W), yang sendiri berasal dari metode yang diperkenalkan dalam makalah penelitian Facebook AI 2019 Optimasi Ruang Laten Jaringan Generatif.

Model segmentasi semantik yang berasal dari Panoptic-DeepLab pada tahun 2020 digunakan untuk memblokir elemen yang tidak diinginkan (seperti orang dan kendaraan)

Data

Menemukan bahwa dataset perkotaan umum seperti CityScapes tidak sesuai untuk pekerjaan detail yang intensif seperti Block-NeRF, peneliti membuat dataset mereka sendiri. Data gambar diambil dari 12 kamera yang mencakup sudut pandang 360 derajat, dengan footage diambil pada 10 Hz dengan nilai eksposur skalar.

Lingkungan tetangga San Francisco yang diliput adalah Alamo Square dan Mission Bay. Untuk pengambilan Alamo Square, area sekitar 960m x 570m diliput, dibagi menjadi 35 instance Block-NeRF, masing-masing dilatih pada data dari 38 hingga 48 pengambilan data yang berbeda, dengan waktu pengemudi total 18-28 menit.

Jumlah gambar yang berkontribusi untuk setiap Block-NeRF berkisar antara 64.575 hingga 108.216, dan waktu pengemudi yang diwakili untuk area ini adalah 13,4 jam di seluruh 1.330 pengambilan data yang berbeda. Ini menghasilkan 2.818.745 gambar pelatihan hanya untuk Alamo Square. Lihat makalah untuk detail lebih lanjut tentang pengumpulan data untuk Mission Bay.

Dipublikasikan pertama kali pada 11 Februari 2022.