NeRF Melangkah Lebih Dekat untuk Menggantikan CGI

Peneliti di MIT dan Google telah membuat langkah besar dalam memecahkan salah satu hambatan paling mendasar untuk teknologi AI yang sedang berkembang yang mungkin akhirnya menggantikan CGI – memisahkan citra neural radiance field (NeRF) menjadi komponen visual yang berbeda, sehingga citra dapat diubah tekstur dan pencahayaannya.

Pendekatan baru, yang disebut NeRFactor, secara efektif membagi citra yang ditangkap menjadi per-objek normal (di mana tekstur dapat ditugaskan), visibilitas cahaya, albedo (proporsi cahaya insiden yang dipantulkan dari permukaan) dan Fungsi Distribusi Refleksi Bidireksional (BRDFs).

Dengan aspek-aspek ini diisolasi, memungkinkan tidak hanya untuk mengganti tekstur untuk objek atau grup objek individu, tetapi juga untuk menambahkan sumber cahaya dan implementasi bayangan yang baru dan unik, tanpa memperhitungkan yang ditangkap oleh array kamera multi yang menghasilkan input untuk citra NeRF.

Normals, visibilitas, albedo dan BRDF dipisahkan di bawah NeRFactor. Sumber: https://www.youtube.com/watch?v=UUVSPJlwhPg

Model ini mendukung bayangan lunak atau keras dari sumber cahaya yang ditentukan oleh pengguna, dan memisahkan empat aspek citra yang ditangkap secara programatis, menggunakan kerugian rekonstruksi, data dari perhitungan sebelumnya dari BRDF, dan regularisasi kehalusan sederhana.

Alur kerja NeRFactor, mengekstrak aspek-aspek citra yang dapat diambil dari array kamera multi. Sumber: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor menggunakan probe cahaya HDR, sebuah pendekatan yang sudah mapan yang telah memasuki industri visual dan seni sejak perkenalannya pada 1998, untuk mengevaluasi rute yang mungkin untuk sinar, yang memungkinkan pencahayaan yang sewenang-wenang. Karena ini menghasilkan jumlah parameter yang tidak terkendali, probe cahaya difilter melalui multi-layer perceptron (MLP), yang memetakan geometri yang dirasakan ke probe tanpa mencoba menghitung peta volume cahaya yang lengkap untuk ruang model.

Dua model neural radiance field digunakan untuk menunjukkan lima model pencahayaan yang mungkin di bawah NeRFactor. Klik gambar untuk resolusi yang lebih tinggi.

Alasan untuk Refleksi

Penelitian baru ini mungkin paling signifikan dalam memisahkan lapisan citra yang ditangkap yang mengontrol refleksi. Ini tetap menjadi salah satu tantangan terbesar untuk citra neural radiance field, karena sistem NeRF yang benar-benar baru dan fleksibel akan memerlukan tidak hanya kemampuan untuk mengganti tekstur, tetapi juga cara untuk merefleksikan objek yang bergerak (selain hanya lingkungan yang tetap) yang biasanya akan dihitung dalam alur kerja CGI.

Masalah ini telah dicatat baru-baru ini sehubungan dengan penelitian Intel yang impresif tentang mengubah footage videogame menjadi video photorealistic melalui jaringan neural konvolusional. Dalam alur kerja seperti itu, banyak aspek ‘baked’ dari bahan sumber akan perlu menjadi diskrit dan dapat dipertukarkan, dan ini secara argumentatif lebih mudah untuk dipecahkan untuk pencahayaan (yang merupakan fungsi dari geometri yang dirender dalam NeRF) daripada untuk refleksi (yang menggunakan ‘geometri off-screen’ yang sepenuhnya di luar cakupan model).

Oleh karena itu, mengisolasi lapisan dalam video NeRF yang memfasilitasi refleksi membawa NeRF satu langkah lebih dekat untuk memecahkan tantangan ‘refleksi’.

Penggunaan lingkungan HDR sudah memecahkan masalah menghasilkan refleksi lingkungan dunia (yaitu langit, lanskap, dan faktor ambient lainnya), tetapi pendekatan baru akan diperlukan untuk memperkenalkan refleksi yang bergerak dan dinamis.

Fotogrametri dengan NeRF

Citra Neural Radiance Field menggunakan analisis machine learning untuk mengembangkan ruang volumetrik yang lengkap dari adegan atau objek yang telah ditangkap dari beberapa sudut.

Berbagai skema NeRF yang muncul dalam setahun terakhir telah menggunakan sejumlah perangkat kamera yang berkontribusi; beberapa menggunakan 16 atau lebih kamera, yang lain hanya satu atau dua. Dalam semua kasus, titik-titik pandang intermediate ‘diisi’ (yaitu diinterpretasikan) sehingga adegan atau objek dapat dinavigasi dengan lancar.

Entitas yang dihasilkan adalah ruang volumetrik yang lengkap, dengan pemahaman intrinsik 3D yang dapat dieksploitasi dalam banyak cara, termasuk kemampuan untuk menghasilkan mesh CG tradisional dari jumlah 3D-parsed dari gambar input.

NeRF dalam Konteks ‘CGI Baru’

Citra neural radiance field diambil langsung dari gambar dunia nyata, termasuk gambar bergerak dari orang, objek, dan adegan. Berbeda dengan metode CGI, yang ‘mempelajari’ dan menafsirkan dunia, memerlukan pekerja terampil untuk membangun mesh, rig, dan tekstur yang menggunakan gambar dunia nyata (yaitu penangkapan wajah dan lingkungan). Ini tetap menjadi pendekatan interpretatif dan artisanal yang mahal dan memakan waktu.

Selain itu, CGI telah memiliki masalah yang berkelanjutan dengan efek ‘lembah yang tidak menyenangkan’ dalam upaya untuk merekayasa kesamaan manusia, yang tidak menjadi kendala bagi pendekatan NeRF, yang hanya menangkap video atau gambar dari orang-orang nyata dan memanipulasi mereka.

Lebih lanjut, NeRF dapat menghasilkan geometri mesh CGI tradisional langsung dari foto jika perlu, dan pada dasarnya dapat menggantikan banyak prosedur manual yang selalu diperlukan dalam citra yang dihasilkan komputer.

Tantangan untuk NeRF

Penelitian terbaru ini dari MIT dan Google datang dalam konteks banjir kertas NeRF selama setahun terakhir, banyak di antaranya telah menawarkan solusi untuk tantangan yang berbeda yang ditimbulkan oleh kertas awal 2020.

Pada April, inovasi dari konsorsium penelitian Cina memberikan cara untuk mengisolasi secara diskrit garis waktu individu dari aspek dalam adegan NeRF, termasuk orang.

Penelitian Cina memungkinkan pengguna untuk menyalin, menempel, dan mengubah ukuran elemen yang ditangkap, melepaskannya dari timeline linier video sumber asli. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Pendekatan ini tidak hanya memungkinkan untuk membayangkan adegan dari sudut mana pun yang ditangkap oleh array kamera (dan tidak hanya satu pandangan yang diwakili dalam capture video biasa), tetapi juga memungkinkan komposisi yang serbaguna – dan bahkan kemampuan untuk mewakili dua aspek dari footage yang sama yang berjalan dalam kerangka waktu mereka sendiri (atau bahkan berjalan mundur, jika perlu).

Penelitian Cina memungkinkan pengguna untuk menyalin, menempel, dan mengubah ukuran elemen yang ditangkap, melepaskannya dari timeline linier video sumber asli. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Salah satu tantangan terbesar untuk NeRF adalah menurunkan sumber daya yang cukup besar yang diperlukan untuk melatih adegan, dan ini telah diatasi dalam beberapa kertas terbaru. Misalnya, Institut Max Planck untuk Sistem Cerdas baru-baru ini memperkenalkan KiloNeRF, yang tidak hanya mempercepat waktu rendering dengan faktor 1000, tetapi juga memungkinkan NeRF untuk beroperasi secara interaktif.

KiloNeRF menjalankan lingkungan interaktif pada 50fps di GTX 1080ti. Sumber: https://github.com/creiser/kilonerf

Namun, inovasi kecepatan NeRF yang benar-benar menangkap imajinasi peneliti dan masyarakat umum pada 2021 telah menjadi PlenOctrees kolaborasi, yang dipimpin oleh UC Berkeley, yang menawarkan rendering waktu nyata dari Neural Radiance Fields:

Efek kemampuan interaktif PlenOctrees telah direproduksi dalam antarmuka web berbasis.

Gerakan interaktif objek PlenOctrees di Firefox (gerakan lebih halus dan dinamis daripada GIF ini). Sumber: http://alexyu.net/plenoctrees/demo/

Tambahan, Recursive-NeRF (dari kertas Mei 2021 oleh peneliti di Tsinghua University) menawarkan rendering rekursif berkualitas tinggi sesuai permintaan. Sebagai gantinya untuk memaksa pengguna untuk merender seluruh adegan, termasuk bagian yang mungkin tidak terlihat, Recursive-NeRF menyediakan sesuatu yang mirip dengan kompresi lossy JPEG, dan dapat menghasilkan sub-NeRF diskrit untuk menangani gambar tambahan sesuai permintaan – mencapai penghematan besar dalam sumber daya komputasi.

Mempertahankan detail sambil membuang perhitungan render yang tidak perlu dengan Recursive-NeRF. Klik gambar untuk resolusi yang lebih tinggi. Sumber: https://arxiv.org/pdf/2105.09103.pdf

Pendekatan lain termasuk FastNeRF, yang mengklaim mencapai rendering neural berkualitas tinggi pada 200fps.

Telah dicatat bahwa banyak teknik optimasi untuk NeRF melibatkan ‘baking’ adegan, dengan berkomitmen pada aspek yang diinginkan untuk dirender dan membuang aspek lain, yang membatasi eksplorasi tetapi mempercepat interaktivitas secara signifikan.

Kelemahan dari ini adalah bahwa stres berpindah dari GPU ke penyimpanan, karena adegan yang dipanggang memerlukan ruang disk yang sangat besar; sampai batas tertentu, ini dapat dimitigasi dengan downsampling data yang dipanggang, meskipun ini juga melibatkan komitmen tertentu, dalam hal menutup jalur eksplorasi atau interaktivitas.

Mengenai penangkapan gerak dan rigging, pendekatan baru dari Universitas Zheijang dan Cornell, yang diungkapkan pada Mei, menawarkan metode untuk merekayasa manusia yang dapat dianimasikan menggunakan bidang berat campuran dan struktur tulang yang diinterpretasikan dari video input:

Struktur tulang yang dihasilkan dalam Animatable NeRF. Sumber: https://www.youtube.com/watch?v=eWOSWbmfJo4

Kapan NeRF Akan Memiliki ‘Momen Jurassic Park’?

Meskipun kemajuan yang cepat dalam sintesis gambar melalui bidang radiance neural, ini hanya pada periode ini bahwa semacam ‘hukum termodinamika’ akan ditetapkan untuk seberapa jauh NeRF dapat diterapkan. Dalam hal timeline yang analog dengan sejarah CGI, NeRF saat ini mengambang sekitar 1973, tepat sebelum penggunaan pertama CGI dalam Westworld.

Itu tidak berarti NeRF harus menunggu sembilan tahun untuk mencapai milestone yang setara dengan Wrath Of Khan, atau dekade untuk mencapai kemajuan yang sama yang dicapai CGI di bawah patronase James Cameron yang antusias pada 1989’s The Abyss atau 1991’s Terminator 2 – dan kemudian, teknologi ini benar-benar momen pemecahan pada 1993’s Jurassic Park.

Adegan penggambaran telah berubah banyak sejak periode panjang stagnasi untuk efek visual foto-kimia, yang mendominasi produksi film dan televisi dari kelahiran sinema hingga awal 1990-an. Kemajuan revolusi PC dan percepatan hukum Moore telah menyebabkan revolusi CGI, yang sebaliknya bisa terjadi sejak 1960-an.

Tetap untuk dilihat apakah ada hambatan yang begitu kuat sehingga dapat menahan kemajuan NeRF selama itu – dan jika inovasi selanjutnya dalam visi komputer mungkin tidak mengalahkan NeRF sebagai kontender utama untuk mahkota CGI, menggambarkan bidang radiance neural sebagai ‘mesin faks’ yang singkat dari sintesis gambar neural.

Sejauh ini, NeRF belum digunakan dalam konteks apa pun di luar penelitian akademis; tetapi perlu diingat bahwa pemain besar seperti Google Research, dan banyak laboratorium visi komputer yang paling terkemuka bersaing untuk mencapai kemajuan NeRF terbaru.

Banyak hambatan NeRF terbesar telah mulai diatasi langsung tahun ini; jika penelitian selanjutnya menawarkan solusi untuk ‘masalah refleksi’, dan banyak benang penelitian NeRF-optimizing yang bersatu menjadi solusi yang menentukan untuk kebutuhan pemrosesan dan/atau penyimpanan teknologi yang cukup besar, NeRF benar-benar memiliki kesempatan untuk menjadi ‘CGI baru’ dalam lima tahun ke depan.