Relighting Neural Radiance Fields Dengan Peta Lingkungan Apa Pun

Sebuah makalah baru dari Max Planck Institute dan MIT telah mengusulkan sebuah teknik untuk mendapatkan disentanglement yang sebenarnya dari konten Neural Radiance Fields (NeRF) dari pencahayaan yang ada saat data dikumpulkan, memungkinkan ad hoc peta lingkungan untuk mengganti pencahayaan di adegan NeRF:

Teknik baru yang diterapkan pada data nyata. Perlu diingat bahwa metode ini bekerja bahkan pada data yang diarsipkan, yang tidak mempertimbangkan pipeline baru ini saat data dikumpulkan. Meskipun demikian, kontrol pencahayaan yang realistis dan ditentukan oleh pengguna diperoleh Sumber: https://arxiv.org/pdf/2207.13607.pdf

Pendekatan baru ini menggunakan program animasi 3D open source populer Blender untuk membuat ‘tahap cahaya virtual’, di mana banyak iterasi dari skenario pencahayaan yang mungkin dirender dan akhirnya dilatih ke dalam lapisan khusus di model NeRF yang dapat menampung peta lingkungan apa pun yang diinginkan pengguna untuk menerangi adegan.

Ilustrasi bagian pipeline yang menggunakan Blender untuk membuat tampilan tahap cahaya virtual dari geometri yang diekstrak. Metode sebelumnya yang mengikuti garis yang sama telah menggunakan tahap cahaya yang sebenarnya untuk menyediakan data ini, yang merupakan persyaratan yang berat untuk objek diskrit, dan mustahil untuk tampilan lingkungan luar. Di bagian kiri atas dari dua gambar kanan, kita dapat melihat peta lingkungan yang menentukan pencahayaan adegan. Peta-peta ini dapat dibuat secara sewenang-wenang oleh pengguna, membawa NeRF satu tahap lebih dekat ke fleksibilitas pendekatan CGI modern.

Pendekatan ini diuji melawan kerangka kerja rendering invers Mitsuba2, dan juga melawan karya sebelumnya PhySG, RNR, Neural-PIL dan NeRFactor, menggunakan hanya model iluminasi langsung, dan mendapatkan skor terbaik:

Hasil teknik baru, dibandingkan dengan pendekatan yang setara di bawah berbagai fungsi kerugian. Peneliti mengklaim bahwa pendekatan mereka menghasilkan metode dengan kualitas tertinggi, dengan hasil yang dievaluasi melalui Rasio Sinyal-ke-Noise Puncak (PSNR), Ukuran Kesamaan Struktural (SSIM), dan Kesamaan Patch Gambar yang Dipelajari (LPIPS).

Makalah tersebut menyatakan:

‘Hasil kualitatif dan kuantitatif kami menunjukkan langkah maju yang jelas dalam hal pemulihan parameter adegan serta kualitas sintesis pendekatan kami di bawah tampilan dan kondisi pencahayaan baru dibandingkan dengan keadaan seni sebelumnya.’

Peneliti menyatakan bahwa mereka akan segera merilis kode untuk proyek ini.

Keperluan Editabilitas NeRF

Disentanglement seperti ini telah terbukti menjadi tantangan yang signifikan bagi peneliti di bidang Neural Radiance Fields, karena NeRF pada dasarnya adalah teknik fotogrametri yang menghitung nilai piksel dari ribuan jalur yang mungkin dari sebuah titik pandang, mengatur nilai RGBD, dan merakit matriks dari nilai-nilai ini menjadi representasi volumetrik. Pada intinya, NeRF didefinisikan oleh pencahayaan.

Sebenarnya, meskipun visualnya yang mengesankan dan adopsi yang melimpah oleh NVIDIA (NVDA ), NeRF cukup ‘kaku’ – dalam istilah CGI, ‘dibakar’. Oleh karena itu, komunitas penelitian telah fokus pada meningkatkan traktabilitas dan fleksibilitasnya dalam hal ini selama 12-18 bulan terakhir.

Dalam hal signifikansi, taruhan untuk tonggak seperti ini sangat tinggi, dan mencakup kemungkinan untuk mengubah industri efek visual dari model kreatif dan kolaboratif yang berpusat pada pembuatan mesh, dinamika gerak, dan tekstur, ke model yang dibangun di sekitar rendering invers, di mana pipa VFX didorong oleh foto dunia nyata dari hal-hal nyata (atau bahkan, konseptual, model yang disintesis), bukan perkiraan, aproksimasi artisanal.

Untuk saat ini, masih relatif sedikit alasan untuk khawatir di antara komunitas efek visual, setidaknya dari Neural Radiance Fields. NeRF hanya memiliki kemampuan yang masih dalam tahap awal dalam hal pengaturan, penempatan, pengendalian kedalaman, artikulasi…dan tentu saja juga dalam hal pencahayaan. Video pendamping untuk makalah baru lain, yang menawarkan deformasi dasar untuk geometri NeRF, menggambarkan jurang besar antara keadaan seni saat ini dalam CGI dan upaya seminal dari teknik rendering neural.

Mengolah Elemen

Namun, karena perlu untuk memulai dari suatu tempat, peneliti untuk makalah baru ini telah mengadopsi CGI sebagai mekanisme kontrol dan produksi perantara, yang sekarang merupakan pendekatan umum menuju ruang laten kaku dari GAN dan jaringan linear yang hampir tidak dapat ditembus dari NeRF.

Secara efektif, tantangan utama adalah menghitung pencahayaan global (GI, yang tidak memiliki aplikasi langsung dalam rendering neural) ke dalam perhitungan Transfer Radiasi Pra-Hitung (PRT, yang dapat disesuaikan dengan rendering neural) yang setara.

GI adalah teknik rendering CGI yang sekarang sudah mapan yang memodelkan cara cahaya memantul dari permukaan dan ke permukaan lain, dan menggabungkan area cahaya yang dipantulkan ke dalam render, untuk meningkatkan realisme.

PRT digunakan sebagai fungsi pencahayaan perantara dalam pendekatan baru, dan kenyataan bahwa ini adalah komponen diskrit dan dapat diedit adalah yang mencapai disentanglement. Metode baru ini memodelkan material objek NeRF dengan PRT yang dipelajari.

Pencahayaan adegan sebenarnya dari data asli dipulihkan sebagai peta lingkungan dalam proses, dan geometri adegan itu sendiri diekstrak sebagai Medan Jarak Tanda Tangan (SDF) yang akan menyediakan mesh tradisional untuk Blender untuk dioperasikan di tahap cahaya virtual.

Gambaran pipeline untuk teknik baru.

Tahap pertama dalam proses ini adalah mengekstrak geometri adegan dari gambar multi-view yang tersedia melalui rekonstruksi permukaan implisit, melalui teknik yang digunakan dalam kolaborasi penelitian NeuS 2021.

Untuk mengembangkan bidang transfer radiasi neural (NRTF, yang akan menampung data pencahayaan), peneliti menggunakan Mitsuba 2 pelacak jalur diferensial.

Ini memfasilitasi optimisasi bersama dari fungsi distribusi hamburan bidireksional (BSDF), serta generasi peta lingkungan awal. Setelah BSDF dibuat, pelacak jalur dapat digunakan di Blender (lihat video yang disematkan langsung di atas) untuk membuat render adegan OLAT virtual.

NRTF kemudian dilatih dengan kerugian gabungan antara efek material fotorealistik dan data sintetik, yang tidak terkait satu sama lain.

Perbandingan dengan pendahulu NeRFactor, pada tantangan sintesis tampilan baru dan relighting.

Jalan Menuju Penerangan

Persyaratan pelatihan untuk teknik ini, meskipun jauh lebih rendah daripada waktu pelatihan NeRF asli, tidaklah tidak signifikan. Pada NVIDIA Quadro RTX 8000 dengan 48GB VRAM, pelatihan awal untuk estimasi cahaya dan tekstur awal membutuhkan waktu 30 menit; pelatihan OLAT (yaitu, pelatihan tangkapan tahap cahaya virtual) membutuhkan waktu 8 jam; dan optimisasi bersama akhir antara data sintetik dan nyata yang terdisentang membutuhkan waktu 16 jam lagi untuk mencapai kualitas optimal.

Lebih lanjut, representasi neural yang dihasilkan tidak dapat berjalan dalam waktu nyata, membutuhkan, menurut peneliti, ‘beberapa detik per frame’.

Peneliti menyimpulkan:

‘Hasil kami menunjukkan perbaikan yang jelas atas keadaan seni saat ini, sementara pekerjaan masa depan dapat melibatkan perbaikan lebih lanjut pada waktu pelaksanaan dan penalaran bersama geometri, material, dan pencahayaan adegan.’

Dipublikasikan pertama kali 28 Juli 2022.