Kecerdasan buatan
Relighting Neural Radiance Fields Dengan Peta Lingkungan Apa Pun
Sebuah makalah baru dari Max Planck Institute dan MIT telah mengusulkan sebuah teknik untuk mendapatkan disentanglement yang sebenarnya dari konten Neural Radiance Fields (NeRF) dari pencahayaan yang ada saat data dikumpulkan, memungkinkan peta lingkungan ad hoc untuk mengganti pencahayaan di adegan NeRF:
Teknik baru yang diterapkan pada data nyata. Hal ini patut dicatat bahwa metode ini bekerja bahkan pada data yang diarsipkan dari jenis ini, yang tidak mempertimbangkan pipeline baru saat data dikumpulkan. Meskipun demikian, kontrol pencahayaan yang realistis dan ditentukan pengguna diperoleh. Sumber: https://arxiv.org/pdf/2207.13607.pdf
Pendekatan baru ini menggunakan program animasi 3D sumber terbuka populer Blender untuk membuat ‘tahap cahaya virtual’, di mana banyak iterasi dari skenario pencahayaan yang mungkin dirender dan akhirnya dilatih ke dalam lapisan khusus di model NeRF yang dapat menampung peta lingkungan apa pun yang diinginkan pengguna untuk menerangi adegan.
Gambaran dari bagian pipeline yang menggunakan Blender untuk membuat tampilan tahap cahaya virtual dari geometri yang diekstrak. Metode sebelumnya yang mengikuti garis serupa telah menggunakan tahap cahaya nyata untuk menyediakan data ini, yang merupakan persyaratan yang membebani untuk objek diskrit, dan mustahil untuk tampilan lingkungan luar. Di bagian kiri atas dari dua gambar kanan, kita dapat melihat peta lingkungan yang menentukan pencahayaan adegan. Peta-peta ini dapat dibuat secara sewenang-wenang oleh pengguna akhir, membawa NeRF satu tahap lebih dekat ke fleksibilitas pendekatan CGI modern.
Pendekatan ini diuji terhadap kerangka kerja rendering invers Mitsuba2, dan juga terhadap karya sebelumnya PhySG, RNR, Neural-PIL dan NeRFactor, menggunakan hanya model iluminasi langsung, dan mendapatkan skor terbaik:
Hasil teknik baru, dibandingkan dengan pendekatan yang setara di bawah berbagai fungsi kerugian. Peneliti menyatakan bahwa pendekatan mereka menghasilkan metode dengan kualitas tertinggi, dengan hasil yang dievaluasi melalui Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM), dan Learned Perceptual Image Patch Similarity (LPIPS) yang efektif.
