Adobe: Menghidupkan Kembali Dunia Nyata Dengan Neural Rendering

Peneliti dari Adobe telah menciptakan sistem neural rendering untuk adegan indoor dunia nyata yang mampu melakukan relighting yang canggih, menawarkan antarmuka waktu nyata, dan menangani permukaan yang mengkilap dan refleksi – sebuah tantangan yang cukup berat untuk metode sintesis gambar lainnya seperti Neural Radiance Fields (NeRF).

Di sini, adegan dunia nyata telah direkonstruksi dari sejumlah gambar statis, membuat adegan tersebut dapat dinavigasi. Pencahayaan dapat ditambahkan dan diubah dalam warna dan kualitas, sementara refleksi tetap akurat, dan permukaan yang mengkilap secara benar mengekspresikan perubahan sumber pencahayaan dan/atau gaya pengguna. Sumber: https://www.youtube.com/watch?v=d3ma4opFpgM

Sistem baru ini memungkinkan kontrol GUI seperti Photoshop atas aspek pencahayaan adegan 3D nyata yang telah ditangkap ke dalam ruang neural, termasuk bayangan dan refleksi.

Antarmuka GUI memungkinkan pengguna menambahkan (dan menyesuaikan) sumber pencahayaan ke adegan dunia nyata yang telah direkonstruksi dari sejumlah foto, dan untuk menavigasi secara bebas melalui adegan tersebut seolah-olah itu adalah adegan CGI berbasis mesh.

Makalah ini, yang dikirimkan ke ACM Transactions on Graphics dan berjudul Free-viewpoint Indoor Neural Relighting dari Multi-view Stereo, adalah kolaborasi antara Adobe Research dan peneliti dari Université Côte d’Azur.

Sumber: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klik untuk melihat versi full-res)

Seperti dengan Neural Radiance Fields (NeRF), sistem ini menggunakan fotogrametri (atas kiri), di mana pemahaman adegan diperoleh dari sejumlah terbatas foto, dan ‘viewpoint yang hilang’ dilatih melalui pembelajaran mesin sampai model adegan yang lengkap dan abstrak tersedia untuk reinterpretasi ad hoc.

Sistem ini telah dilatih sepenuhnya pada data sintetis (CGI), tetapi model 3D yang digunakan telah diobati sama seperti jika seseorang mengambil beberapa foto terbatas dari adegan nyata untuk interpretasi neural. Gambar di atas menunjukkan adegan sintetis yang diterangi ulang, tetapi ‘tampilan kamar’ di atas (animasi) diperoleh dari foto nyata yang diambil di kamar nyata.

Representasi implisit adegan diperoleh dari bahan sumber melalui Jaringan Saraf Konvolusi (CNN), dan dibagi menjadi beberapa lapisan, termasuk reflektansi, iradiasi sumber (radiositas/pencahayaan global) dan albedo.

Arsitektur sistem relighting Adobe. Dataset multi-view diproses sebelumnya, dan geometri mesh 3D dihasilkan dari data input. Ketika sumber pencahayaan baru harus ditambahkan, iradiasi dihitung dalam waktu nyata, dan tampilan yang diterangi ulang disintesis. (klik untuk melihat versi full-res)

Algoritma ini menggabungkan aspek-aspek pelacakan sinar tradisional (Monte Carlo) dan Image-Based Rendering (IBR, neural rendering).

Walaupun sejumlah besar penelitian terbaru tentang Neural Radiance Fields telah berkaitan dengan ekstraksi geometri 3D dari gambar datar, tetapi penawaran Adobe ini adalah pertama kalinya bahwa relighting yang sangat canggih telah ditunjukkan melalui metode ini.

Algoritma ini juga menangani keterbatasan tradisional lain dari NeRF dan pendekatan serupa, dengan menghitung peta refleksi lengkap, di mana setiap bagian dari gambar diberi bahan reflektif 100%.

Tekstur cermin memetakan jalur pencahayaan. (klik untuk melihat versi full-res)

Dengan peta reflektivitas integral ini, memungkinkan untuk ‘menurunkan’ reflektivitas untuk mengakomodasi berbagai tingkat refleksi dalam berbagai jenis bahan seperti kayu, logam, dan batu. Peta reflektivitas (di atas) juga menyediakan templat lengkap untuk pemetaan sinar, yang dapat digunakan kembali untuk tujuan penyesuaian pencahayaan difus.

Lapisan lain dalam sistem rendering neural Adobe. (klik untuk melihat versi full-res)

Pengambilan awal adegan menggunakan 250-350 foto RAW dari mana mesh dihitung melalui Multi-View Stereo. Data disimpulkan menjadi peta fitur input 2D yang kemudian diproyeksikan kembali ke dalam tampilan baru. Perubahan pencahayaan dihitung dengan mengambil rata-rata lapisan difus dan mengkilap dari adegan yang ditangkap.

Lapisan cermin dihasilkan melalui perhitungan cermin sinar tunggal yang cepat (satu pantulan), yang memperkirakan nilai sumber asli dan kemudian nilai target. Peta yang berisi informasi tentang pencahayaan asli adegan disimpan dalam data neural, sama seperti peta radiasi yang sering disimpan dengan data adegan CGI tradisional.

Mengatasi Refleksi Rendering Neural

Mungkin prestasi utama dari pekerjaan ini adalah pemisahan informasi reflektansi dari lapisan difus dan lainnya dalam data. Waktu perhitungan dipertahankan rendah dengan memastikan bahwa tampilan ‘reflektansi’-aktif, seperti cermin, dihitung hanya untuk tampilan pengguna aktif, bukan untuk seluruh adegan.

Peneliti mengklaim bahwa pekerjaan ini mewakili pertama kalinya bahwa kemampuan relighting telah dicocokkan dengan kemampuan navigasi tampilan bebas dalam satu kerangka kerja untuk adegan yang harus mereproduksi permukaan reflektif secara realistis.

Beberapa pengorbanan telah dilakukan untuk mencapai fungsionalitas ini, dan peneliti mengakui bahwa metode sebelumnya yang menggunakan mesh per-tampilan yang lebih kompleks menunjukkan geometri yang lebih baik untuk objek kecil. Arah masa depan untuk pendekatan Adobe akan termasuk penggunaan geometri per-tampilan untuk meningkatkan aspek ini.