NeRF: Tantangan Mengedit Konten Neural Radiance Fields

Awal tahun ini NVIDIA memajukan penelitian Neural Radiance Fields (NeRF) secara signifikan dengan InstantNeRF, yang tampaknya mampu menghasilkan adegan neural yang dapat dijelajahi dalam beberapa detik – dari teknik yang, ketika muncul pada tahun 2020, sering membutuhkan waktu berjam-jam atau bahkan berhari-hari untuk dilatih.

NVIDIA’s InstantNeRF memberikan hasil yang impresif dan cepat. Sumber: https://www.youtube.com/watch?v=DJ2hcC1orc4

Meskipun jenis interpolasi ini menghasilkan adegan statis, NeRF juga mampu menggambarkan gerakan, dan editing ‘copy-and-paste’ dasar, di mana NeRF individu dapateither dikombinasikan menjadi adegan komposit atau disisipkan ke dalam adegan yang ada.

NeRF bersarang, ditampilkan dalam penelitian 2021 dari Shanghai Tech University dan DGene Digital Technology. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Namun, jika Anda ingin mengintervensi NeRF yang dihitung dan benar-benar mengubah sesuatu yang terjadi di dalamnya (dengan cara yang sama Anda dapat mengubah elemen dalam adegan CGI tradisional), kecepatan minat sektor telah menghasilkan sangat sedikit solusi hingga saat ini, dan tidak ada yang bahkan mulai menyerupai kemampuan alur kerja CGI.

Meskipun estimasi geometri sangat penting untuk membuat adegan NeRF, hasil akhir terdiri dari nilai yang cukup ‘terkunci’. Meskipun ada beberapa kemajuan dalam mengubah nilai tekstur dalam NeRF, objek yang sebenarnya dalam adegan NeRF bukanlah mesh parametri yang dapat diedit dan dimanipulasi, melainkan lebih seperti awan titik yang rapuh dan beku.

Dalam skenario ini, orang yang dirender dalam NeRF pada dasarnya adalah patung (atau serangkaian patung, dalam video NeRF); bayangan yang mereka lemparkan pada diri mereka sendiri dan objek lain adalah tekstur, bukan perhitungan fleksibel berdasarkan sumber cahaya; dan kemampuan mengedit konten NeRF terbatas pada pilihan yang dibuat oleh fotografer yang mengambil foto sumber yang langka dari mana NeRF dihasilkan. Parameter seperti bayangan dan pose tetap tidak dapat diedit, dalam arti kreatif.

NeRF-Editing

Kolaborasi penelitian akademis baru antara Cina dan Inggris mengatasi tantangan ini dengan NeRF-Editing, di mana mesh gaya CGI diproses dari NeRF, diubah sesuai keinginan pengguna, dan perubahan tersebut diteruskan kembali ke perhitungan neural NeRF;

NeRF puppetry dengan NeRF-editing, karena perubahan yang dihitung dari footage diterapkan pada titik yang setara dalam representasi NeRF. Sumber: http://geometrylearning.com/NeRFEditing/

Metode ini menyesuaikan NeuS teknik rekonstruktif 2021 AS/Cina, yang mengekstrak Fungsi Jarak Bertanda (SDF, metode rekonstruksi volumetrik yang jauh lebih tua) yang mampu mempelajari geometri yang direpresentasikan di dalam NeRF.

Objek SDF ini menjadi dasar pengukiran pengguna, dengan kemampuan pembengkokan dan pemodelan yang disediakan oleh teknik As-Rigid-As-Possible (ARAP) yang terhormat.

ARAP memungkinkan pengguna untuk mengubah mesh SDF yang diekstrak, meskipun metode lain, seperti pendekatan berbasis kerangka dan kandang (yaitu NURBs), juga akan bekerja dengan baik. Sumber: https://arxiv.org/pdf/2205.04978.pdf

Dengan perubahan yang diterapkan, diperlukan untuk menerjemahkan informasi ini dari vektor ke tingkat RGB/piksel asli NeRF, yang sedikit lebih panjang.

Titik-titik vertex mesh yang diubah pengguna pertama-tama diterjemahkan ke dalam mesh tetrahedral, yang membentuk kulit di sekitar mesh pengguna. Medan deformasi spasial diskrit diekstrak dari mesh tambahan ini, dan akhirnya medan deformasi kontinu yang ramah NeRF diperoleh yang dapat diteruskan kembali ke lingkungan radiasi neural, mencerminkan perubahan dan pengeditan pengguna, dan secara langsung mempengaruhi sinar yang ditafsirkan dalam NeRF target.

Objek yang diubah dan dianimasikan dengan metode baru.

Makalah tersebut menyatakan:

‘Setelah mentransfer deformasi permukaan ke mesh tetrahedral, kita dapat memperoleh medan deformasi diskrit dari “ruang efektif”. Kami sekarang menggunakan transformasi diskrit ini untuk membengkokkan sinar. Untuk menghasilkan gambar dari lapangan radiasi yang diubah, kita melemparkan sinar ke ruang yang mengandung mesh tetrahedral yang diubah.’

Makalah ini berjudul NeRF-Editing: Pengeditan Geometri Neural Radiance Fields, dan berasal dari peneliti di tiga universitas dan lembaga Cina, bersama dengan seorang peneliti dari Sekolah Ilmu Komputer & Informatika di Universitas Cardiff, dan dua peneliti lain dari Alibaba Group.

Batasan

Seperti yang disebutkan sebelumnya, geometri yang diubah tidak akan ‘memperbarui’ aspek terkait dalam NeRF yang belum diedit, atau mencerminkan konsekuensi sekunder dari elemen yang diubah, seperti bayangan. Peneliti menyediakan contoh, di mana bayangan bawah pada figur manusia dalam NeRF tetap tidak berubah, meskipun perubahan harus mengubah pencahayaan;

Dari makalah: kita melihat bahwa bayangan horizontal pada lengan figur tetap berada di tempat meskipun lengan diangkat ke atas.

Eksperimen

Penulis mengamati bahwa saat ini tidak ada metode yang setara untuk intervensi langsung ke dalam geometri NeRF. Oleh karena itu, eksperimen yang dilakukan untuk penelitian ini lebih bersifat eksploratif daripada komparatif.

Peneliti mendemonstrasikan NeRF-Editing pada sejumlah dataset publik, termasuk karakter dari Mixamo, dan bulldozer Lego dan kursi dari implementasi NeRF asli. Mereka juga bereksperimen pada patung kuda yang diambil dari dataset FVS, serta tangkapan asli mereka sendiri.

Kepala kuda yang dimiringkan.

Untuk pekerjaan masa depan, penulis berencana mengembangkan sistem mereka dalam kerangka kerja pembelajaran mesin yang dikompilasi just-in-time (JIT) Jittor.

Dipublikasikan pertama kali pada tanggal 16 Mei 2022.