NeRF: Pelatihan Drone di Lingkungan Radiasi Neural

Peneliti dari Universitas Stanford telah mengembangkan metode baru untuk melatih drone agar dapat bernavigasi di lingkungan yang sangat akurat dan realistis, dengan memanfaatkan minat baru-baru ini dalam bidang Neural Radiance Fields (NeRF).

Drone dapat dilatih di lingkungan virtual yang dipetakan langsung dari lokasi nyata, tanpa perlu melakukan rekonstruksi adegan 3D khusus. Pada gambar ini dari proyek, gangguan angin telah ditambahkan sebagai hambatan potensial untuk drone, dan kita dapat melihat drone yang sedang dialihkan dari jalurnya dan mengkompensasi pada menit terakhir untuk menghindari hambatan potensial. Sumber: https://mikh3x4.github.io/nerf-navigation/

Metode ini menawarkan kemungkinan untuk melatih drone (atau jenis objek lainnya) di skenario virtual yang secara otomatis mencakup informasi volume (untuk menghitung penghindaran tabrakan), tekstur yang diambil langsung dari foto nyata (untuk membantu melatih jaringan pengenalan gambar drone dengan cara yang lebih realistis), dan pencahayaan dunia nyata (untuk memastikan bahwa berbagai skenario pencahayaan dilatih ke dalam jaringan, menghindari over-fitting atau over-optimisasi ke snapshot asli dari adegan).

Sebuah objek sofa bernavigasi di lingkungan virtual yang kompleks yang akan sangat sulit untuk dipetakan menggunakan penangkapan geometri dan retexturing dalam alur kerja AR/VR tradisional, tetapi yang dapat dibuat secara otomatis di NeRF dari jumlah foto yang terbatas. Sumber: https://www.youtube.com/watch?v=5JjWpv9BaaE

Implementasi NeRF yang khas tidak memiliki mekanisme jalur, karena sebagian besar proyek NeRF dalam 18 bulan terakhir telah fokus pada tantangan lain, seperti pencahayaan ulang adegan, rendering refleksi, kompositing dan pemisahan elemen yang ditangkap. Oleh karena itu, inovasi utama dari makalah baru ini adalah mengimplementasikan lingkungan NeRF sebagai ruang yang dapat dinavigasi, tanpa perlu peralatan yang luas dan prosedur yang rumit untuk memodelkannya sebagai lingkungan 3D berdasarkan penangkapan sensor dan rekonstruksi CGI.

NeRF sebagai VR/AR

Makalah baru ini berjudul Navigasi Robot Hanya dengan Penglihatan di Dunia Radiasi Neural, dan merupakan kolaborasi antara tiga departemen Stanford: Aeronautika dan Astronautika, Teknik Mesin, dan Ilmu Komputer.

Makalah ini mengusulkan kerangka kerja navigasi yang menyediakan robot dengan lingkungan NeRF yang telah dilatih sebelumnya, yang volume densitasnya membatasi jalur yang mungkin untuk perangkat. Ini juga mencakup filter untuk memperkirakan di mana robot berada di dalam lingkungan virtual, berdasarkan pengenalan gambar dari kamera RGB on-board. Dengan cara ini, drone atau robot dapat “mengkhayal” lebih akurat apa yang dapat mereka harapkan di lingkungan tertentu.

Optimiser jalur proyek ini bernavigasi melalui model NeRF dari Stonehenge yang dibuat melalui fotogrametri dan interpretasi gambar (dalam hal ini, model mesh) ke dalam lingkungan Radiasi Neural. Perencana jalur menghitung beberapa jalur yang mungkin sebelum menetapkan jalur optimal di atas busur.

Karena lingkungan NeRF memiliki oklusi yang sepenuhnya dimodelkan, drone dapat lebih mudah menghitung hambatan, karena jaringan neural di balik NeRF dapat memetakan hubungan antara oklusi dan cara drone mengenali lingkungan. Pipa pengolahan NeRF yang otomatis menawarkan metode yang relatif sederhana untuk membuat ruang pelatihan yang sangat realistis dengan hanya beberapa foto.

Kerangka kerja perencanaan ulang online yang dikembangkan untuk proyek Stanford memfasilitasi pipa navigasi yang sepenuhnya berbasis penglihatan dan tangguh.

Inisiatif Stanford ini adalah salah satu yang pertama untuk mempertimbangkan kemungkinan menjelajahi ruang NeRF dalam konteks lingkungan yang dapat dinavigasi dan imersif seperti VR. Lapangan Radiasi Neural adalah teknologi yang sedang berkembang, dan saat ini menjadi subjek dari upaya akademis untuk mengoptimalkan kebutuhan sumber daya komputasi yang tinggi, serta untuk memisahkan elemen yang ditangkap.

NeRF Bukan (Benar-Benar) CGI

Karena lingkungan NeRF adalah adegan 3D yang dapat dinavigasi, teknologi ini telah menjadi salah satu yang salah dipahami sejak kemunculannya pada tahun 2020, sering kali dianggap sebagai metode untuk mengautomasi pembuatan mesh dan tekstur, bukan menggantikan lingkungan 3D yang familiar bagi pemirsa dari departemen efek visual Hollywood dan adegan fantastis dari lingkungan Virtual Reality dan Augmented Reality.

NeRF mengekstrak informasi geometri dan tekstur dari jumlah sudut pandang gambar yang sangat terbatas, menghitung perbedaan antara gambar sebagai informasi volumetrik. Sumber: https://www.matthewtancik.com/nerf

Sebenarnya, lingkungan NeRF lebih seperti “ruang render langsung”, di mana amalgamasi informasi piksel dan pencahayaan dipertahankan dan dinavigasi dalam jaringan neural yang aktif dan berjalan.

Kunci dari potensi NeRF adalah bahwa hanya memerlukan jumlah foto yang terbatas untuk merekonstruksi lingkungan, dan bahwa lingkungan yang dihasilkan mengandung semua informasi yang diperlukan untuk rekonstruksi yang sangat akurat, tanpa perlu jasa modeler, seniman tekstur, spesialis pencahayaan, dan kontributor lainnya untuk “CGI tradisional”.

Segmentasi Semantik

Meskipun NeRF secara efektif merupakan “Citra yang Dihasilkan Komputer” (CGI), teknologi ini menawarkan metodologi yang sangat berbeda, dan pipa yang sangat otomatis. Selain itu, NeRF dapat mengisolasi dan “mengenkapsulasi” bagian yang bergerak dari adegan, sehingga dapat ditambahkan, dihapus, dipercepat, dan beroperasi sebagai fasad yang terpisah dalam lingkungan virtual – kemampuan yang jauh melampaui keadaan saat ini dalam interpretasi “Hollywood” dari apa itu CGI.

Kolaborasi dari Universitas Teknologi Shanghai, dirilis pada musim panas 2021, menawarkan metode untuk memisahkan elemen NeRF yang bergerak menjadi fasad yang dapat ditempelkan untuk adegan. Sumber: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatifnya, arsitektur NeRF adalah “black box”; saat ini tidak mungkin untuk mengekstrak objek dari lingkungan NeRF dan memanipulasi langsung dengan alat berbasis mesh dan gambar tradisional, meskipun beberapa upaya penelitian mulai membuat kemajuan dalam memecahkan matriks di balik lingkungan render langsung jaringan neural NeRF.