NeRF: Melatih Drone di Lingkungan Radiasi Neural

Peneliti dari Universitas Stanford telah menciptakan cara baru untuk melatih drone agar dapat bernavigasi di lingkungan yang fotorealistik dan sangat akurat, dengan memanfaatkan minat baru-baru ini dalam Neural Radiance Fields (NeRF).

Drone dapat dilatih di lingkungan virtual yang dipetakan langsung dari lokasi nyata, tanpa perlu melakukan rekonstruksi adegan 3D khusus. Pada gambar dari proyek ini, gangguan angin telah ditambahkan sebagai hambatan potensial untuk drone, dan kita dapat melihat drone yang sesekali teralihkan dari jalurnya dan mengkompensasikan pada menit terakhir untuk menghindari hambatan potensial. Source: https://mikh3x4.github.io/nerf-navigation/

Metode ini menawarkan kemungkinan untuk pelatihan interaktif drone (atau jenis objek lainnya) di skenario virtual yang secara otomatis termasuk informasi volume (untuk menghitung penghindaran tabrakan), tekstur yang diambil langsung dari foto nyata (untuk membantu melatih jaringan pengenalan gambar drone dengan cara yang lebih realistis), dan pencahayaan dunia nyata (untuk memastikan berbagai skenario pencahayaan dilatih ke dalam jaringan, menghindari over-fitting atau over-optimisasi ke snapshot asli adegan).

Sebuah objek sofa bernavigasi di lingkungan virtual yang kompleks yang akan sangat sulit untuk dipetakan menggunakan penangkapan geometri dan retexuring dalam alur kerja AR/VR tradisional, tetapi yang dapat direkreasikan secara otomatis di NeRF dari sejumlah foto terbatas. Source: https://www.youtube.com/watch?v=5JjWpv9BaaE

Implementasi NeRF yang khas tidak memiliki mekanisme jalur, karena sebagian besar proyek NeRF dalam 18 bulan terakhir telah fokus pada tantangan lain, seperti avalanche of interest dalam Neural Radiance Fields (NeRF).

NeRF sebagai VR/AR

Makalah baru paper ini berjudul Vision-Only Robot Navigation in a Neural Radiance World, dan merupakan kolaborasi antara tiga departemen Stanford: Aeronautika dan Astronautika, Teknik Mesin, dan Ilmu Komputer.

Nerf Bukan (Benar-Benar) CGI

Karena lingkungan NeRF adalah adegan 3D yang dapat dinavigasi, teknologi ini telah menjadi salah satu yang salah dipahami sejak kemunculannya pada 2020, sering kali dianggap sebagai metode untuk mengautomasi pembuatan mesh dan tekstur, bukan menggantikan lingkungan 3D yang familiar bagi pemirsa dari departemen efek visual Hollywood dan adegan fantastis dari lingkungan Virtual Reality dan Augmented Reality.

NeRF mengekstrak informasi geometri dan tekstur dari sejumlah terbatas sudut pandang gambar, menghitung perbedaan antara gambar sebagai informasi volumetrik. Source: https://www.matthewtancik.com/nerf

Segmentasi Semantik

Bahkan jika NeRF secara efektif merupakan ‘Computer-Generated Imagery’ (CGI), teknologi ini menawarkan metodologi yang sama sekali berbeda, dan pipeline yang sangat otomatis. Selain itu, NeRF dapat mengisolasi dan ‘mengemas’ bagian yang bergerak dari adegan, sehingga mereka dapat ditambahkan, dihapus, dipercepat, dan beroperasi sebagai aspek yang terpisah dalam lingkungan virtual – kemampuan yang jauh melampaui keadaan saat ini dalam interpretasi ‘Hollywood’ dari apa itu CGI.

https://www.youtube.com/watch?v=5JjWpv9BaaE