Membuat Neural Search dan Rescue Fly-Through Environments dengan Mega-NeRF

Sebuah kolaborasi penelitian baru antara Carnegie Mellon dan perusahaan teknologi kendaraan otonom Argo AI telah mengembangkan metode ekonomis untuk menghasilkan lingkungan fly-through dinamis berbasis Neural Radiance Fields (NeRF), menggunakan footage yang diambil oleh drone.

Pendekatan baru, yang disebut Mega-NeRF, memperoleh kecepatan 40x dibandingkan dengan standar rendering Neural Radiance Fields, serta menawarkan sesuatu yang berbeda dari standar tanks and temples yang sering muncul dalam karya NeRF baru.

The makalah baru berjudul Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs, dan berasal dari tiga peneliti di Carnegie Mellon, salah satunya juga mewakili Argo AI.

Modeling NeRF Landscape untuk Search dan Rescue

Para peneliti mempertimbangkan bahwa search-and-rescue (SAR) adalah kasus penggunaan yang optimal untuk teknik mereka. Ketika mengevaluasi lanskap SAR, drone saat ini dibatasi oleh keterbatasan bandwidth dan baterai, dan tidak dapat mendapatkan cakupan yang terperinci atau komprehensif sebelum perlu kembali ke basis, pada saat itu data yang dikumpulkan diubah menjadi peta udara 2D statis.

Para peneliti menyatakan:

‘Kami membayangkan masa depan di mana neural rendering mengangkat analisis ini menjadi 3D, memungkinkan tim respons untuk memeriksa lapangan seolah-olah mereka sedang mengendarai drone secara real-time pada tingkat detail yang jauh melampaui yang dapat dicapai dengan Structure-from-Motion (SfM) klasik.’

Ditugaskan dengan kasus penggunaan ini, para peneliti telah berusaha untuk menciptakan model NeRF yang kompleks yang dapat dilatih dalam waktu sehari, mengingat bahwa harapan hidup korban dalam operasi search-and-rescue menurun hingga 80% selama 24 jam pertama.

Para peneliti mencatat bahwa dataset pengambilan drone yang diperlukan untuk melatih model Mega-NeRF adalah ‘orde besarnya’ lebih besar daripada dataset standar untuk NeRF, dan bahwa kapasitas model harus jauh lebih tinggi daripada dalam fork atau turunan NeRF default. Selain itu, interaktivitas dan kemampuan menjelajah sangat penting dalam peta lanskap search dan rescue, sedangkan render NeRF waktu nyata standar mengharapkan rentang gerakan yang jauh lebih terbatas.

Divide and Conquer

Untuk mengatasi masalah ini, para peneliti menciptakan algoritma clustering geometris yang membagi tugas menjadi submodul, dan secara efektif membuat matriks sub-NeRF yang dilatih secara bersamaan.

Di titik rendering, para peneliti juga mengimplementasikan algoritma visualisasi just-in-time yang responsif enough untuk memfasilitasi interaktivitas penuh tanpa pra-pengolahan yang berlebihan, mirip dengan cara game video akan meningkatkan detail pada item saat mendekati pandangan pengguna, tetapi yang tetap pada skala yang lebih sederhana dan hemat energi saat jauh.

Ekonomi ini, menurut para peneliti, menghasilkan detail yang lebih baik daripada metode sebelumnya yang mencoba menangani area subjek yang sangat luas dalam konteks interaktif. Dalam hal ekstrapolasi detail dari footage video resolusi terbatas, para peneliti juga mencatat perbaikan visual Mega-NeRF dibandingkan dengan fungsionalitas setara dalam UC Berkeley’s PlenOctrees.

Proyek ini menggunakan chained sub-NeRF yang didasarkan pada kemampuan rendering waktu nyata KiloNeRF, yang diakui oleh para peneliti. Namun, Mega-NeRF berbeda dari pendekatan ini dengan melakukan ‘sharding’ (pengalihan diskrit dari aspek adegan) selama pelatihan, bukan pendekatan pasca-pengolahan KiloNeRF, yang mengambil adegan NeRF yang sudah dihitung dan kemudian mengubahnya menjadi ruang yang dapat dijelajahi.

A discrete training set is created for submodules, comprised of training image pixels whose trajectory might span the cell that it represents. Consequently, each module is trained entirely separately from adjacent cells. Source: https://arxiv.org/pdf/2112.10703.pdf

Para peneliti menggambarkan Mega-NeRF sebagai ‘a reformulation of the NeRF architecture that sparsifies layer connections in a spatially-aware manner, facilitating efficiency improvements at training and rendering time’.

Conceptual comparison of training and data discretization in NeRF, NeRF++, and Mega-NeRF. Source: https://meganerf.cmusatyalab.org/

Para peneliti mengklaim bahwa penggunaan strategi koherensi temporal yang novel oleh Mega-NeRF menghindari kebutuhan akan pra-pengolahan yang berlebihan, mengatasi batasan intrinsik pada skala, dan menerapkan tingkat detail yang lebih tinggi daripada karya serupa sebelumnya, tanpa mengorbankan interaktivitas, atau memerlukan beberapa hari pelatihan.

Para peneliti juga membuat tersedia dataset besar yang berisi ribuan gambar resolusi tinggi yang diperoleh dari footage drone yang diambil di atas 100.000 meter persegi tanah di sekitar kompleks industri. Dua dataset yang tersedia adalah ‘Building’ dan ‘Rubble’.

Improving on Prior Work

Makalah tersebut mencatat bahwa upaya sebelumnya dalam arah yang sama, termasuk SneRG, PlenOctree, dan FastNeRF, semua bergantung pada beberapa jenis caching atau pra-pengolahan yang menambahkan overhead komputasi dan/atau waktu yang tidak sesuai untuk pembuatan lingkungan virtual search-and-rescue.

Sementara KiloNeRF menghasilkan sub-NeRF dari koleksi multilayer perceptrons (MLPs) yang ada, itu dibatasi secara arsitektur untuk adegan interior dengan ekstensibilitas terbatas atau kapasitas untuk menangani lingkungan skala yang lebih tinggi. FastNeRF, sementara itu, menyimpan versi ‘baked’, pra-dihitung dari model NeRF ke dalam struktur data khusus dan memungkinkan pengguna untuk menavigasi melalui itu melalui MLP khusus, atau melalui komputasi basis spherical.

Dalam skenario KiloNeRF, resolusi maksimum dari setiap fasad dalam adegan sudah dihitung, dan tidak ada resolusi yang lebih tinggi yang akan tersedia jika pengguna memutuskan untuk ‘memperbesar’.

Sebaliknya, NeRF++ dapat menangani lingkungan eksternal yang tidak terbatas dengan membagi ruang yang dapat dijelajahi menjadi wilayah foreground dan background, masing-masing diawasi oleh model MLP khusus, yang melakukan ray-casting sebelum komposisi akhir.

Akhirnya, NeRF in the Wild, yang tidak secara langsung menangani ruang yang tidak terbatas, namun meningkatkan kualitas gambar dalam dataset Phototourism, dan penyertaan penampilannya telah diikuti dalam arsitektur Mega-NeRF.

Para peneliti juga mengakui bahwa Mega-NeRF terinspirasi oleh proyek Structure-from-Motion (SfM), terutama proyek Building Rome in a Day dari Universitas Washington.

Temporal Coherence

Seperti PlenOctree, Mega-NeRF menghitung pra-kasar cache warna dan opasitas di wilayah fokus pengguna saat ini. Namun, alih-alih menghitung jalur setiap kali yang berada di sekitar jalur yang dihitung, seperti yang dilakukan PlenOctree, Mega-NeRF ‘menyimpan’ dan menggunakannya kembali informasi ini dengan membagi pohon yang dihitung, mengikuti tren yang tumbuh untuk memisahkan etika pemrosesan NeRF yang terikat erat.

On the left, PlenOctree’s single-use calculation. Middle, Mega-NeRF’s dynamic expansion of the octree, relative to the current position of the fly-through. Right, the octree is reused for subsequent navigation.

Ekonomi perhitungan ini, menurut para peneliti, secara signifikan mengurangi beban pemrosesan dengan menggunakan perhitungan on-the-fly sebagai cache lokal, bukan dengan memperkirakan dan meng-cache semuanya secara preemptif, sesuai dengan praktik terbaru.

Guided Sampling

Setelah sampling awal, sesuai dengan model standar hingga saat ini, Mega-NeRF melakukan ronde kedua sampling berpandu setelah penyempurnaan octree, untuk meningkatkan kualitas gambar. Untuk ini, Mega-NeRF hanya menggunakan satu lulus berdasarkan bobot yang ada dalam struktur data octree.

Seperti yang dapat dilihat pada gambar di atas, dari makalah baru, sampling standar membuang sumber daya perhitungan dengan mengevaluasi jumlah yang berlebihan dari area target, sedangkan Mega-NeRF membatasi perhitungan berdasarkan pengetahuan tentang di mana geometri hadir, mengurangi perhitungan di atas ambang batas yang ditetapkan.

Data dan Training

Para peneliti menguji Mega-NeRF pada berbagai dataset, termasuk dua dataset yang disebutkan sebelumnya, yang diambil dari footage drone di atas tanah industri. Dataset pertama, Mill 19 – Building, menampilkan footage yang diambil di area 500 x 250 meter persegi. Yang kedua, Mill 19 – Rubble, mewakili footage serupa yang diambil di atas lokasi konstruksi yang berdekatan, di mana para peneliti menempatkan boneka yang mewakili korban potensial dalam skenario search-and-rescue.

From the paper’s supplemental material: Left, the quadrants to be covered by the Parrot Anafi drone (pictured center, and in the distance in the right-hand photo).

Selain itu, arsitektur ini diuji melawan beberapa adegan dari UrbanScene3D, dari Pusat Penelitian Komputasi Visual di Universitas Shenzhen, Cina, yang terdiri dari footage drone resolusi tinggi dari lingkungan perkotaan yang besar; dan dataset Quad 6k, dari Laboratorium Visi Komputer IU di Universitas Indiana.

Pelatihan dilakukan lebih dari 8 submodul, masing-masing dengan 8 lapisan 256 unit tersembunyi, dan lapisan ReLU 128 channel berikutnya. Tidak seperti NeRF, MLP yang sama digunakan untuk menanyakan sampel kasar dan halus, mengurangi ukuran model secara keseluruhan dan memungkinkan penggunaan kembali keluaran jaringan kasar pada tahap rendering berikutnya. Para peneliti memperkirakan bahwa ini menghemat 25% kueri model untuk setiap sinar.

1024 sinar disampel per batch di bawah Adam dengan tingkat pembelajaran awal 5×10⁴, menurun menjadi 5×10^-5. Penyertaan penampilan ditangani dengan cara yang sama seperti NeRF in the Wild. Mixed precision sampling (pelatihan pada presisi yang lebih rendah dari 32-bit floating point) digunakan, dan lebar MLP tetap pada 2048 unit tersembunyi.

Testing dan Results

Dalam pengujian para peneliti, Mega-NeRF dapat secara konsisten mengungguli NeRF, NeRF++, dan DeepView setelah pelatihan selama 500.000 iterasi di atas dataset yang disebutkan sebelumnya. Karena skenario target Mega-NeRF dibatasi waktu, para peneliti memungkinkan kerangka kerja yang lebih lambat sebelumnya memiliki waktu tambahan di luar batas 24 jam, dan melaporkan bahwa Mega-NeRF masih mengungguli mereka, bahkan dengan keuntungan ini.

Metrik yang digunakan adalah Peak signal-to-noise ratio (PSNR), versi VGG dari LPIPS, dan SSIM. Pelatihan dilakukan pada satu mesin yang dilengkapi dengan delapan V100 GPUs – efektif, pada 256GB VRAM, dan 5120 Tensor core.

Sample results from the Mega-NeRF experiments (please see the paper for more extended results across all frameworks and datasets) show that PlenOctree causes notable voxelization, while KiloNeRF produces artifacts and generally more blurry results.

Halaman proyek ada di https://meganerf.cmusatyalab.org/, dan kode yang dirilis ada di https://github.com/cmusatyalab/mega-nerf.

Dipublikasikan pertama kali pada 21 Desember 2021.