Oppretting av Neurale Søk- og Redningsflyg-Miljøer med Mega-NeRF

En ny forskningsamarbeid mellom Carnegie Mellon og det selvstyrte kjøretøyteknologiselskapet Argo AI har utviklet en økonomisk metode for å generere dynamiske flyg-miljøer basert på Neurale Radiance Fields (NeRF), ved hjelp av opptak fra droner.

Den nye tilnærmingen, kalt Mega-NeRF, oppnår en 40-ganger hurtigere rendring sammenlignet med gjennomsnittlig NeRF-standarden, samt tilbyr noe merkbart annerledes enn standard tanks og templer som gjentas i nye NeRF-artikler.

Den nye artikkelen har tittelen Mega-NeRF: Skalable Konstruksjon av Storskala NeRFs for Virtuelle Flyg-Throughs, og kommer fra tre forskere ved Carnegie Mellon, hvorav en også representerer Argo AI.

Modellering av NeRF-Landskap for Søk og Redning

Forfatterne mener at søk- og redning (SAR) er en sannsynlig optimal bruksfall for deres teknikk. Når man vurderer et SAR-landskap, er droner for tiden begrenset både av båndbredde og batteriliv, og er derfor vanligvis ikke i stand til å få detaljert eller omfattende dekning før de må returnere til basen, på dette tidspunktet blir deres samlede data konvertert til statiske 2D-luftfoto-kart.

Forfatterne skriver:

‘Vi forestiller oss en fremtid der neurale renderinger løfter denne analysen inn i 3D, og muliggjør at respons-teamene kan inspisere området som om de fløy en drone i sanntid på et detaljnivå langt utenfor det som er mulig med klassisk Structure-from-Motion (SfM).’

Forfatterne har blitt bedt om å skape en kompleks NeRF-basert modell som kan trenes innen en dag, ettersom overlevelsesforventningen til overlevende i søk- og redningsoperasjoner reduseres med opptil 80% i løpet av de første 24 timene.

Forfatterne bemerker at drone-opptaksdatasettene som er nødvendige for å trene en Mega-NeRF-modell er “ordrer av størrelse” større enn et standarddatasett for NeRF, og at modellkapasiteten må være merkbart høyere enn i en standard fork eller avledning av NeRF. I tillegg er interaktivitet og utforsking av største betydning i en søk- og rednings-terrängkart, mens standard sanntids-NeRF-renderinger forventer et mye mer begrenset område av forhåndsregnet mulig bevegelse.

Del og Erobre

For å løse disse problemene skapte forfatterne en geometrisk klustering-algoritme som deler oppgaven inn i undermoduler, og effektivt skaper en matrise av under-NeRFs som trenes samtidig.

Ved rendringstidspunktet implementerer forfatterne også en just-in-time-visualiseringsalgoritme som er responsiv nok til å muliggjøre full interaktivitet uten eksessiv forhåndsbehandling, lignende måten video-spill vil øke detaljnivået på objekter når de nærmer seg brukerens synsvinkel, men som forblir på et energisparende og mer rudimentært nivå når de er i avstand.

Disse økonomiene, hevder forfatterne, fører til bedre detaljer enn tidligere metoder som forsøker å løse svært brede emner i en interaktiv kontekst. I forhold til å extrapolere detaljer fra begrensede oppløsninger av video-opptak, bemerker forfatterne også Mega-NeRFs visuelle forbedring over den tilsvarende funksjonaliteten i UC Berkeleys PlenOctrees.

Prosjektets bruk av kjede- under-NeRFs er basert på KiloNeRFs sanntids-rendringskapasiteter, erkjenner forfatterne. Imidlertid avviker Mega-NeRF fra denne tilnærmingen ved å faktisk utføre “sharding” (diskret omfordeling av scener) under trening, i stedet for KiloNeRFs post-prosesseringstilnærming, som tar en allerede beregnet NeRF-scene og deretter transformerer den til et utforskbart rom.

En diskret treningssett er opprettet for undermoduler, bestående av treningsbildepunkter hvis trajektori kan omfatte cellen den representerer. Derfor blir hver modul trenet helt uavhengig av naboceller. Kilde: https://arxiv.org/pdf/2112.10703.pdf

Forfatterne karakteriserer Mega-NeRF som ‘en reformulering av NeRF-arkitekturen som sparsifierer lagtilkoblinger på en romlig bevisst måte, og muliggjør effisiensforbedringer ved trenings- og rendringstid’.

Konseptuell sammenligning av trening og data-diskretisering i NeRF, NeRF++ og Mega-NeRF. Kilde: https://meganerf.cmusatyalab.org/

Forfatterne hevder at Mega-NeRFs bruk av nye temporale kohesjonsstrategier unngår behovet for eksessiv forhåndsbehandling, overvinner intrinsiske grenser for skala, og iverksetter et høyere nivå av detaljer enn tidligere lignende arbeider, uten å ofre interaktivitet eller å nødvendiggjøre flere dagers trening.

Forskerne gjør også store skala-datasett tilgjengelige som inneholder tusenvis av høyoppløste bilder tatt fra drone-opptak over 100 000 kvadratmeter land rundt et industriområde. De to tilgjengelige datasettene er ‘Bygning’ og ‘Ruin’.

Forbedring av Tidligere Arbeid

Artikkelen bemerker at tidligere arbeid i en lignende ånd, inkludert SneRG, PlenOctree og FastNeRF, alle avhenger av en form for caching eller forhåndsbehandling som legger til beregnings- og/eller tids-overhoder som er uegnet for å skape virtuelle søk- og rednings-miljøer.

Mens KiloNeRF avleder under-NeRFs fra en eksisterende samling av multilag-perceptron (MLP), er det arkitektonisk begrenset til interiørscener med begrensede utvidelses- eller kapasitetsmuligheter for å håndtere høyere skala-miljøer. FastNeRF lagrer en “bakt”, forhåndsregnet versjon av NeRF-modellen i en dedikert datastruktur og lar sluttbrukeren navigere gjennom den via en dedikert MLP eller via sfærisk basis-beregning.

I KiloNeRF-scenariet er den maksimale oppløsningen av hver fasade i scenen allerede beregnet, og ingen høyere oppløsning vil bli tilgjengelig hvis brukeren bestemmer seg for å “zoome inn”.

Til sammenligning kan NeRF++ håndtere ubegrensede, eksterne miljøer ved å dele det potensielle utforskbare rommet inn i forgrunn og bakgrunn-områder, hver av dem overvåket av en dedikert MLP-modell, som utfører ray-casting før sluttkomposisjon.

Til slutt, NeRF i villmarken, som ikke direkte håndterer ubegrensede rom, forbedrer likevel bildekvaliteten i Phototourism-datasettet, og dens fremtonings-inkapslinger har blitt fulgt i arkitekturen for Mega-NeRF.

Forfatterne innrømmer også at Mega-NeRF er inspirert av Structure-from-Motion (SfM)-prosjekter, særlig Washington Universitys Bygging av Roma på en dag-prosjekt.

Temporær Kohesjon

Liksom PlenOctree, forhåndsregner Mega-NeRF en grov cache av farge og opasitet i området rundt brukerens fokus. Imidlertid, i stedet for å beregne baner hver gang som er i nærheten av den beregnede banen, som PlenOctree gjør, “lagrer” og gjenbruker Mega-NeRF denne informasjonen ved å underdele den beregnede treet, i tråd med en voksende trend til å løse NeRFs tett-bundne prosess-etikett.

Til venstre, PlenOctrees enkeltbruk-beregning. Midten, Mega-NeRFs dynamiske utvidelse av oktreet, relativt til den nåværende posisjonen til fly-gjennom. Høyre, oktreet gjenbrukes for påfølgende navigasjon.

Denne beregningsøkonomien, ifølge forfatterne, reduserer merkbart beregningsbyrden ved å bruke på-sanntid-beregninger som en lokal cache, i stedet for å estimere og cache dem alle forhåndsregnet, i tråd med ny praksis.

Guidet Sampling

Etter initial sampling, i samsvar med standardmodeller til dags dato, iverksetter Mega-NeRF en andre runde av guided ray-sampling etter oktreet-forbedring, for å forbedre bildekvaliteten. For dette bruker Mega-NeRF bare en enkelt pass basert på de eksisterende vektene i oktreet-datastrukturen.

Som kan ses i bildet ovenfor, fra den nye artikkelen, sløser standard-sampling med beregningsressurser ved å evaluere en overflod av målområdet, mens Mega-NeRF begrenser beregningene basert på kunnskap om hvor geometri er til stede, og begrenser beregninger over en forhåndsdefinert terskel.

Data og Trening

Forskerne testet Mega-NeRF på ulike datasett, inkludert de to ovennevnte, håndlagde sett tatt fra drone-opptak over industriell grunn. Det første datasettet, Mill 19 – Bygning, inneholder opptak tatt over et område på 500 x 250 kvadratmeter. Det andre, Mill 19 – Ruin, representerer lignende opptak tatt over et nabobyggingsområde, hvor forskerne plasserte dukker som representerte potensielle overlevende i en søk- og rednings-situasjon.

Fra artikkelenes supplmentalmateriale: Venstre, kvadrantene som skal dekkes av Parrot Anafi-dronen (avbildet i midten, og i bakgrunnen på høyre bildet).

I tillegg ble arkitekturen testet mot flere scener fra UrbanScene3D, fra Visual Computing Research Center ved Shenzhen University i Kina, som består av HD-drone-opptak av store urbane miljøer; og Quad 6k-datasettet, fra Indiana Universitys IU Computer Vision Lab.

Trening skjedde over 8 undermoduler, hver med 8 lag av 256 skjulte enheter, og en påfølgende 128-kanal ReLU-lag. I motsetning til NeRF, ble samme MLP brukt til å spørre grove og finere prøver, og reduerte den totale modellstørrelsen og tillot gjenbruk av grove nettverksutdata på det påfølgende rendringstrinnet. Forfatterne anslår at dette sparer 25% av modellspørringene for hver stråle.

1024 stråler ble samplet per batch under Adam med en startlæringssats på 5×10⁴, som avtok til 5×10^-5. Fremtonings-inkapslingene ble behandlet på samme måte som ovennevnte NeRF i villmarken. Blandet presisjonssampling (trening ved lavere presisjon enn 32-bit flyttall) ble brukt, og MLP-bredde ble fikset på 2048 skjulte enheter.

Testing og Resultater

I forskernes tester kunne Mega-NeRF robust overgå NeRF, NeRF++ og DeepView etter trening i 500 000 iterasjoner over de ovennevnte datasettene. Ettersom Mega-NeRFs mål-scenario er tid-begrenset, tillot forskerne de langsomme tidligere rammer ekstra tid utover 24-timers-grensen, og rapporterer at Mega-NeRF likevel overgikk dem, selv gitt disse fordelen.

Målene som ble brukt var Peak signal-til-støy-forhold (PSNR), VGG-versjonen av LPIPS og SSIM. Trening skjedde på en enkelt maskin utstyrt med åtte V100-GPUer – effektivt, på 256 GB VRAM og 5120 tensor-kjerner.

Eksempelresultater fra Mega-NeRF-eksperimentene (se artikkelen for mer utvidede resultater over alle rammer og datasett) viser at PlenOctree forårsaker merkbart voxelisering, mens KiloNeRF produserer artefakter og generelt mer uklare resultater.

Prosjektsiden er på https://meganerf.cmusatyalab.org/, og den utgitte koden er på https://github.com/cmusatyalab/mega-nerf.

Først publisert 21. desember 2021.