NeRF: Addestramento di droni in ambienti di radiazione neurale

I ricercatori dell’Università di Stanford hanno escogitato un nuovo metodo per addestrare i droni a navigare in ambienti fotorealistici e altamente precisi, sfruttando l’interesse recente per i campi di radiazione neurale (NeRF).

I droni possono essere addestrati in ambienti virtuali mappati direttamente da luoghi reali, senza la necessità di ricostruzione di scene 3D specializzate. In questa immagine del progetto, è stata aggiunta una perturbazione del vento come potenziale ostacolo per il drone, e possiamo vedere il drone deviato momentaneamente dalla sua traiettoria e compensare all’ultimo momento per evitare un potenziale ostacolo. Fonte: https://mikh3x4.github.io/nerf-navigation/

Il metodo offre la possibilità di addestramento interattivo di droni (o altri tipi di oggetti) in scenari virtuali che includono automaticamente informazioni di volume (per calcolare l’evitamento di collisioni), texture tratte direttamente da foto reali (per aiutare a addestrare le reti di riconoscimento di immagini dei droni in modo più realistico) e illuminazione del mondo reale (per garantire una varietà di scenari di illuminazione vengano addestrati nella rete, evitando di sovrapporre o sovracompensare l’originale istantanea della scena).

Un oggetto-couch naviga un ambiente virtuale complesso che sarebbe stato molto difficile da mappare utilizzando la cattura della geometria e la ritessitura nei flussi di lavoro tradizionali di AR/VR, ma che è stato ricreato automaticamente in NeRF da un numero limitato di foto. Fonte: https://www.youtube.com/watch?v=5JjWpv9BaaE

Le implementazioni tipiche di NeRF non presentano meccanismi di traiettoria, poiché la maggior parte dei progetti NeRF degli ultimi 18 mesi si è concentrata su altre sfide, come la riilluminazione della scena, la resa dei riflessi, la composizione e la disintegrazione degli elementi catturati. Pertanto, la principale innovazione del nuovo documento è implementare un ambiente NeRF come uno spazio navigabile, senza l’attrezzatura estensiva e le procedure laboriose che sarebbero necessarie per modellarlo come un ambiente 3D basato sulla cattura dei sensori e sulla ricostruzione CGI.

NeRF come VR/AR

Il nuovo documento si intitola Navigazione di robot basata sulla visione in un mondo di radiazione neurale, e rappresenta una collaborazione tra tre dipartimenti di Stanford: Aeronautica e Astronautica, Ingegneria Meccanica e Informatica.

Il lavoro propone un framework di navigazione che fornisce a un robot un ambiente NeRF pre-addestrato, la cui densità di volume delimita i percorsi possibili per il dispositivo. Include anche un filtro per stimare dove si trova il robot all’interno dell’ambiente virtuale, in base al riconoscimento di immagini della fotocamera RGB a bordo del robot. In questo modo, un drone o un robot è in grado di ‘immaginare’ più precisamente ciò che può aspettarsi di vedere in un determinato ambiente.

L’ottimizzatore di traiettoria del progetto naviga attraverso un modello NeRF di Stonehenge generato attraverso la fotogrammetria e l’interpretazione di immagini (in questo caso, di modelli di mesh) in un ambiente di radiazione neurale. L’ottimizzatore di traiettoria calcola un numero di percorsi possibili prima di stabilire una traiettoria ottimale sopra l’arco.

Poiché un ambiente NeRF presenta occlusioni completamente modellate, il drone può imparare a calcolare gli ostacoli più facilmente, poiché la rete neurale dietro NeRF può mappare la relazione tra occlusioni e il modo in cui i sistemi di navigazione basati sulla visione a bordo del drone percepiscono l’ambiente. La pipeline di generazione automatica di NeRF offre un metodo relativamente banale per creare spazi di addestramento iperrealistici con solo poche foto.

La struttura di ripianificazione online sviluppata per il progetto di Stanford facilita una pipeline di navigazione interamente basata sulla visione e resiliente.

L’iniziativa di Stanford è tra le prime a considerare le possibilità di esplorare uno spazio NeRF nel contesto di un ambiente navigabile e immersivo di tipo VR. I campi di radiazione neurale sono una tecnologia emergente e attualmente soggetta a sforzi accademici multipli per ottimizzare le loro elevate esigenze di risorse di calcolo, nonché per disintegrazione degli elementi catturati.

NeRF non è (realmente) CGI

Poiché un ambiente NeRF è uno scenario 3D navigabile, è diventata una tecnologia fraintesa dalla sua comparsa nel 2020, spesso ampiamente percepita come un metodo per automatizzare la creazione di mesh e texture, piuttosto che sostituire gli ambienti 3D familiari agli spettatori dei dipartimenti di effetti visivi di Hollywood e le scene fantastiche degli ambienti di realtà aumentata e virtuale.

NeRF estrae informazioni di geometria e texture da un numero limitato di punti di vista di immagini, calcolando la differenza tra immagini come informazioni volumetriche. Fonte: https://www.matthewtancik.com/nerf

In realtà, l’ambiente NeRF è più come uno ‘spazio di rendering live’, dove un amalgama di informazioni di pixel e di illuminazione viene mantenuto e navigato in una rete neurale attiva e in esecuzione.

La chiave del potenziale di NeRF è che richiede solo un numero limitato di immagini per ricreare ambienti, e che gli ambienti generati contengono tutte le informazioni necessarie per una ricostruzione ad alta fedeltà, senza la necessità dei servizi di modellisti, artisti di texture, specialisti di illuminazione e degli altri contributori ai ‘tradizionali’ CGI.

Segmentazione semantica

Anche se NeRF costituisce effettivamente ‘Computer-Generated Imagery’ (CGI), offre una metodologia completamente diversa e una pipeline altamente automatizzata. Inoltre, NeRF può isolare e ‘incapsulare’ parti in movimento di una scena, in modo che possano essere aggiunte, rimosse, accelerate e generalmente operare come faccette discrete in un ambiente virtuale – una capacità che è ben al di là dello stato attuale dell’arte nella interpretazione ‘hollywoodiana’ di cosa sia il CGI.

Una collaborazione dell’Università di Tecnologia di Shanghai, pubblicata nell’estate del 2021, offre un metodo per individuare elementi NeRF in movimento in ‘facette incollabili’ per una scena. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativamente, l’architettura di NeRF è un po’ una ‘scatola nera’; non è attualmente possibile estrarre un oggetto da un ambiente NeRF e manipolarlo direttamente con strumenti tradizionali basati su mesh e immagini, anche se una serie di sforzi di ricerca stanno iniziando a fare progressi nel decostruire la matrice dietro gli ambienti di rendering live della rete neurale NeRF.