Rendering Neurale: NeRF Fa Un Passeggiata All’aria Fresca

Una collaborazione tra Google Research e Harvard University ha sviluppato un nuovo metodo per creare video neurali a 360 gradi di scene complete utilizzando Neural Radiance Fields (NeRF). L’approccio innovativo porta NeRF un passo più vicino all’uso astratto casuale in qualsiasi ambiente, senza essere limitato a modelli da tavolo o scenari interni chiusi.

Vedi la fine dell’articolo per il video completo. Fonte: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 può gestire sfondi estesi e oggetti ‘infiniti’ come il cielo, perché, a differenza della maggior parte delle iterazioni precedenti, stabilisce limiti sul modo in cui i raggi di luce vengono interpretati e crea confini di attenzione che razionalizzano i tempi di formazione altrimenti lunghi. Vedi il nuovo video accompagnatore incorporato alla fine di questo articolo per ulteriori esempi e un’analisi approfondita del processo.

Il nuovo articolo si intitola Mip-NeRF 360: Campi di Radiance Neurale Anti-Aliased Illimitati e è guidato dal Senior Staff Research Scientist di Google Research Jon Barron.

Per comprendere il progresso, è necessario avere una comprensione di base di come funziona la sintesi di immagini basata su campi di radiance neurale.

Cosa è NeRF?

È problematico descrivere una rete NeRF in termini di ‘video’, poiché è più vicina a un ambiente virtuale completamente realizzato in 3D ma basato su intelligenza artificiale, dove molteplici punti di vista da singole foto (inclusi frame video) vengono utilizzati per cucire insieme una scena che tecnicamente esiste solo nello spazio latente di un algoritmo di apprendimento automatico – ma da cui un numero straordinario di punti di vista e video può essere estratto a piacimento.

Una rappresentazione dei molti punti di cattura della fotocamera che forniscono i dati che NeRF assembla in una scena neurale (rappresentata a destra).

Le informazioni derivate dalle foto contributive vengono formate in una matrice che è simile a una griglia di voxel tradizionale nei flussi di lavoro CGI, in quanto ogni punto nello spazio 3D finisce con un valore, rendendo la scena navigabile.

Una matrice di voxel tradizionale colloca le informazioni del pixel (che normalmente esiste in un contesto 2D, come la griglia dei pixel di un file JPEG) in uno spazio tridimensionale. Fonte: ResearchGate

Dopo aver calcolato lo spazio interstiziale tra le foto (se necessario), il percorso di ogni pixel possibile di ogni foto contributiva viene effettivamente ‘tracciato’ e assegnato un valore di colore, incluso un valore di trasparenza (senza il quale la matrice neurale sarebbe completamente opaca o completamente vuota).

Come le griglie di voxel, e a differenza degli spazi di coordinate 3D basati su CGI, l”interno’ di un oggetto ‘chiuso’ non ha esistenza in una matrice NeRF. Puoi aprire un kit di batteria CGI e guardare all’interno, se vuoi; ma per quanto riguarda NeRF, l’esistenza del kit di batteria termina quando il valore di opacità della sua superficie è uguale a ‘1’.

Una Visione Più Ampia di un Pixel

Mip-NeRF 360 è un’estensione della ricerca di marzo 2021, che ha effettivamente introdotto un anti-aliasing efficiente a NeRF senza campionamento esauriente.

NeRF tradizionalmente calcola solo un percorso di pixel, che tende a produrre il tipo di ‘jaggies’ che caratterizzavano i primi formati di immagini internet, nonché i sistemi di gioco precedenti. Questi bordi irregolari sono stati risolti con vari metodi, solitamente coinvolgendo il campionamento di pixel adiacenti e la ricerca di una rappresentazione media.

Perché NeRF tradizionale campiona solo quel percorso di pixel, Mip-NeRF ha introdotto un’area di raccolta ‘conica’, come una torcia a fascio largo, che fornisce abbastanza informazioni sui pixel adiacenti per produrre un anti-aliasing economico con dettagli migliorati.

La zona di raccolta conica che Mip-NeRF utilizza è suddivisa in coni tronchi (immagine inferiore), che vengono ulteriormente ‘sfocati’ per creare spazi gaussiani vaghi che possono essere utilizzati per calcolare l’accuratezza e l’aliasing di un pixel. Fonte: https://www.youtube.com/watch?v=EpH175PY1A0

Il miglioramento rispetto a un’implementazione standard di NeRF è stato notevole:

Mip-NeRF (a destra), rilasciato a marzo 2021, fornisce dettagli migliorati attraverso una pipeline di anti-aliasing più completa ma economica, piuttosto che semplicemente ‘sfocare’ i pixel per evitare bordi irregolari. Fonte: https://jonbarron.info/mipnerf/

NeRF Illimitato

L’articolo di marzo ha lasciato tre problemi irrisolti riguardo all’utilizzo di Mip-NeRF in ambienti illimitati che potrebbero includere oggetti molto lontani, come i cieli. Il nuovo articolo risolve questo applicando una trasformazione di tipo Kalman ai Gaussiani di Mip-NeRF.

In secondo luogo, le scene più grandi richiedono una maggiore potenza di elaborazione e tempi di formazione più lunghi, che Mip-NeRF 360 risolve ‘distillando’ la geometria della scena con un piccolo ‘proposta’ perceptron multi-strato (MLP), che pre-delimita la geometria prevista da un grande NeRF standard MLP. Ciò accelera la formazione di tre volte.

Infine, le scene più grandi tendono a rendere ambiguo il processo di discretizzazione della geometria interpretata, risultando nel tipo di artefatti che i giocatori potrebbero essere familiari quando l’output del gioco ‘si lacera’. Il nuovo articolo affronta questo creando un nuovo regolarizzatore per gli intervalli dei raggi di Mip-NeRF.

A destra, vediamo artefatti indesiderati in Mip-NeRF a causa della difficoltà nel delimitare una scena così grande. A sinistra, vediamo che il nuovo regolarizzatore ha ottimizzato la scena abbastanza da rimuovere queste perturbazioni.

Per scoprire di più sul nuovo articolo, guarda il video qui sotto e anche il video di introduzione di marzo 2021 a Mip-NeRF. Puoi anche scoprire di più sulla ricerca NeRF controllando la nostra copertura fino ad ora.

Pubblicato originariamente il 25 novembre 2021
21 dicembre 2021, 12:25 – Sostituito video morto. – MA