Riilluminazione di Campi di Radiance Neurali con Qualsiasi Mappa di Ambiente

Un nuovo articolo dell’Istituto Max Planck e del MIT ha proposto una tecnica per ottenere una vera disentanglement del contenuto dei Campi di Radiance Neurali (NeRF) dalla luce presente quando i dati sono stati raccolti, consentendo di sostituire completamente l’illuminazione in una scena NeRF con mappe di ambiente ad hoc:

La nuova tecnica applicata a dati reali. È degno di nota che il metodo funziona anche su dati archiviati di questo tipo, che non hanno preso in considerazione la nuova pipeline quando i dati sono stati raccolti. Nonostante ciò, si ottiene un controllo dell’illuminazione realistico e specificato dall’utente. Fonte: https://arxiv.org/pdf/2207.13607.pdf

Il nuovo approccio utilizza il popolare programma di animazione 3D open source Blender per creare un ‘palco di luce virtuale’, dove vengono renderizzate numerose iterazioni di possibili scenari di illuminazione e successivamente addestrate in uno strato speciale nel modello NeRF che può accogliere qualsiasi mappa di ambiente che l’utente desidera utilizzare per illuminare la scena.

Una rappresentazione della parte della pipeline che sfrutta Blender per creare viste del palco di luce virtuale della geometria estratta. Metodi precedenti che seguono linee simili hanno utilizzato palchi di luce reali per fornire questi dati, che è un requisito oneroso per oggetti discreti e impossibile per viste di ambienti esterni. Nell’angolo superiore sinistro delle due immagini a destra, possiamo vedere le mappe di ambiente che dettano l’illuminazione della scena. Queste possono essere create in modo arbitrario dall’utente finale, portando NeRF un passo più vicino alla flessibilità di un approccio CGI moderno.

La tecnica è stata testata contro il framework di rendering inverso Mitsuba2 e anche contro lavori precedenti PhySG, RNR, Neural-PIL e NeRFactor, utilizzando solo un modello di illuminazione diretta, e ha ottenuto i migliori punteggi:

Risultati della nuova tecnica, confrontati con approcci comparabili sotto varie funzioni di perdita. I ricercatori affermano che il loro approccio produce metodi di alta qualità, con i risultati valutati attraverso il rapporto di picco del segnale rumoroso (PSNR), l’indice di similarità strutturale (SSIM) e la similarità dell’immagine appresa (LPIPS).

L’articolo afferma:

‘I nostri risultati qualitativi e quantitativi dimostrano un chiaro passo avanti in termini di recupero dei parametri della scena e della qualità di sintesi del nostro approccio sotto nuove viste e condizioni di illuminazione rispetto allo stato attuale dell’arte.’

I ricercatori affermano che rilasceranno in futuro il codice per il progetto.

La necessità di editabilità NeRF

Questo tipo di disentanglement si è rivelato una sfida notevole per i ricercatori nel campo dei Campi di Radiance Neurali, poiché NeRF è essenzialmente una tecnica di fotogrammetria che calcola il valore del pixel di migliaia di percorsi possibili da un punto di vista, assegnando valori RGBD, e assembla una matrice di questi valori in una rappresentazione volumetrica. NeRF è definito fondamentalmente dalla luce.

In realtà, nonostante le sue impressionanti visualizzazioni e il suo largo utilizzo da parte di NVIDIA (NVDA ), NeRF è notevolmente ‘rigido’ – in termini CGI, ‘cotto’. Pertanto, la comunità di ricerca si è concentrata sull’migliorare la sua tracciabilità e versatilità in questo aspetto negli ultimi 12-18 mesi.

In termini di significato, le poste in gioco per questo tipo di pietra miliare sono alte e includono la possibilità di trasformare l’industria degli effetti visivi da un modello creativo e collaborativo centrato sulla generazione di mesh, dinamiche del movimento e texture, a un modello costruito attorno al rendering inverso, dove la pipeline degli effetti visivi è alimentata da foto del mondo reale (o anche, concepibilmente, di modelli reali e sintetici), piuttosto che da approssimazioni artigianali stimate.

Per ora, c’è relativamente poca ragione di preoccupazione tra la comunità degli effetti visivi, almeno da Neural Radiance Fields. NeRF ha solo abilità nascenti in termini di rigging, nesting, controllo della profondità, articolazione…e certamente anche in relazione all’illuminazione. Il video di accompagnamento per un altro nuovo articolo, che offre deformazioni rudimentali per la geometria NeRF, illustra l’enorme divario tra lo stato attuale dell’arte in CGI e gli sforzi seminali delle tecniche di rendering neurale.

Setacciare gli elementi

Tuttavia, poiché è necessario iniziare da qualche parte, i ricercatori del nuovo articolo hanno adottato CGI come meccanismo di controllo e produzione intermedio, ormai un approccio comune verso gli spazi latenti rigidi dei GAN e le reti lineari quasi impenetrabili di NeRF.

Effettivamente, la sfida centrale è calcolare l’illuminazione globale (GI, che non ha applicabilità diretta nel rendering neurale) in un calcolo equivalente di Trasferimento di Radiance Precomputato (PRT, che può essere adattato al rendering neurale).

GI è una tecnica di rendering CGI ormai venerabile che modella il modo in cui la luce rimbalza sulle superfici e sulle altre superfici, e incorpora queste aree di luce riflessa in un rendering, per una maggiore realismo.

PRT viene utilizzato come funzione di illuminazione intermedia nel nuovo approccio, e il fatto che sia un componente discreto e modificabile è ciò che ottiene la disentanglement. Il nuovo metodo modella il materiale dell’oggetto NeRF con un PRT appreso.

L’illuminazione effettiva della scena dei dati originali viene recuperata come una mappa di ambiente nel processo, e la geometria della scena stessa viene estratta come un Campo di Distanza Firmato (SDF) che fornirà in seguito una mesh tradizionale per Blender da utilizzare nel palco di luce virtuale.

Un panorama della pipeline per la nuova tecnica.

La prima fase del processo consiste nell’estrazione della geometria della scena dalle immagini multiple disponibili attraverso la ricostruzione della superficie implicita, tramite tecniche utilizzate nella collaborazione di ricerca NeuS del 2021.

Per sviluppare un campo di trasferimento di radiance neurale (NRTF, che accoglierà i dati di illuminazione), i ricercatori hanno utilizzato il tracciatore di percorsi differenziabile Mitsuba 2.

Questo facilita l’ottimizzazione congiunta di una funzione di distribuzione di scattering bidirezionale (BSDF), nonché la generazione di una mappa di ambiente iniziale. Una volta creata la BSDF, il tracciatore di percorsi può essere utilizzato in Blender (vedi video incorporato sopra) per creare render di scene virtuali uno-per-uno (OLAT).

Il NRTF viene quindi addestrato con una perdita combinata tra effetti materiali fotorealistici e dati sintetici, che non sono intrecciati tra loro.

Un confronto con il predecessore NeRFactor, sulle sfide della sintesi di viste nuove e della riilluminazione.

La strada per l’illuminazione

I requisiti di formazione per questa tecnica, sebbene notevolmente inferiori ai tempi di formazione originali di NeRF, non sono insignificanti. Su un NVIDIA Quadro RTX 8000 con 48GB di VRAM, la formazione preliminare per la stima iniziale della luce e della texture richiede 30 minuti; la formazione OLAT (ovvero la formazione delle catture del palco di luce virtuale) richiede 8 ore; e l’ultima ottimizzazione congiunta tra i dati sintetici e reali disentangled richiede ulteriori 16 ore per raggiungere la qualità ottimale.

Inoltre, la rappresentazione neurale risultante non può essere eseguita in tempo reale, richiedendo, secondo i ricercatori ‘diversi secondi per frame’.

I ricercatori concludono:

‘I nostri risultati dimostrano un chiaro miglioramento rispetto allo stato attuale dell’arte, mentre il lavoro futuro potrebbe coinvolgere ulteriori miglioramenti del tempo di esecuzione e una ragionamento congiunto di geometria, materiale e illuminazione della scena.’

Pubblicato per la prima volta il 28 luglio 2022.