NeRF: La Sfida di Modificare il Contenuto dei Campi di Radiance Neurali

All’inizio di quest’anno, NVIDIA ha avanzato la ricerca sui Campi di Radiance Neurali (NeRF) con InstantNeRF, apparentemente in grado di generare scene neurali esplorabili in pochi secondi – da una tecnica che, quando è emersa nel 2020, frequentemente richiedeva ore o addirittura giorni per l’addestramento.

NVIDIA’s InstantNeRF fornisce risultati impressionanti e rapidi. Fonte: https://www.youtube.com/watch?v=DJ2hcC1orc4

Sebbene questo tipo di interpolazione produca una scena statica, NeRF è anche in grado di rappresentare il movimento e di eseguire una copia e incolla di base, dove i singoli NeRF possono essere combinati in scene composite o inseriti in scene esistenti.

NeRF annidati, presentati in una ricerca del 2021 dell’Università di Tecnologia di Shanghai e di DGene Digital Technology. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Tuttavia, se si desidera intervenire in un NeRF calcolato e modificare effettivamente qualcosa all’interno di esso (nello stesso modo in cui si possono modificare elementi in una scena CGI tradizionale), il rapido ritmo di interesse nel settore ha prodotto poche soluzioni fino ad ora, e nessuna che si avvicini alle capacità dei flussi di lavoro CGI.

Sebbene la stima della geometria sia essenziale per creare una scena NeRF, il risultato finale è composto da valori piuttosto “bloccati”. Sebbene ci sia qualche progresso verso la modifica dei valori di texture in NeRF, gli oggetti effettivi in una scena NeRF non sono mesh parametriche che possono essere modificate e manipolate, ma più simili a nuvole di punti fragili e congelate.

In questo scenario, una persona resa in NeRF è essenzialmente una statua (o una serie di statue, in video NeRF); le ombre che proiettano su se stessi e su altri oggetti sono texture, piuttosto che calcoli flessibili basati su fonti di luce; e la modificabilità del contenuto NeRF è limitata alle scelte fatte dal fotografo che scatta le foto sorgente sparse da cui viene generato il NeRF. Parametri come ombre e posa rimangono non modificabili, in qualsiasi senso creativo.

NeRF-Editing

Una nuova collaborazione di ricerca accademica tra Cina e Regno Unito affronta questa sfida con NeRF-Editing, dove mesh proxy di stile CGI vengono estratte da un NeRF, deformate a piacimento dall’utente e le deformazioni vengono riportate indietro nel calcolo neurale del NeRF;

Pupazzettazione NeRF con NeRF-editing, poiché le deformazioni calcolate dal footage vengono applicate a punti equivalenti all’interno di una rappresentazione NeRF. Fonte: http://geometrylearning.com/NeRFEditing/

Il metodo adotta la tecnica di ricostruzione del 2021 degli Stati Uniti e della Cina, che estrae una Funzione di Distanza Firmata (SDF, un metodo più vecchio di ricostruzione volumetrica) in grado di apprendere la geometria rappresentata all’interno del NeRF.

Questo oggetto SDF diventa la base di scultura dell’utente, con capacità di deformazione e modellazione fornite dalla tecnica As-Rigid-As-Possible (ARAP).

ARAP consente agli utenti di deformare la mesh SDF estratta, sebbene altri metodi, come gli approcci basati su scheletri e gabbie (ad esempio NURBs), funzionerebbero altrettanto bene. Fonte: https://arxiv.org/pdf/2205.04978.pdf

Con le deformazioni applicate, è necessario tradurre queste informazioni dal livello vettoriale al livello RGB/pixel nativo del NeRF, che è un viaggio leggermente più lungo.

I vertici triangolari della mesh che l’utente ha deformato vengono tradotti in una mesh tetraedrica, che forma una pelle intorno alla mesh dell’utente. Un campo di deformazione spaziale discreto viene estratto da questa mesh aggiuntiva, e infine si ottiene un campo di deformazione continuo compatibile con NeRF, che può essere riportato indietro nell’ambiente di radiance neurale, riflettendo le modifiche e le modifiche dell’utente, e influenzando direttamente i raggi interpretati nel NeRF di destinazione.

Oggetti deformati e animati con il nuovo metodo.

Il documento afferma:

‘Dopo aver trasferito la deformazione della superficie alla mesh tetraedrica, possiamo ottenere il campo di deformazione discreto dello “spazio efficace”. Utilizziamo ora queste trasformazioni discrete per piegare i raggi di casting. Per generare un’immagine del campo di radiance deformato, lanciamo raggi nello spazio contenente la mesh tetraedrica deformato.’

Il documento è intitolato NeRF-Editing: Modifica della Geometria dei Campi di Radiance Neurali, e proviene da ricercatori di tre università cinesi e istituzioni, insieme a un ricercatore della School of Computer Science & Informatics dell’Università di Cardiff, e altri due ricercatori del gruppo Alibaba.

Limitazioni

Come menzionato in precedenza, la geometria trasformata non “aggiorna” gli aspetti correlati nel NeRF che non sono stati modificati, né riflette le conseguenze secondarie dell’elemento deformato, come le ombre. I ricercatori forniscono un esempio, in cui le ombre sotto una figura umana in un NeRF rimangono inalterate, anche se la deformazione dovrebbe alterare l’illuminazione:

Dal documento: vediamo che l’ombra orizzontale sul braccio della figura rimane al suo posto anche se il braccio viene spostato verso l’alto.

Esperimenti

Gli autori osservano che attualmente non ci sono metodi comparabili per l’intervento diretto nella geometria del NeRF. Pertanto, gli esperimenti condotti per la ricerca sono stati più esplorativi che comparativi.

I ricercatori hanno dimostrato NeRF-Editing su diversi set di dati pubblici, tra cui personaggi da Mixamo e il famoso bulldozer e sedia Lego dall’implementazione originale del NeRF. Hanno anche sperimentato su una statua di cavallo catturata dal set di dati FVS, nonché sulle loro catture originali.

La testa di un cavallo inclinata.

Per il lavoro futuro, gli autori intendono sviluppare il loro sistema nel framework di apprendimento automatico compilato just-in-time Jittor.

Pubblicato per la prima volta il 16 maggio 2022.