NeRF Si Avvicina Ancora Di Più a Sostituire La CGI

I ricercatori del MIT e di Google hanno fatto un grande passo avanti nella risoluzione di uno degli ostacoli fondamentali per una tecnologia emergente guidata dall’intelligenza artificiale che potrebbe eventualmente sostituire la CGI – separare le immagini del campo di radianza neurale (NeRF) nei loro componenti visivi costituenti, in modo che le immagini possano essere ri-testurate e ri-illuminate.

Il nuovo approccio, chiamato NeRFactor, divide efficacemente le immagini catturate in normali per oggetto (su cui possono essere assegnate texture), visibilità della luce, albedo (la proporzione di luce incidente che viene riflessa lontano da una superficie) e Funzioni di distribuzione di riflessione bidirezionale (BRDF).

Con questi aspetti isolati, è possibile non solo sostituire le texture per oggetti o gruppi di oggetti individuali, ma anche aggiungere nuove e uniche fonti di luce e implementazioni di ombre, escludendo quelle catturate dalle matrici di fotocamere multiple che generano input per le immagini NeRF.

Normals, visibility, albedo and BRDF separated under NeRFactor. Source: https://www.youtube.com/watch?v=UUVSPJlwhPg

Il modello supporta ombre morbide o dure da fonti di luce arbitrarie e definite dall’utente, e separa i quattro aspetti delle immagini video catturate in modo programmatico, utilizzando una perdita di ricostruzione, dati da calcoli precedenti di BRDF e una regolarizzazione di semplice lisciatina.

Flusso di lavoro di NeRFactor, che estrae separatamente aspetti azionabili delle immagini derivate da matrici di fotocamere multiple. Source: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor utilizza una sonda di luce HDR, un approccio ben consolidato che ha pervaso la scena industriale e artistica visiva dal suo introduzione nel 1998, per valutare possibili percorsi per i raggi, il che consente un’illuminazione arbitraria. Poiché questo genera un numero incontrollabile di parametri possibili, la sonda di luce viene filtrata attraverso un percettore multistrato (MLP), che mappa la geometria percepita alla sonda senza tentare di calcolare una mappa di volume di luce completa per lo spazio del modello.

Due modelli di campo di radianza neurale vengono utilizzati per dimostrare cinque modelli di illuminazione possibili con NeRFactor. Clicca sull’immagine per una risoluzione più alta.

Motivo Di Riflessione

La nuova ricerca è forse più significativa nella separazione dei livelli delle immagini catturate che controllano la riflessione. Ciò rimane una delle più grandi sfide per le immagini del campo di radianza neurale, poiché un sistema NeRF veramente nuovo e flessibile avrà bisogno non solo di sostituire le texture, ma anche di riflettere oggetti in movimento (oltre all’ambiente fisso) che normalmente verrebbero rappresentati in un flusso di lavoro CGI.

Questo problema è stato notato di recente in relazione alla nuova ricerca impressionante di Intel su come trasformare le immagini dei videogiochi in video fotorealistici attraverso reti neurali convolutive. In tali flussi di lavoro, molti aspetti “cotti” del materiale di origine dovrebbero diventare discreti e intercambiabili, e questo è arguamente più facile da risolvere per la ri-illuminazione (che è una funzione della geometria rappresentata in NeRF) che per le riflessioni (che utilizzano la geometria “fuori schermo” che è interamente al di fuori dell’ambito del modello).

Pertanto, isolare i livelli nelle immagini video NeRF che facilitano la riflessione porta NeRF un passo più vicino a risolvere la sua “sfida di riflessione”.

L’utilizzo di un ambiente HDR risolve già il problema di generare riflessi dell’ambiente del mondo (ad esempio cieli, paesaggi e altri fattori ambientali “fissi”), ma saranno necessari nuovi approcci per introdurre riflessi dinamici e in movimento.

Fotogrammetria Con NeRF

Le immagini del campo di radianza neurale utilizzano l’analisi del machine learning per sviluppare uno spazio completamente volumetrico da una scena o oggetto che è stato catturato da più angoli.

Varie tecniche basate su NeRF emerse nell’ultimo anno hanno utilizzato un numero diverso di dispositivi di fotocamera contribuenti; alcuni utilizzano 16 o più fotocamere, altri solo una o due. In tutti i casi, i punti di vista intermedi vengono “riempiti” (ovvero interpretati) in modo che la scena o l’oggetto possa essere navigato fluidamente.

Il risultato è uno spazio completamente volumetrico, con una comprensione intrinseca 3D che può essere sfruttata in molti modi, tra cui la capacità di generare mesh CG tradizionali a partire dalla somma 3D-parsata delle immagini di input.

NeRF Nel Contesto Di Una ‘Nuova CGI’

Le immagini del campo di radianza neurale sono disegnate direttamente da immagini del mondo reale, comprese immagini in movimento di persone, oggetti e scene. Al contrario, una metodologia CGI “studia” e interpreta il mondo, richiedendo lavoratori specializzati per costruire mesh, attrezzi e texture che utilizzano immagini del mondo reale (ad esempio catture di volti e ambienti). Rimane un approccio essenzialmente interpretativo e artigianale che è costoso e laborioso.

Inoltre, la CGI ha avuto problemi continui con l’effetto “valle inquietante” nei suoi sforzi per ricreare somiglianze umane, che non rappresenta alcun vincolo per un approccio guidato da NeRF, che semplicemente cattura video o immagini di persone reali e le manipola.

Inoltre, NeRF può generare direttamente la geometria della mesh CGI-style a partire da foto come necessario, e di fatto sostituire molti dei procedimenti manuali che sono sempre stati necessari nella computer-generated imagery.

Sfide Per NeRF

Questa ultima ricerca da MIT e Google arriva nel contesto di un vero e proprio diluvio di saggi su NeRF negli ultimi 12 mesi, molti dei quali hanno offerto soluzioni alle varie sfide sollevate dal saggio iniziale del 2020.

Nel mese di aprile, un’innovazione da un consorzio di ricerca cinese ha fornito un modo per isolare discretamente i tempi individuali degli aspetti in una scena NeRF, comprese le persone.

La ricerca cinese consente agli utenti di copiare, incollare e ridimensionare elementi catturati, disincagliandoli dalla timeline lineare del video di origine. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Questo approccio non solo consente di rimmaginare la scena da qualsiasi angolo catturato dalla matrice di fotocamere (e non solo la singola vista rappresentata in una cattura video tipica), ma consente anche un compositing versatile – e persino la capacità di rappresentare due aspetti dello stesso footage che si eseguono in propri frame temporali individuali (o anche all’indietro, se necessario).

La ricerca cinese consente agli utenti di copiare, incollare e ridimensionare elementi catturati, disincagliandoli dalla timeline lineare del video di origine. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Una delle più grandi sfide per NeRF è quella di ridurre le risorse considerevoli necessarie per addestrare una scena, e questo è stato affrontato in diversi saggi recenti. Ad esempio, l’Istituto Max Planck per i Sistemi Intelligenti ha recentemente introdotto KiloNeRF, che non solo velocizza i tempi di rendering di un fattore di 1000, ma consente anche a NeRF di funzionare in modo interattivo.

KiloNeRF esegue un ambiente interattivo a 50fps su una GTX 1080ti. Source: https://github.com/creiser/kilonerf

Tuttavia, l’innovazione di velocizzazione NeRF che ha veramente catturato l’immaginazione dei ricercatori e del pubblico nel 2021 è stata la collaborazione PlenOctrees, guidata da UC Berkeley, che offre la rappresentazione in tempo reale dei campi di radianza neurali:

L’effetto delle capacità interattive di PlenOctrees è stato riprodotto in un interfaccia web-based live.

Movimento interattivo di un oggetto PlenOctrees in Firefox (il movimento è più fluido e dinamico di quanto rappresentato in questo GIF). Source: http://alexyu.net/plenoctrees/demo/

Inoltre, Recursive-NeRF (da un saggio di maggio 2021 di ricercatori dell’Università di Tsinghua) offre un rendering ricorsivo di alta qualità su richiesta. Invece di obbligare l’utente a renderizzare intere scene, comprese parti che potrebbero non essere viste, Recursive-NeRF fornisce qualcosa di simile alla compressione lossy di JPEG, e può generare sottocampi NeRF discreti per gestire immagini aggiuntive su richiesta – ottenendo un enorme risparmio di risorse computazionali.

Mantenimento del dettaglio mentre si eliminano calcoli di rendering non necessari con Recursive-NeRF. Clicca sull’immagine per una risoluzione più alta. Source: https://arxiv.org/pdf/2105.09103.pdf

Altri approcci includono FastNeRF, che afferma di raggiungere un rendering neurale di alta fedeltà a 200fps.

È stato notato che molte delle tecniche di ottimizzazione per NeRF coinvolgono il “cucinare” la scena, impegnandosi ad aspetti che devono essere rappresentati e scartando altri aspetti, il che limita l’esplorazione ma velocizza notevolmente l’interazione.

Lo svantaggio di questo è che lo stress si sposta dalla GPU all’archiviazione, poiché le scene “cucinate” occupano uno spazio su disco inimmaginabile; fino a un certo punto, ciò può essere mitigato campionando i dati “cucinati”, anche se ciò comporta un certo impegno, in termini di chiusura di percorsi di esplorazione o interazione.

Per quanto riguarda la cattura del movimento e la gestione delle ossa, un nuovo approccio dalle università di Zheijang e Cornell, rivelato a maggio, ha offerto un metodo per ricreare esseri umani animabili utilizzando campi di peso di fusione e strutture scheletriche interpretate da video di input:

Struttura scheletrica derivata in Animatable NeRF. Source: https://www.youtube.com/watch?v=eWOSWbmfJo4

Quando NeRF Avrà Il Suo Momento ‘Jurassic Park’?

Nonostante il rapido ritmo di progressi con la sintesi di immagini tramite campi di radianza neurali, è solo in questo periodo che verrà stabilito un tipo di “legge della termodinamica” per quanto NeRF possa diventare deployabile. In termini di una timeline analoga alla storia della CGI, NeRF sta attualmente aleggiando intorno al 1973, subito prima del primo uso della CGI in Westworld.

Ciò non significa che NeRF debba necessariamente aspettare nove anni per il suo equivalente Wrath Of Khan milestone, o decenni per i progressi che la CGI ha raggiunto sotto il patrocinio entusiasta di James Cameron nel 1989 con The Abyss o nel 1991 con Terminator 2 – e poi, il momento di rottura tecnologica veramente rivoluzionario in Jurassic Park del 1993.

La scena dell’immagine è cambiata notevolmente dal lungo periodo di stagnazione per gli effetti visivi fotochimici, che hanno dominato la produzione di film e televisione dalla nascita del cinema ai primi anni ’90. L’avvento della rivoluzione del PC e l’accelerazione della legge di Moore hanno portato alla rivoluzione della CGI, che altrimenti avrebbe potuto verificarsi già negli anni ’60.

È ancora da vedere se ci sia una barriera così implacabile che possa rallentare il progresso di NeRF per così tanto tempo – e se le innovazioni successive nella visione computerizzata potrebbero non superare NeRF come il principale concorrente per la corona della CGI, caratterizzando i campi di radianza neurali come la “macchina fax” della sintesi di immagini neurali.

Finora, NeRF non è stato utilizzato in alcun contesto al di fuori della ricerca accademica; ma è degno di nota che grandi giocatori come Google Research e molti dei più importanti laboratori di ricerca sulla visione computerizzata stanno gareggiando per l’ultima innovazione NeRF.

Molte delle più grandi sfide di NeRF hanno iniziato a essere affrontate direttamente quest’anno; se la ricerca successiva offre una soluzione al problema della “riflessione”, e i molti filoni di ricerca di ottimizzazione NeRF si combinano in una soluzione decisiva alle esigenze di elaborazione e/o archiviazione considerevoli della tecnologia, NeRF ha veramente una possibilità di diventare “la nuova CGI” nei prossimi cinque anni.