NeRF: Facebook Co-Research Sviluppa Sintesi Video Statica/Dinamica Mista

Una collaborazione tra il Virginia Polytechnic Institute and State University e Facebook ha risolto una delle principali sfide nella sintesi video NeRF: mescolare liberamente immagini e video statici e dinamici in campi di radianza neurali (NeRF) di output.

Il sistema può generare scene navigabili che presentano elementi video dinamici e ambienti statici, ciascuno registrato in loco, ma separati in aspetti controllabili di un ambiente virtuale:

Inoltre, ciò si ottiene da un unico punto di vista, senza la necessità di un array di telecamere multipli che può vincolare iniziative come questa a un ambiente di studio.

Il documento, intitolato Sintesi di vista dinamica da video monocolore dinamico, non è il primo a sviluppare un flusso di lavoro NeRF monocolore, ma sembra essere il primo a formare contemporaneamente un modello temporale e un modello statico dallo stesso input, e a generare un framework che consente il video in movimento all’interno di un luogo NeRF “pre-mappato”, simile al tipo di ambienti virtuali che spesso racchiudono attori in uscite SF ad alto budget.

Oltre D-NeRF

I ricercatori hanno dovuto ricreare essenzialmente la versatilità di Dynamic NeRF (D-NeRF) con un solo punto di vista, e non la molteplicità di telecamere che D-NeRF utilizza. Per risolvere questo, hanno previsto il flusso di scena in avanti e indietro e hanno utilizzato queste informazioni per sviluppare un campo di radianza distorto che è temporalmente coerente.

Con un solo punto di vista, è stato necessario utilizzare l’analisi del flusso ottico 2D per ottenere punti 3D nei frame di riferimento. Il punto 3D calcolato viene quindi riportato nella telecamera virtuale per stabilire un “flusso di scena” che corrisponde al flusso ottico calcolato con il flusso ottico stimato.

Al momento dell’addestramento, gli elementi dinamici e statici vengono riconciliati in un modello completo come aspetti separatamente accessibili.

Includendo un calcolo della perdita di ordine di profondità, il modello e applicando una regolarizzazione rigorosa della previsione del flusso di scena in D-NeRF, il problema del blur del movimento viene notevolmente mitigato.

Sebbene la ricerca abbia molto da offrire in termini di regolarizzazione del calcolo NeRF, e migliorare notevolmente l’agilità e la facilità di esplorazione per l’output da un solo punto di vista, di almeno pari nota è la separazione e la ri-integrazione innovativa degli elementi NeRF dinamici e statici.

Affidandosi a una sola telecamera, un tale sistema non può replicare la vista panottica di un array di telecamere multipli NeRF, ma può andare ovunque, e senza un camion.

NeRF – Statico o Video?

Recentemente abbiamo esaminato alcune ricerche NeRF impressionanti dalla Cina che possono separare gli elementi in una scena NeRF dinamica catturata con 16 telecamere.

ST-NeRF (sopra) consente all’utente di riposizionare elementi individuati in una scena catturata e anche di ridimensionarli, cambiare la loro velocità di riproduzione, congelarli o eseguirli al contrario. Inoltre, ST-NeRF consente all’utente di “scorrere” attraverso qualsiasi parte dell’arco di 180 gradi catturato dalle 16 telecamere.

Tuttavia, i ricercatori del documento ST-NeRF ammettono in chiusura che il tempo è sempre in esecuzione in una direzione o nell’altra con questo sistema, e che è difficile cambiare l’illuminazione e applicare effetti agli ambienti che sono effettivamente video, piuttosto che ambienti NeRF “staticamente mappati” che in sé non contengono componenti in movimento e non devono essere catturati come video.

Ambienti NeRF Statici Altamente Editabili

Una scena NeRF statica, ora isolata da segmenti video in movimento, è più facile da trattare e aumentare in diversi modi, tra cui il ri-illuminazione, come proposto all’inizio di quest’anno da NeRV (Campi di Riflessione e Visibilità Neurale per Ri-illuminazione e Sintesi di Vista), che offre un passo iniziale per cambiare l’illuminazione e/o la texture di un ambiente o oggetto NeRF:

Ri-illuminazione di un oggetto NeRF con NeRV. Fonte: https://www.youtube.com/watch?v=4XyDdvhhjVo

Ritexturing in NeRV, anche con effetti speculari fotorealistici. Poiché la base dell’array di immagini è statica, è più facile elaborare e aumentare un aspetto NeRF in questo modo che coprire l’effetto su una serie di frame video, rendendo la pre-elaborazione iniziale e l’addestramento finale più leggeri e facili.