ST-NeRF: Composizione e Editing per la Sintesi di Video

Un consorzio di ricerca cinese ha sviluppato tecniche per portare le capacità di editing e composizione in uno dei settori di ricerca più caldi dell’ultimo anno – i Campi di Radiance Neurale (NeRF). Il sistema si chiama ST-NeRF (Campo di Radiance Neurale Coerente Spazio-Temporale).

Ciò che sembra essere una panoramica fisica della camera nell’immagine qui sotto è in realtà solo un utente che “scorre” attraverso i punti di vista sul contenuto video che esiste in uno spazio 4D. Il punto di vista non è bloccato sulle prestazioni delle persone rappresentate nel video, i cui movimenti possono essere visti da qualsiasi parte di un raggio di 180 gradi.

Ogni aspetto all’interno del video è un elemento catturato in modo discreto, compostato insieme in una scena coesa che può essere esplorata dinamicamente.

Gli aspetti possono essere liberamente duplicati all’interno della scena o ridimensionati:

Inoltre, il comportamento temporale di ciascun aspetto può essere facilmente alterato, rallentato, eseguito al contrario o manipolato in qualsiasi modo, aprendo la strada a strutture di filtri e a un livello di interpretazione estremamente alto.

Due aspetti NeRF separati eseguiti a velocità diverse nella stessa scena. Fonte: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Non c’è bisogno di rotoscopio per gli attori o gli ambienti, o di far eseguire i loro movimenti in modo cieco e fuori contesto rispetto alla scena prevista. Invece, le riprese vengono catturate naturalmente tramite una matrice di 16 telecamere che coprono 180 gradi:

I tre elementi rappresentati sopra, le due persone e l’ambiente, sono distinti e delineati solo a scopo illustrativo. Ognuno può essere sostituito e può essere inserito nella scena in un punto precedente o successivo nel loro cronogramma di cattura individuale.

ST-NeRF è un’innovazione nella ricerca sui Campi di Radiance Neurale (NeRF), un framework di apprendimento automatico in cui più catture di punti di vista vengono sintetizzate in uno spazio virtuale navigabile tramite un addestramento estensivo (sebbene la cattura di un solo punto di vista sia anche un sottosettore della ricerca NeRF).

I Campi di Radiance Neurale funzionano raccogliendo più catture di punti di vista in un unico spazio coeso e navigabile 3D, con i gap tra la copertura stimati e resi da una rete neurale. Quando si utilizza un video (piuttosto che immagini fisse), le risorse di rendering necessarie sono spesso notevoli. Fonte: https://www.matthewtancik.com/nerf

L’interesse per NeRF è diventato intenso negli ultimi nove mesi e un elenco mantenuto da Reddit di progetti NeRF derivati o esploratori attualmente elenca sessanta progetti.

Solo alcuni dei molti rami dell’articolo originale NeRF. Fonte: https://crossminds.ai/graphlist/nerf-neural-radiance-fields-ai-research-graph-60708936c8663c4cfa875fc2/

Formazione Accessibile

L’articolo è una collaborazione tra ricercatori dell’Università di Tecnologia di Shanghai e DGene Digital Technology, e è stato accettato con entusiasmo su Open Review.

ST-NeRF offre una serie di innovazioni rispetto alle iniziative precedenti nello spazio di ricerca dei video navigabili derivati dal machine learning. Non meno importante, raggiunge un alto livello di realismo con solo 16 telecamere. Sebbene il DyNeRF di Facebook utilizzi solo due telecamere in più, offre un arco di navigazione molto più limitato.

Un esempio dell’ambiente DyNeRF di Facebook, con un arco di movimento più limitato e più telecamere per piede quadrato necessarie per ricostruire la scena. Fonte: https://neural-3d-video.github.io

Oltre a non avere la capacità di editare e comporre singoli aspetti, DyNeRF è particolarmente costoso in termini di risorse computazionali. Al contrario, i ricercatori cinesi affermano che il costo di formazione per i loro dati si aggira tra $900-$3.000, rispetto ai $30.000 per il modello di generazione di video di stato-of-the-art DVDGAN e sistemi intensivi come DyNeRF.

I revisori hanno anche notato che ST-NeRF fa un’innovazione importante nel separare il processo di apprendimento del movimento dal processo di sintesi dell’immagine. Questa separazione è ciò che consente l’editing e la composizione, con approcci precedenti restrittivi e lineari per confronto.

Sebbene 16 telecamere siano un array molto limitato per un arco di visione così ampio, i ricercatori sperano di ridurre ulteriormente questo numero in lavori successivi attraverso l’uso di sfondi statici pre-scansionati e approcci di modellazione della scena più orientati ai dati. Sperano anche di incorporare capacità di ri-illuminazione, un’innovazione recente nella ricerca NeRF.

Superare le Limitazioni di ST-NeRF

Nel contesto degli articoli accademici di CS che tendono a gettare via l’usabilità effettiva di un nuovo sistema in un paragrafo finale gettato via, anche le limitazioni che i ricercatori riconoscono per ST-NeRF sono insolite.

Essi osservano che il sistema non può attualmente individuare e rendere separatamente oggetti particolari in una scena, perché le persone nel footage sono segmentate in entità individuali tramite un sistema progettato per riconoscere gli esseri umani e non gli oggetti – un problema che sembra facilmente risolvibile con YOLO e framework simili, con il lavoro più difficile di estrarre il video umano già realizzato.

Sebbene i ricercatori notino che attualmente non è possibile generare slow-motion, sembra che non ci sia nulla che impedisca l’implementazione di questo utilizzando innovazioni esistenti nell’interpolazione dei frame come DAIN e RIFE.

Come con tutte le implementazioni NeRF e in molti altri settori della ricerca di visione computerizzata, ST-NeRF può fallire in casi di occlusione grave, dove il soggetto è temporaneamente oscurato da un’altra persona o un oggetto, e può essere difficile da tracciare continuamente o ri-acquisire con precisione in seguito. Come altrove, questa difficoltà potrebbe dover attendere soluzioni a monte. Nel frattempo, i ricercatori ammettono che l’intervento manuale è necessario in questi frame occlusi.

Infine, i ricercatori osservano che le procedure di segmentazione umana attualmente si basano sulle differenze di colore, che potrebbero portare a una collisione involontaria di due persone in un blocco di segmentazione – un ostacolo che non è limitato a ST-NeRF, ma è intrinseco alla libreria utilizzata, e che potrebbe forse essere risolto dall’analisi del flusso ottico e altre tecniche emergenti.

Pubblicato per la prima volta il 7 maggio 2021.