NeRFocus: Porta il Controllo della Messa a Fuoco Leggero ai Campi di Radiance Neurale

Una nuova ricerca dalla Cina offre un metodo per ottenere un controllo economico sugli effetti di profondità di campo per i Campi di Radiance Neurale (NeRF), consentendo all’utente finale di regolare la messa a fuoco e di cambiare dinamicamente la configurazione dell’obiettivo virtuale nello spazio di rendering.

Intitolato NeRFocus, la tecnica implementa un approccio innovativo di “imaging con obiettivo sottile” per la traversata della messa a fuoco, e innova il P-training, una strategia di formazione probabilistica che elimina la necessità di set di dati dedicati per la profondità di campo, e semplifica un flusso di lavoro di formazione abilitato alla messa a fuoco.

Il documento è intitolato NeRFocus: Campo di Radiance Neurale per Defocus Sintetico 3D, e proviene da quattro ricercatori della Scuola di Dottorato di Shenzhen dell’Università di Pechino, e del Laboratorio Peng Cheng di Shenzhen, un istituto finanziato dal governo provinciale del Guangdong.

Indirizzare il Locus di Attenzione Foveato in NeRF

Se NeRF deve prendere il suo posto come tecnologia di guida valida per la realtà virtuale e aumentata, avrà bisogno di un metodo leggero per consentire una resa foveata realistica, dove la maggior parte delle risorse di rendering si concentra attorno allo sguardo dell’utente, piuttosto che essere distribuita indiscriminatamente a bassa risoluzione in tutto lo spazio visivo disponibile.

Dal documento del 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, vediamo il locus di attenzione in uno schema di rendering foveato innovativo per NeRF. Fonte: https://arxiv.org/pdf/2103.16365.pdf

Una parte essenziale dell’autenticità delle future implementazioni di NeRF egocentrico sarà la capacità del sistema di riflettere la capacità dell’occhio umano di cambiare la messa a fuoco attraverso un piano di prospettiva recedente (vedi prima immagine sopra).

Questo gradiente di messa a fuoco è anche un indicatore percettivo della scala della scena; la vista da un elicottero che vola sopra una città avrà zero campi di messa a fuoco navigabili, perché l’intera scena esiste al di là della capacità di messa a fuoco più esterna dell’utente, mentre l’esame di una scena miniaturizzata o di un campo “vicino” non solo consentirà la “messa a fuoco a rack”, ma dovrebbe, per realismo, contenere un campo di messa a fuoco ristretto per default.

In basso è presente un video che dimostra le capacità iniziali di NeRFocus, fornito dall’autore del documento:

Oltre i Piani Focali Ristretti

Consapevoli dei requisiti per il controllo della messa a fuoco, molti progetti NeRF negli ultimi anni hanno fatto provvedimenti per esso, sebbene tutti i tentativi fino ad oggi siano essenzialmente soluzioni di lavoro intorno o richiedano routine di post-elaborazione significative che li rendono contributi improbabili agli ambienti in tempo reale infine previsti per le tecnologie dei Campi di Radiance Neurale.

Il controllo della messa a fuoco sintetica nei framework di rendering neurale è stato tentato con vari metodi negli ultimi 5-6 anni – ad esempio, utilizzando una rete di segmentazione per recintare i dati del primo piano e dello sfondo, e quindi defocalizzare genericamente lo sfondo – una soluzione comune per effetti di messa a fuoco a due piani semplici.

Dal documento ‘Automatic Portrait Segmentation for Image Stylization’, una separazione di piani focali di stile animazione. Fonte: https://jiaya.me/papers/portrait_eg16.pdf

Le rappresentazioni multi-piano aggiungono alcuni “cel” di animazione virtuali a questo paradigma, ad esempio utilizzando la stima della profondità per tagliare la scena in un gradiente di piani focali distinti, e quindi orchestrare kernel dipendenti dalla profondità per sintetizzare il blur.

Inoltre, e altamente rilevante per ambienti di realtà aumentata e virtuale, la disparità tra i due punti di vista di un’impostazione della camera stereo può essere utilizzata come proxy di profondità – un metodo proposto da Google Research nel 2015.

Dal documento guidato da Google Fast Bilateral-Space Stereo for Synthetic Defocus, la differenza tra i due punti di vista fornisce una mappa di profondità che può facilitare l’offuscamento. Tuttavia, questo approccio è inautentico nella situazione prevista sopra, dove la foto è chiaramente scattata con un obiettivo da 35-50mm (standard SLR), ma l’estrema sfocatura dello sfondo si verificherebbe solo con un obiettivo che supera i 200mm, che ha il tipo di piano focale altamente vincolato che produce un campo di messa a fuoco ristretto in ambienti di dimensioni umane normali. Fonte

Gli approcci di questo tipo tendono a dimostrare artefatti di bordo, poiché tentano di rappresentare due sfere di messa a fuoco distinte e limitate da bordi come un gradiente di messa a fuoco continuo.

Nel 2021 l’iniziativa RawNeRF ha offerto la funzionalità di Alta Dinamica di Range (HDR), con un maggiore controllo sulle situazioni a bassa luce, e una capacità apparentemente impressionante di regolare la messa a fuoco:

RawNeRF regola la messa a fuoco in modo bello (se, in questo caso, inautenticamente, a causa di piani focali irrealistici), ma al costo di un alto carico computazionale. Fonte: https://bmild.github.io/rawnerf/

Tuttavia, RawNeRF richiede una pre-elaborazione onerosa per le sue rappresentazioni multi-piano del NeRF addestrato, risultando in un flusso di lavoro che non può essere facilmente adattato a implementazioni più leggere o a bassa latenza di NeRF.

Modellare un Obiettivo Virtuale

NeRF stesso si basa sul modello di imaging con foro stenopeico, che rende l’intera scena nitidamente in un modo simile a una scena CGI predefinita (prima dei vari approcci che rendono il blur come effetto post-elaborazione o innato in base alla profondità di campo).

NeRFocus crea un obiettivo virtuale “sottile” (piuttosto che un’apertura “senza vetro”) che calcola il percorso del fascio di ogni pixel in ingresso e lo rende direttamente, invertendo efficacemente il processo standard di acquisizione dell’immagine, che opera post facto sulla luce in ingresso che è già stata influenzata dalle proprietà refrattive del design dell’obiettivo.

Questo modello introduce una serie di possibilità per il rendering del contenuto all’interno del frustum (il cerchio di influenza più grande rappresentato nell’immagine sopra).

Calcolare il colore e la densità corretti per ogni perceptron multi-strato (MLP) in questo insieme più ampio di possibilità è un compito aggiuntivo. Ciò è stato risolto in precedenza applicando una formazione supervisionata a un gran numero di immagini DLSR, comportando la creazione di set di dati aggiuntivi per un flusso di lavoro di formazione probabilistica – coinvolgendo essenzialmente la preparazione e l’archiviazione laboriose di risorse calcolate multiple che potrebbero o non potrebbero essere necessarie.

NeRFocus supera questo con il P-training, dove i set di dati di formazione vengono generati in base a operazioni di sfocatura di base. Quindi, il modello è formato con operazioni di sfocatura innate e navigabili.

Il diametro dell’apertura è impostato su zero durante la formazione, e vengono utilizzate probabilità predefinite per scegliere un kernel di sfocatura a caso. Questo diametro ottenuto viene utilizzato per scalare i diametri di ogni cono composito, consentendo all’MLP di prevedere con precisione la radianza e la densità dei frusti (i cerchi larghi nelle immagini sopra, rappresentanti la zona di trasformazione massima per ogni pixel)

Gli autori del nuovo documento osservano che NeRFocus è potenzialmente compatibile con l’approccio guidato da HDR di RawNeRF, che potrebbe aiutare nel rendering di alcune sezioni sfidanti, come gli highlight sfocati speculari, e molti degli altri effetti computazionalmente intensivi che hanno sfidato i flussi di lavoro CGI per trent’anni o più.

Il processo non richiede requisiti aggiuntivi per il tempo e/o i parametri in confronto agli approcci precedenti come NeRF di base e Mip-NeRF (e, presumibilmente Mip-NeRF 360, sebbene ciò non sia affrontato nel documento), e si applica come estensione generale alla metodologia centrale dei campi di radiance neurale. Prima pubblicazione 12 marzo 2022.