Possono gli Ambienti di Realtà Aumentata HDR di Apple Risolvere i Riflessi per il Rendering Neurale?

Gli investimenti vigorosi e a lungo termine di Apple nelle tecnologie di Realtà Aumentata si stanno accelerando quest’anno, con una nuova serie di strumenti per gli sviluppatori per catturare e convertire oggetti del mondo reale in faccette di Realtà Aumentata, e una crescente convinzione dell’industria che gli occhiali di Realtà Aumentata dedicati stanno per arrivare per supportare le esperienze immersive che questo blizzard di R&D può abilitare.

Tra una serie di nuove informazioni sugli sforzi di Apple nella Realtà Aumentata, un nuovo documento del reparto di ricerca di computer vision dell’azienda rivela un metodo per utilizzare immagini panoramiche a 360 gradi ad alta gamma dinamica (HDR) per fornire riflessi e illuminazione specifici della scena per gli oggetti sovrapposti alle scene di Realtà Aumentata.

Intitolato HDR Environment Map Estimation for Real-Time Augmented Reality, il documento, scritto dall’ingegnere di ricerca di computer vision di Apple Gowri Somanath e dal senior manager di machine learning Daniel Kurz, propone la creazione dinamica di ambienti HDR in tempo reale attraverso una rete neurale convoluzionale (CNN) in esecuzione in un ambiente di elaborazione mobile. Il risultato è che gli oggetti riflettenti possono letteralmente specchiare ambienti nuovi e non visti su richiesta:

Nel nuovo flusso di lavoro di generazione di oggetti AR di Apple, una pentola a pressione è istanziata mediante fotogrammetria completa del suo ambiente circostante, portando a riflessi convincenti che non sono ‘cotti’ nel tessuto. Fonte: https://docs-assets.developer.apple.com/

Il metodo, presentato al CVPR 2021, scatta una foto dell’intera scena e utilizza la EnvMapNet CNN per stimare un’immagine panoramica HDR visualmente completa, nota anche come ‘sonda di luce’.

La mappa risultante identifica forti fonti di luce (evidenziate alla fine nell’animazione sopra) e le tiene in considerazione nel rendering degli oggetti virtuali.

L’architettura di EnvMapNet, che elabora immagini limitate in sonde di luce HDR a scena completa. Fonte: https://arxiv.org/pdf/2011.10687.pdf

L’algoritmo può essere eseguito in meno di 9 ms su un iPhone XS e può renderizzare oggetti consapevoli di riflessi in tempo reale, con un errore direzionale ridotto del 50% rispetto ad approcci precedenti e diversi al problema.

Sonde di Luce

Gli ambienti di illuminazione HDR sono stati un fattore negli effetti visivi fin dai tempi delle immagini ad alta gamma dinamica (inventate nel 1986) che sono diventate una forza notevole attraverso gli avanzamenti nella tecnologia informatica negli anni ’90. Chiunque abbia guardato i filmati dietro le quinte potrebbe aver notato la presenza surreale di tecnici che tengono in mano sfere cromate su bastoni – immagini di riferimento da incorporare come fattori ambientali quando si ricostruiscono elementi CGI per la scena.

Fonte: https://beforesandafters.com/

Tuttavia, l’uso di sfere cromate per mapping di riflessi predatano gli anni ’90, risalendo al 1983 con il documento SIGGRAPH Pyramidal Parametrics, che presentava immagini fisse di un robot CGI riflettente in uno stile che sarebbe diventato famoso quasi un decennio dopo attraverso gli effetti ‘metallico liquido’ di James Cameron’s Terminator 2: Judgement Day.

Ambienti HDR nel Rendering Neurale?

Il rendering neurale offre la possibilità di generare video fotorealistici da input molto sparsi, inclusi mappe di segmentazione grezze.

Intel ISL’s segmentazione>immagine di rendering neurale (2017). Fonte: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

A maggio, i ricercatori di Intel hanno rivelato una nuova iniziativa nella sintesi di immagini neurali in cui le riprese del videogioco Grand Theft Auto V sono state utilizzate per generare output fotorealistici basati su set di immagini di strade tedesche.

Fonte: https://www.youtube.com/watch?v=0fhUJT21-bs

La sfida nello sviluppare ambienti di rendering neurale che possano essere adattati a varie condizioni di illuminazione è quella di separare il contenuto dell’oggetto dai fattori ambientali che lo influenzano.

Allo stato attuale, le riflessi e gli effetti anisotropi rimangono funzioni o del set di dati originale (che li rende inflessibili), o richiedono lo stesso tipo di schema che i ricercatori di Intel hanno impiegato, che genera output semi-fotorealistici da un (motore di gioco) grezzo, esegue la segmentazione su di esso e applica il trasferimento di stile da un set di dati ‘cotto’ (come il set di viste di strade tedesche Mapillary utilizzato nella recente ricerca).

In questo rendering neurale derivato dalle riprese di GTA V (a sinistra), il veicolo in primo piano dimostra bagliori convincenti e addirittura satura il sensore della telecamera virtuale con riflessi dal sole. Ma questo aspetto di illuminazione deriva dal motore di gioco originale, poiché i facet neurali nella scena non hanno strutture di illuminazione autonome e auto-riferite che possano essere cambiate.

Riflessi in NeRF

Le immagini derivate da Campi di Radiance Neurali (NeRF) sono similmente sfidate. Sebbene la ricerca recente su NeRF abbia fatto passi avanti nella separazione degli elementi che compongono una scena neurale (ad esempio, la collaborazione MIT/Google su NeRFactor), le riflessi sono rimaste un ostacolo.

L’approccio NeRFactor di MIT e Google separa i normali, la visibilità (ombre), la texture e l’albedo locale, ma non riflette un ambiente più ampio (o in movimento), poiché esiste essenzialmente in un vuoto. Fonte: https://arxiv.org/pdf/2106.01970.pdf

NeRF può risolvere questo problema con lo stesso tipo di mappatura HDR che Apple sta utilizzando. Ogni pixel in un campo di radiance neurale è calcolato su una traiettoria da una telecamera virtuale fino al punto in cui il ‘raggio’ può viaggiare ulteriormente, simile al ray-tracing nella CGI tradizionale. Aggiungere input HDR al calcolo di quel raggio è un metodo potenziale per ottenere riflessi ambientali genuini, ed è in effetti un analogo dei metodi di rendering ‘illuminazione globale’ o radiosità nella CGI, in cui una scena o un oggetto è parzialmente illuminato dalle riflessi percepiti del proprio ambiente.

Sebbene sia garantito che una matrice HDR non faccia nulla per alleviare i notevoli oneri computazionali di NeRF, una grande quantità di ricerca in questo campo attualmente si concentra sull’indirizzare questo aspetto della pipeline di elaborazione. Inevitabilmente, la riflessione è uno dei molti fattori in attesa di riempire e sfidare quell’architettura nuovamente ottimizzata. Tuttavia, NeRF non può raggiungere il suo pieno potenziale come metodologia di sintesi di immagini e video neurali discrete senza adottare un modo per tenere conto di un ambiente circostante.

Riflessi nelle Pipeline di Rendering Neurale

In una versione putativa di HDR abilitata dello scenario di rendering neurale di Intel GTA V, un solo HDR non potrebbe ospitare le riflessi dinamiche che devono essere espresse negli oggetti in movimento. Ad esempio, per vedere il proprio veicolo riflesso nel veicolo davanti mentre si avvicina ai semafori, l’entità del veicolo davanti potrebbe avere la sua sonda di luce HDR animata, la cui risoluzione si degrada gradualmente man mano che si allontana dal punto di vista dell’utente, diventando a bassa risoluzione e semplicemente rappresentativa mentre si allontana – un LOD basato sulla prossimità simile ai delimitatori di ‘distanza di disegno’ nei videogiochi.

Il reale potenziale del lavoro di Apple su illuminazione HDR e mappe di riflessi non è che sia particolarmente innovativo, poiché si basa su lavori precedenti nella sintesi di immagini generali e nello sviluppo di scene AR. Piuttosto, la possibile svolta è rappresentata dal modo in cui le severe limitazioni di calcolo locale si sono combinate con le innovazioni hardware di machine learning di Apple per produrre mappatura HDR leggera e a bassa latenza progettata per funzionare con risorse limitate.

Se questo problema può essere risolto economicamente, l’avvento della segmentazione semantica>sintesi video fotorealistica potrebbe avvicinarsi di un passo significativo.

Fonte: https://docs-assets.developer.apple.com/