Un sistema di messa a fuoco autentico per la realtà aumentata “economica”

I ricercatori dell’Istituto di ingegneri elettrici e elettronici (IEEE) hanno sviluppato un metodo per aumentare l’autenticità di installazioni di realtà aumentata a basso costo basate su proiezione, attraverso speciali occhiali che fanno in modo che le immagini 3D proiettate vanno in e fuori fuoco allo stesso modo in cui lo farebbero se gli oggetti fossero reali, superando un ostacolo percettivo critico per l’uso pratico di sistemi di proiezione in ambienti controllati.

Il sistema IEEE ricrea piani di profondità per immagini reali e CGI che verranno sovrapposte alle stanze. In questo caso, tre conigli CGI di Stanford sono sovrapposti allo stesso piano di profondità di tre oggetti del mondo reale, e la loro sfocatura è controllata da dove l’utente sta guardando e mettendo a fuoco. I proiettori 3D possono proiettare footage su superfici fisse, superfici in movimento o addirittura geometrie complesse, offrendo una copertura ampia che è difficile da ricreare sotto le severe limitazioni di elaborazione dei sistemi AR come HoloLens. Fonte: https://www.youtube.com/watch?v=I8DGTQnxm38

Il sistema utilizza lenti a fuoco regolabili elettricamente (ETL) incorporate negli occhiali dell’utente (che sono comunque necessari per separare i due flussi di immagini in un’esperienza 3D convincente), e che comunicano con il sistema di proiezione, che quindi cambia automaticamente il livello di sfocatura dell’immagine proiettata vista dall’utente.

Le lenti ETL riportano informazioni sulla focalizzazione dell’utente e impostano il livello di sfocatura su base per piano per la renderizzazione della geometria proiettata. Lo sviluppo del sistema è descritto in un video allegato alla fine di questo articolo.

Il documento, intitolato Multifocal Stereoscopic Projection Mapping, offre un nuovo livello di usabilità a un campo che è stato limitato dalla mancanza di integrazione con il modo in cui gli utenti si concentrano su oggetti diversi, e che promette di superare i problemi che tali sistemi hanno avuto con il conflitto di vergenza-accomodazione (VAC) – una sindrome in cui la distanza percepita tra un oggetto non corrisponde alla sua distanza di messa a fuoco logica, facendo in modo che l’oggetto “galleggi” in modo non convincente dove dovrebbe essere sfocato nel contesto della sua posizione.

In ambienti AR, come ad esempio Microsoft’s HoloLens, la renderizzazione foveata viene utilizzata per concentrare la potenza di elaborazione, la resa dei dettagli e la messa a fuoco in base a dove l’utente che indossa il dispositivo sta guardando e mettendo a fuoco. Tuttavia, i sistemi AR indossabili come HoloLens hanno un carico di hardware a bordo molto più alto, poiché devono effettivamente consegnare l’immagine 3D all’utente.

Il vantaggio della realtà aumentata proiettata

Al contrario, gli occhiali abilitati ETL stanno semplicemente inviando informazioni di focalizzazione come una variabile aggiuntiva a pipeline CGI remote, che possono cambiare la messa a fuoco dell’immagine proiettata più velocemente del round-trip che le informazioni di focalizzazione devono fare in un dispositivo AR indossabile (ad esempio informazioni di focalizzazione > inviate al processore remoto > renderizzate > inviate indietro all’utente), migliorando la latenza, che è di per sé una potenziale causa di disorientamento dell’utente nei sistemi AR.

In effetti, la renderizzazione foveata viene utilizzata tanto per adattarsi alle risorse limitate disponibili quanto per fornire un’esperienza di messa a fuoco autentica per l’utente, con aree ampie di immagini sovrapposte difficili da raggiungere in sistemi come HoloLens, e ‘letterbox rendering’ e bordi instabili una costante lamentela.

Da SIGGRAPH 98 – una visione della realtà aumentata in un ambiente di ufficio, citata nel nuovo documento. Fonte: https://www.youtube.com/watch?v=I8DGTQnxm38 e https://web.media.mit.edu/~raskar/UNC/Office/

Il documento osserva una serie di vantaggi noti che la mappatura di proiezione stereoscopica (PM) ha rispetto a implementazioni più moderne di realtà aumentata, che si basano su attrezzature indossabili pesanti e intense, come gli autori notano*:

Primo, il campo di visione (FOV) può essere reso il più ampio possibile aumentando il numero di proiettori per coprire l’intero ambiente. Secondo, gli occhiali con chiusura attiva utilizzati sono normalmente molto più leggeri e, quindi, il loro carico fisico è inferiore rispetto agli HMD. Terzo, più utenti possono condividere la stessa esperienza AR se i loro punti di vista sono sufficientemente vicini l’uno all’altro. Grazie a questi vantaggi, i ricercatori hanno trovato la mappatura di proiezione stereoscopica adatta a una vasta gamma di applicazioni, tra cui, ma non limitato a guide per musei, pianificazione architettonica, progettazione di prodotti, formazione medica, interfacce che cambiano forma, e teleconferenza.

Una tale implementazione è stata ideata da Microsoft Research nel 2012, prima della concentrazione dell’azienda su AR sul dispositivo negli ultimi anni:

I ricercatori IEEE sostengono che il nuovo sistema di input di focalizzazione è il primo a risolvere il problema del conflitto di vergenza-accomodazione controllando piani di messa a fuoco multipli e che è anche il primo a risolvere questo problema in modo generico e ampiamente applicabile, senza la necessità di attrezzature di proiezione specializzate e costose.

La pipeline di rendering centrata sulla messa a fuoco ideata dai ricercatori incorpora le informazioni di focalizzazione ricevute dagli occhiali ETL dell’utente all’inizio del processo di rendering, piuttosto che richiedere al computer di base di renderizzare e poi sfocare. A seconda dell’implementazione, ciò può ulteriormente risparmiare risorse di elaborazione e migliorare la latenza mentre l’utente si concentra su elementi virtuali.

La tecnica è stata segnalata per funzionare bene su una varietà di superfici di proiezione possibili, tra cui superfici piatte, non piane (ad esempio curve o geometrie complesse, come manichini su cui potrebbero essere impostate immagini di x-ray mediche) e superfici in movimento.

Un manichino di realtà mista che utilizza la proiezione 3D, progettato per un ambiente di formazione medica, citato nel documento. Fonte: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

I sistemi di proiezione di questo tipo richiedono ambienti bui, come ambienti di musei, e il sistema ETL riduce l’angolo di visione disponibile per l’utente, sebbene i ricercatori sostengano che la tendenza verso dimensioni di apertura maggiori per l’attrezzatura ETL mitigherà questa limitazione nel tempo. Sebbene gli autori notino anche che il sistema richiede un proiettore ad alta velocità per fornire abbastanza fotogrammi da separare in due flussi, hanno utilizzato un proiettore commerciale, disponibile sul mercato, per la loro implementazione.

*La mia conversione di citazioni in linea in collegamenti ipertestuali.