Un autèntic sistema d'enfocament per a la realitat augmentada "barat".

Investigadors de l'Institut d'Enginyers Elèctrics i Electrònics (IEEE) han desenvolupat un mètode per augmentar l'autenticitat de les instal·lacions de realitat augmentada de baix cost i basades en projecció, a través d'ulleres especials que fan que les imatges 3D projectades entrin i desenfocan al mateix temps. manera que ho farien si els objectes fossin reals, superant un obstacle perceptiu crític per a l'ús pràctic dels sistemes de projecció en entorns controlats.

El sistema IEEE recrea plans de profunditat per a imatges reals i CGI projectades que es superposaran a les habitacions. En aquest cas, tres conillets CGI de Stanford s'estan superposant al mateix pla de profunditat que tres objectes del món real, i la seva borrosa està controlada per on mira i enfoca l'espectador. Els projectors 3D poden col·locar imatges sobre superfícies fixes, superfícies mòbils o fins i tot geometries complexes, oferint una àmplia cobertura que és difícil de recrear sota les greus limitacions de processament dels sistemes AR com HoloLens. Font: https://www.youtube.com/watch?v=I8DGTQnxm38

El sistema utilitza lents ajustables elèctricament (ETL) incrustades a les ulleres de l'espectador (que, en tot cas, són necessàries per separar els dos fluxos d'imatges en una experiència 3D integrada i convincent) i que es comuniquen amb el sistema de projecció, que després canvia automàticament. el nivell de borrositat de la imatge projectada vista per l'espectador.

Les lents ETL informen informació sobre l'atenció focal de l'usuari i estableixen el nivell de borrositat per pla per a la representació de la geometria projectada. El desenvolupament del sistema es descriu en un vídeo adjunt, incrustat al final d'aquest article.

El paper, titulat Cartografia de projecció estereoscòpica multifocal, ofereix un nou nivell d'usabilitat a un camp que s'ha vist limitat per la seva manca d'integració amb la manera com els usuaris se centren en diferents objectes, i que prometen superar els problemes que aquests sistemes han tingut amb el conflicte de vergència-acomodament (VAC) – una síndrome en què la distància percebuda entre un objecte no coincideix amb la seva distància lògica d'enfocament, fent que l'objecte "floti" d'una manera poc convincent i n'hauria de ser desenfocat en el context de la seva col·locació.

En entorns AR, com ara HoloLens de Microsoft, s'utilitza la renderització foveated per concentrar la potència de processament, la representació dels detalls i l'enfocament en funció d'on mira i es concentra l'usuari que porta el dispositiu. Tanmateix, els sistemes AR portàtils com la funció HoloLens tenen una càrrega de maquinari a bord molt més gran, ja que en realitat han de lliurar la imatge en 3D a l'espectador.

L'avantatge de la realitat augmentada projectada

Per contra, les ulleres habilitades per ETL simplement envien informació focal com a variable addicional a les canonades CGI remotes, que poden canviar l'enfocament de les imatges projectades més ràpidament que el viatge d'anada i tornada que la informació focal ha de fer en un dispositiu AR portàtil (és a dir, informació del focus > enviada al processador remot > representada > enviada de tornada a l'usuari), millorant la latència, que és en si mateixa a causa potencial de desorientació de l'espectador en sistemes AR.

En efecte, la representació foveated s'utilitza tant per adaptar-se als recursos limitats disponibles com per proporcionar una experiència focal autèntica per a l'usuari, amb grans àrees d'imatges superposades difícils d'aconseguir en sistemes d'estil HoloLens, i "renderització de bústia" limitada i vores inestables una queixa coherent.

De SIGGRAPH 98: una visió de la realitat augmentada en un entorn d'oficina, citada en el nou document. Font: https://www.youtube.com/watch?v=I8DGTQnxm38 i https://web.media.mit.edu/~raskar/UNC/Office/

L'article observa una sèrie d'avantatges coneguts que té el mapatge de projecció estereoscòpica (PM) sobre les implementacions més modernes de realitat augmentada, que es basen en equipaments pesats i intensos per al cos, tal com assenyalen els autors*:

En primer lloc, el camp de visió (FOV) es pot fer el més ampli possible augmentant el nombre de projectors per cobrir tot l'entorn. En segon lloc, les ulleres d'obturació activa que s'utilitzen normalment són molt més lleugeres i, per tant, la seva càrrega física és menor que les HMD. En tercer lloc, diversos usuaris poden compartir la mateixa experiència de RA si els seus punts de vista estan prou a prop els uns dels altres. Gràcies a aquests avantatges, els investigadors han descobert que la PM estereoscòpica és adequada per a una àmplia gamma d'aplicacions, incloses però no limitades a guies de museus, planificació de l'arquitectura, disseny de producte, formació mèdica, interfícies que canvien de forma, i teleconferència.

Una d'aquestes implementacions va ser ideada per Microsoft Research el 2012, abans de la concentració de l'empresa en AR al dispositiu en els darrers anys:

Els investigadors de l'IEEE afirmen que el nou sistema d'entrada d'enfocament és el primer a abordar VAC controlant plans multifocus, i també és el primer a resoldre aquest problema d'una manera genèrica i àmpliament aplicable, sense la necessitat d'equips de projecció especialitzats i cars.

La canalització de renderització centrada en l'enfocament ideada pels investigadors incorpora la informació focal rebuda de les ulleres ETL de l'espectador al començament del procés de renderització, en lloc de requerir que l'ordinador base es renderi i després es difumi. Depenent de la implementació, això pot estalviar encara més recursos de processament i millorar la latència a mesura que la mirada focal de l'espectador vaga pels elements virtuals.

S'ha informat que la tècnica funciona bé en una varietat de possibles superfícies de projecció, incloses superfícies planes i no planes (és a dir, geometria corba o complexa, com ara maniquís sobre els quals es podrien imposar imatges mèdiques de raigs X) i superfícies mòbils.

Un maniquí de realitat mixta que utilitza projecció 3D, dissenyat per a un entorn d'educació mèdica, citat al document. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Els sistemes de projecció d'aquest tipus requereixen entorns foscos, com ara la configuració del museu, i el sistema ETL redueix l'angle de visió disponible de l'espectador, tot i que els investigadors afirmen que la tendència a augmentar les mides d'obertura per als equips ETL mitigarà aquesta limitació amb el temps. Tot i que els autors també assenyalen que el sistema requereix un projector d'alta velocitat per proporcionar prou fotogrames per separar-se en dos fluxos, han utilitzat un projector comercialment disponible per a la seva implementació.

*La meva conversió de cites en línia a hiperenllaços.