Un sistema de enfoque auténtico para la realidad aumentada ‘barata’

Investigadores del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) han desarrollado un método para aumentar la autenticidad de las instalaciones de realidad aumentada de bajo costo y basadas en proyección, a través de gafas especiales que hacen que las imágenes 3D proyectadas se enfocen y desenfocen de la misma manera que lo harían si los objetos fueran reales, superando un obstáculo perceptual crítico para el uso práctico de los sistemas de proyección en entornos controlados.

El sistema de la IEEE recrea planos de profundidad para imágenes reales y CGI proyectadas que se superpondrán en habitaciones. En este caso, tres conejos CGI de Stanford se superponen al mismo plano de profundidad que tres objetos del mundo real, y su borrosidad se controla según dónde se encuentra el espectador y se enfoca. Los proyectores 3D pueden colocar imágenes en superficies fijas, superficies en movimiento o incluso geometría compleja, ofreciendo una cobertura amplia que es difícil de recrear bajo las limitaciones de procesamiento severas de los sistemas de realidad aumentada como HoloLens. Fuente: https://www.youtube.com/watch?v=I8DGTQnxm38

El sistema utiliza lentes de enfoque ajustable eléctricamente (ETL) incrustadas en las gafas del espectador (que de todos modos son necesarias para separar las dos corrientes de imagen en una experiencia 3D convincente e integrada), y que se comunican con el sistema de proyección, que luego cambia automáticamente el nivel de borrosidad de la imagen proyectada que ve el espectador.

Las lentes ETL informan sobre la atención focal del usuario y cambian el nivel de borrosidad en una base por plano para la representación de la geometría proyectada. El desarrollo del sistema se describe en un video acompañante, incrustado al final de este artículo.

El artículo, titulado Proyección estereoscópica multifocal, ofrece un nuevo nivel de usabilidad a un campo que ha estado limitado por su falta de integración con la forma en que los usuarios se enfocan en diferentes objetos, y que promete superar los problemas que estos sistemas han tenido con el conflicto de convergencia-acomodación (VAC) – un síndrome en el que la distancia percibida entre un objeto no coincide con su distancia lógica de enfoque, lo que hace que el objeto ‘flote’ de manera poco convincente donde debería estar desenfocado en el contexto de su colocación.

En entornos de realidad aumentada, como Microsoft’s HoloLens, se utiliza la representación foveada para concentrar la potencia de procesamiento, la representación detallada y el enfoque según dónde se encuentra el usuario y se enfoca. Sin embargo, los sistemas de realidad aumentada portátiles como HoloLens tienen una carga de hardware a bordo mucho mayor, ya que tienen que entregar la imagen 3D al espectador.

La ventaja de la realidad aumentada proyectada

Por contraste, las gafas con ETL simplemente envían información de enfoque como una variable adicional a las tuberías de CGI remotas, que pueden cambiar el enfoque de las imágenes proyectadas más rápido que el viaje de ida y vuelta que la información de enfoque tiene que hacer en un dispositivo de realidad aumentada portátil (es decir, información de enfoque > enviado a procesador remoto > representado > enviado de regreso al usuario), lo que mejora la latencia, que es en sí misma una causa potencial de desorientación del espectador en los sistemas de realidad aumentada.

En efecto, la representación foveada se utiliza tanto para acomodar los recursos limitados disponibles como para proporcionar una experiencia de enfoque auténtica para el usuario, con grandes áreas de imágenes superpuestas difíciles de lograr en sistemas como HoloLens, y ‘renderizado de letra’ limitado y bordes inestables una queja constante.

De SIGGRAPH 98 – una visión de la realidad aumentada en un entorno de oficina, citada en el nuevo artículo. Fuente: https://www.youtube.com/watch?v=I8DGTQnxm38 y https://web.media.mit.edu/~raskar/UNC/Office/

El artículo observa una serie de ventajas conocidas que la proyección estereoscópica (PM) tiene sobre las implementaciones más modernas de la realidad aumentada, que dependen de equipos pesados y intensivos que se llevan en el cuerpo, como los autores notan*:

Primero, el campo de visión (FOV) se puede hacer tan ancho como sea posible aumentando el número de proyectores para cubrir todo el entorno. Segundo, las gafas con obturador activo utilizadas normalmente son mucho más ligeras, y, por lo tanto, su carga física es menor que la de los HMD. Tercero, varios usuarios pueden compartir la misma experiencia de realidad aumentada si sus puntos de vista están lo suficientemente cerca entre sí. Gracias a estas ventajas, los investigadores han encontrado que la proyección estereoscópica es adecuada para una amplia gama de aplicaciones, incluyendo pero no limitado a guías de museos, planificación de arquitectura, diseño de productos, entrenamiento médico, interfaces que cambian de forma, y teleconferencia.

Una de estas implementaciones fue ideada por Microsoft Research en 2012, antes de que la empresa se concentrara en la realidad aumentada en el dispositivo en los últimos años:

Los investigadores de la IEEE sostienen que el nuevo sistema de entrada de enfoque es el primero en abordar el VAC controlando planos multifocales, y es también el primero en resolver este problema de manera genérica y ampliamente aplicable, sin la necesidad de equipo de proyección especializado y costoso.

La tubería de representación centrada en el enfoque ideada por los investigadores incorpora la información de enfoque recibida de las gafas ETL del espectador al principio del proceso de representación, en lugar de requerir que la computadora base represente y luego difumine. Dependiendo de la implementación, esto también puede ahorrar recursos de procesamiento y mejorar la latencia a medida que la mirada del espectador se desplaza alrededor de los elementos virtuales.

La técnica se informa que funciona bien en una variedad de superficies de proyección posibles, incluyendo superficies planas, no planas (es decir, curvas o geometría compleja, como muñecos sobre los que se podrían imponer imágenes de rayos X médicos) y superficies en movimiento.

Un maniquí de realidad mixta que utiliza proyección 3D, diseñado para un entorno de educación médica, citado en el artículo. Fuente: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Los sistemas de proyección de este tipo requieren entornos oscuros, como entornos de museos, y el sistema ETL reduce el ángulo de visión disponible del espectador, aunque los investigadores sostienen que la tendencia hacia tamaños de abertura más grandes para el equipo ETL mitigará esta limitación con el tiempo. Aunque los autores también notan que el sistema requiere un proyector de alta velocidad para proporcionar suficientes cuadros para separar en dos corrientes, han utilizado un proyector comercialmente disponible y de venta libre para su implementación.

*Mi conversión de citas en línea a enlaces.