存根 用于“廉价”增强现实的真实聚焦系统 - Unite.AI
关注我们.

增强现实技术

用于“廉价”增强现实的真实聚焦系统

mm

发布时间

 on

电气和电子工程师协会 (IEEE) 的研究人员开发了一种方法,通过特殊眼镜使投影的 3D 图像在同一时间进入和失焦,从而提高低成本、基于投影的增强现实装置的真实性。如果物体是真实的,他们就会这样做,克服了在受控环境中实际使用投影系统的关键感知障碍。

IEEE 系统为投影的真实图像和 CGI​​ 图像重新创建深度平面,并将其叠加到房间中。 在本例中,三个 CGI 斯坦福兔子叠加在与三个现实世界物体相同的深度平面上,它们的模糊度由观看者的注视和聚焦位置控制。 3D 投影仪可以将素材投射到固定表面、移动表面甚至复杂的几何体上,提供广泛的覆盖范围,而在 HoloLens 等 AR 系统的严格处理限制下很难重新创建。 来源:https://www.youtube.com/watch?v=I8DGTQnxm38

IEEE 系统为投影的真实图像和 CGI​​ 图像重新创建深度平面,并将其叠加到房间中。 在本例中,三个 CGI 斯坦福兔子叠加在与三个现实世界物体相同的深度平面上,它们的模糊度由观看者的注视和聚焦位置控制。 3D 投影仪可以将素材投射到固定表面、移动表面甚至复杂的几何体上,提供广泛的覆盖范围,而在 HoloLens 等 AR 系统的严格处理限制下很难重新创建。 来源:https://www.youtube.com/watch?v=I8DGTQnxm38

该系统使用嵌入观看者眼镜中的电子可调焦镜头 (ETL)(在任何情况下都需要将两个图像流分离为令人信服的集成 3D 体验),并与投影系统通信,然后投影系统会自动更改观看者看到的投影图像的模糊程度。

ETL 镜头报告有关用户焦点注意力的信息,并在每个平面的基础上更改投影几何形状的模糊程度。 本文末尾嵌入的随附视频概述了该系统的开发。

ETL 镜头报告有关用户焦点注意力的信息,并在每个平面的基础上设置模糊级别以渲染投影几何图形。 本文末尾嵌入的随附视频概述了该系统的开发。

名为 多焦点立体投影映射,为一个因缺乏与用户关注不同对象的方式集成而受到限制的领域提供了新的可用性水平,并且有望克服此类系统在聚散-调节冲突方面存在的问题(VAC) – 一种综合症,其中物体之间的感知距离与其逻辑聚焦距离不匹配,导致物体以令人难以置信的尖锐方式“漂浮”,在其放置的环境中应该散焦。

在 AR 环境中,例如 Microsoft 的 HoloLens, 使用注视点渲染 根据佩戴设备的用户注视和聚焦的位置来集中处理能力、渲染细节和焦点。 然而,HoloLens 等可穿戴 AR 系统的板载硬件负载要高得多,因为它们实际上必须向观看者提供 3D 图像。

投影增强现实的优势

相比之下,支持 ETL 的眼镜只是将焦点信息作为附加变量发送到远程 CGI 管道,这可以比焦点信息在可穿戴 AR 设备中进行的往返更快地改变投影图像的焦点(即 焦点信息 > 发送到远程处理器 > 渲染 > 发送回佩戴者),改善延迟,这本身就是一个 观众迷失方向的潜在原因 在 AR 系统中。

实际上,注视点渲染的使用既是为了适应有限的可用资源,也是为了为用户提供真实的焦点体验,在 HoloLens 风格的系统中很难实现大面积的叠加图像,并且“信箱渲染”和不稳定的边缘 一致的抱怨.

新论文中引用了 SIGGRAPH 98 中的办公环境增强现实愿景。 资料来源:https://www.youtube.com/watch?v=I8DGTQnxm38 和 https://web.media.mit.edu/~raskar/UNC/Office/

新论文中引用了 SIGGRAPH 98 中的办公环境增强现实愿景。 资料来源:https://www.youtube.com/watch?v=I8DGTQnxm38 和 https://web.media.mit.edu/~raskar/UNC/Office/

该论文观察到,立体投影映射 (PM) 相对于更现代的增强现实实现具有许多已知的优势,后者依赖于重型和密集的随身设备,正如作者指出的*:

首先,可以通过增加投影仪的数量来使视场(FOV)尽可能宽,以覆盖整个环境。 其次,所使用的主动快门眼镜通常要轻得多,因此其身体负担比头戴式显示器要轻。 第三,如果多个用户的观点彼此足够接近,他们就可以共享相同的 AR 体验。 由于这些优点,研究人员发现立体保偏适合广泛的应用,包括但不限于 博物馆指南、建筑规划、 产品设计, 医疗培训, 形状变化的界面和电话会议。

微软研究院在 2012 年设计了一种这样的实现,当时该公司近年来专注于设备内 AR:

MirageTable:投影增强现实桌面上的徒手交互

IEEE 研究人员认为,新的焦点输入系统是第一个通过控制多焦点平面来解决 VAC 问题的系统,也是第一个以通用且广泛适用的方式解决该问题的系统,而不需要昂贵的专用投影设备。

研究人员设计的以焦点为中心的渲染管道在渲染过程一开始就整合了从观看者的 ETL 眼镜接收到的焦点信息,而不是要求基础计算机进行渲染然后模糊。 根据实现的不同,当观看者的焦点在虚拟元素周围徘徊时,这可以进一步节省处理资源并改善延迟。

据报道,该技术在各种可能的投影表面上都能很好地工作,包括平面、非平面(即弯曲或复杂的几何形状,例如可以在其上施加医学 X 射线图像的假人)和移动表面。

论文中引用了一种使用 3D 投影的混合现实人体模型,专为医学教育环境而设计。 资料来源:https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

论文中引用了一种使用 3D 投影的混合现实人体模型,专为医学教育环境而设计。 Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

这种类型的投影系统需要黑暗的环境,例如博物馆环境,而 ETL 系统会减少观看者的可用视角,尽管研究人员认为,随着时间的推移,ETL 设备孔径尺寸增加的趋势将减轻这种限制。 尽管作者还指出,该系统需要高速投影仪才能提供足够的帧来分成两个流,但他们使用了现成的商用投影仪来实现。

多焦点立体投影映射

 

*我将内联引用转换为超链接。