一个真实的聚焦系统，用于“廉价”的增强现实

来自电气和电子工程师学会（IEEE）的研究人员已经开发了一种方法，可以通过特殊的眼镜增加低成本、基于投影的增强现实安装的真实性，这些眼镜可以使投影的3D图像以与真实物体相同的方式进出焦点，克服了投影系统在受控环境中实际使用的关键感知障碍。

IEEE系统重现了投影的真实和CGI图像的深度平面，这些图像将被叠加到房间中。在这种情况下，三个CGI斯坦福兔子被叠加在三个真实世界物体的同一深度平面上，它们的模糊度由观察者查看和聚焦的位置控制。 3D投影仪可以将图像投射到固定表面、移动表面，甚至复杂的几何形状上，提供了广泛的覆盖范围，这在HoloLens等AR系统的严格处理限制下难以重现。 来源：https://www.youtube.com/watch?v=I8DGTQnxm38

该系统使用嵌入在观察者眼镜中的电焦可调镜头（ETL），这些镜头与投影系统通信，投影系统然后自动改变观察者看到的投影图像的模糊度。

ETL镜头反馈用户的焦点注意力信息，并根据投影几何形状的渲染设置模糊度。该系统的开发在文章末尾的配套视频中概述。

这篇题为《多焦点立体投影映射》的论文为一个长期以来由于缺乏与用户对不同物体的焦点集成方式而受到限制的领域带来了新的可用性，并承诺克服投影系统在实践中使用时的vergence–accommodation conflict（VAC）问题——一种综合征，其中物体的感知距离与其逻辑焦距不匹配，导致物体以不真实的清晰方式“悬浮”在应该模糊的位置。

在AR环境中，例如Microsoft的HoloLens中，foveated渲染被用于集中处理能力，根据用户查看和聚焦的位置渲染细节和焦点。然而，HoloLens等可穿戴AR系统具有更高的载荷，因为它们实际上需要将3D图像传递给用户。

投影增强现实的优势

相比之下，ETL启用的眼镜只是将焦点信息作为一个变量发送到远程CGI管道，这些管道可以比可穿戴AR设备（即焦点信息>发送到远程处理器>渲染>发送回穿戴者）更快地改变投影图像的焦点，从而提高延迟，这本身就是AR系统中潜在的观察者失向的原因。

实际上，foveated渲染既用于适应有限的资源，也用于为用户提供真实的焦点体验，大面积叠加图像在HoloLens风格的系统中难以实现，且“信封渲染”和不稳定的边缘是一个持续的抱怨。

来自SIGGRAPH 98的增强现实在办公环境中的愿景，引用在新论文中。 来源：https://www.youtube.com/watch?v=I8DGTQnxm38和https://web.media.mit.edu/~raskar/UNC/Office/

论文指出，立体投影映射（PM）相比现代增强现实实现具有多个已知的优势，后者依赖于沉重和密集的身体佩戴设备，如作者所述：

首先，通过增加投影仪的数量来覆盖整个环境，可以使视野（FOV）尽可能宽。其次，使用的主动快门眼镜通常比HMD轻得多，因此其物理负担也较小。第三，如果多个用户的视点彼此足够接近，他们可以共享相同的AR体验。由于这些优势，研究人员发现立体投影映射适用于广泛的应用，包括但不限于博物馆导览、建筑规划、产品设计、医疗培训、形状变化界面和远程会议。

微软研究院在2012年，即公司近年来专注于设备内AR之前，曾设计过一种这样的实现：

IEEE研究人员认为，该新的焦点输入系统是第一个通过控制多焦点平面来解决VAC问题的系统，也是第一个以通用和广泛适用的方式解决这个问题的系统，而无需昂贵的专用投影设备。

研究人员设计的焦点中心渲染管道在渲染过程的开始就接收来自观察者ETL眼镜的焦点信息，而不是需要基准计算机渲染然后模糊。根据实现的不同，这可以进一步节省处理资源并提高延迟，因为观察者的焦点视线在虚拟元素中漫游。

该技术据报道在各种可能的投影表面上都能很好地工作，包括平面、非平面（即曲面或复杂几何形状，例如医疗X光图像可以投射到假人上的假人）和移动表面。

一款用于医疗教育环境的混合现实假人，使用3D投影，引用在论文中。 来源：https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

此类投影系统需要黑暗的环境，例如博物馆环境，ETL系统会减少观察者的可用视角，尽管研究人员认为，ETL设备的光圈尺寸增加的趋势将随着时间的推移缓解这一限制。虽然作者还指出，该系统需要高速投影仪才能提供足够的帧来分离成两个流，但他们已经使用了一款商用、现成的投影仪来实现他们的实现。

*我的内联引用转换为超链接。