真实的聚焦系统用于“廉价”的增强现实

来自电气和电子工程师学会（IEEE）的研究人员已经开发了一种方法，可以通过特殊的眼镜增加低成本、基于投影的增强现实安装的真实性，这些眼镜可以使投影的3D图像在和出焦点，就像它们是真实的物体一样，克服了投影系统在受控环境中实用使用的关键感知障碍。

IEEE系统重现了投影的真实和CGI图像的深度平面，这些图像将被叠加到房间中。在这种情况下，三个CGI斯坦福兔子被叠加到三个真实物体的同一深度平面上，它们的模糊度由查看者查看和聚焦的位置控制。 3D投影仪可以将图像投射到固定表面、移动表面，甚至复杂的几何形状上，提供了广泛的覆盖范围，这对于AR系统（如HoloLens）来说很难复制。来源：https://www.youtube.com/watch?v=I8DGTQnxm38

该系统使用嵌入在查看者眼镜中的电焦可调镜头（ETL），并与投影系统通信，投影系统然后自动改变查看者看到的投影图像的模糊度。

ETL镜头反馈查看者的焦点注意力信息，并根据投影几何体的平面设置模糊度。该系统的开发在文章末尾嵌入的视频中概述。

该论文，题为《多焦点立体投影映射》，为一个由于缺乏与用户对不同物体的焦点方式集成而受到限制的领域提供了新的可用性，并承诺克服投影系统的vergence–accommodation conflict（VAC）问题——一种综合征，其中感知的物体距离不匹配其逻辑焦点距离，导致物体以不合理的清晰度“漂浮”在其放置的背景中。

在AR环境中，例如Microsoft的HoloLens中，foveated渲染用于集中处理能力，根据查看者查看和焦点的位置渲染细节和焦点。然而，HoloLens等可穿戴AR系统具有更高的本地硬件负载，因为它们必须将3D图像直接传递给查看者。

投影增强现实的优势

相比之下，ETL启用的眼镜只是将焦点信息作为一个额外的变量发送到远程的CGI管道，这些管道可以比可穿戴AR设备更快地改变投影图像的焦点（即焦点信息>发送到远程处理器>渲染>发送回查看者），从而改善延迟，这本身就是AR系统中潜在的查看者失向的原因。

实际上，foveated渲染既用于适应有限的可用资源，也用于为用户提供真实的焦点体验，大面积的叠加图像在HoloLens风格的系统中难以实现，并且“letterbox渲染”和不稳定的边缘是一个持续的抱怨。

来自SIGGRAPH 98的增强现实在办公环境中的愿景，在新论文中被引用。来源：https://www.youtube.com/watch?v=I8DGTQnxm38和https://web.media.mit.edu/~raskar/UNC/Office/

该论文观察到立体投影映射（PM）相对于现代增强现实实现的一些已知优势，后者依赖于重型和密集的身体穿戴设备，如作者所注意到的：

首先，视野（FOV）可以通过增加投影仪的数量来覆盖整个环境来扩大。其次，使用的主动快门眼镜通常比HMD轻得多，因此其物理负担较小。第三，如果多个用户的视点足够接近，他们可以共享相同的AR体验。由于这些优势，研究人员发现立体投影映射适用于广泛的应用，包括但不限于博物馆导览、建筑规划、产品设计、医疗培训、形状变化界面和远程会议。

2012年，微软研究院设计了一个这样的实现，尽管该公司近年来专注于设备内的AR：

IEEE研究人员声称，新的焦点输入系统是第一个通过控制多焦点平面来解决VAC的问题的系统，也是第一个以通用和广泛适用的方式解决这个问题的系统，而无需昂贵的专用投影设备。

研究人员设计的焦点中心渲染管道从渲染过程的开始就接收来自查看者ETL眼镜的焦点信息，而不是需要基本计算机渲染然后模糊。根据实现，这可以进一步节省处理资源并改善延迟，因为查看者的焦点注意力在虚拟元素周围游走。

该技术被报告为在各种可能的投影表面上有效地工作，包括平面、非平面（即曲面或复杂几何形状，如用于医疗X光图像的假人）和移动表面。

用于医疗教育环境的混合现实假人，使用3D投影，在论文中被引用。来源：https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

此类投影系统需要黑暗的环境，例如博物馆环境，ETL系统减少了查看者的可用视角，尽管研究人员声称ETL设备的光圈尺寸增加的趋势将随着时间的推移缓解这一限制。虽然作者也注意到该系统需要高速投影仪来提供足够的帧来分离成两个流，但他们已经使用了商用、现成的投影仪进行了实施。

*我的内联引用转换为超链接。