苹果的HDR增强现实环境能否解决神经渲染中的反射问题？

苹果公司在增强现实技术方面的长期投资正在加速，今年推出了新的开发者工具，用于捕获和转换现实世界中的物体为增强现实的组成部分，并且有一个捕获和转换现实世界中的物体为增强现实的组成部分的功能，以及一个日益增长的行业信念，即专用的增强现实眼镜即将推出，以支持这些研发能够实现的沉浸式体验。

在苹果公司在增强现实方面的新信息中，来自公司计算机视觉研究部门的一篇新论文揭示了一种使用360度全景高动态范围（HDR）图像来为增强现实场景中的物体提供场景特定的反射和照明的方法。

这篇题为《HDR环境图估计用于实时增强现实》的论文，由苹果计算机视觉研究工程师Gowri Somanath和高级机器学习经理Daniel Kurz提出，提出了一种通过卷积神经网络（CNN）在移动处理环境中实时创建HDR环境的方法。结果是，反射物体可以实时镜像新的、未见过的环境：

在苹果的新AR对象生成工作流中，一个压力锅通过摄影测量法实例化，包括其环境，导致反射令人信服，并且没有被“烘焙”到纹理中。 来源：https://docs-assets.developer.apple.com/

该方法于CVPR 2021上首次发布，拍摄整个场景的快照，并使用EnvMapNet CNN来估计一个视觉上完整的全景HDR图像，也称为“光探测器”。

生成的图表识别出强光源（在上面的动画中以轮廓显示）并在渲染虚拟对象时考虑这些因素。

EnvMapNet的架构，它将有限的图像处理为全场景HDR光探测器。 来源：https://arxiv.org/pdf/2011.10687.pdf

该算法可以在iPhone XS上运行，耗时不到9毫秒，并且能够实时渲染反射感知对象，相比之前和不同方法，方向误差减少了50%。

光探测器

HDR照明环境自1990年代以来一直是视觉效果的一个因素，当时高动态范围图像（1986年发明）通过计算机技术的进步成为一个值得注意的力量。任何观看幕后花絮的人可能都注意到了技术人员举着镜子球的超现实存在——这些镜子球将被整合为环境因素，当重建场景中的CGI元素时。

来源：https://beforesandafters.com/

然而，使用铬球进行反射映射纹理可以追溯到1983年的SIGGRAPH论文《金字塔参数》，该论文以一款反射CGI机器人的静止图像为特色，这种风格将在十年后通过詹姆斯·卡梅隆的《终结者2：审判日》的“液态金属”效果而闻名。

神经渲染中的HDR环境？

神经渲染提供了从非常稀疏的输入中生成照片级视频的可能性，包括粗糙的分割图。