Adobe：通过神经渲染重新照亮现实世界

Adobe 的研究人员创建了一个用于现实世界室内场景的神经渲染系统，该系统能够进行复杂的重新照明，提供实时界面，并处理光滑表面和反射 - 这对于神经辐射场 (NeRF) 等竞争图像合成方法来说是一个显著的挑战。

这里，一个真实世界场景已根据多幅静态图像重建，使其可导航。您可以添加并更改照明的颜色和质量，同时反射保持准确，光滑的表面能够准确表达用户对光源和/或样式的更改。 来源：https://www.youtube.com/watch?v=d3ma4opFpgM

新系统允许以 Photoshop 风格、GUI 驱动的方式控制捕获到神经空间中的真实 3D 场景的照明方面，包括阴影和反射。

GUI 允许用户向由少量照片重建的真实世界场景添加（和调整）光源，并在其中自由导航，就好像它是 CGI 风格的基于网格的场景一样。

这个 纸，提交给 ACM Transactions on Graphics 并题为 多视点立体的自由视点室内神经重新照明是 Adob​​e Research 与蔚蓝海岸大学研究人员之间的合作成果。

来源：https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf（点击查看完整版本）

与神经辐射场一样（神经RF），该系统采用摄影测量法（左上），其中对场景的理解是从有限数量的照片推断出来的，并且通过机器学习训练“缺失”的视点，直到完整且完全抽象的场景模型可用于临时重新解释。

该系统完全基于合成（CGI）数据进行训练，但所使用的 3D 模型的处理方式与人类拍摄真实场景的几张有限照片进行神经解读时的处理方式完全相同。上图展示了一个重新点亮的合成场景，但上方（动画）图像中的“卧室”视图则来自在真实房间中拍摄的实际照片。

场景的隐式表示是通过卷积神经网络 (CNN) 从源材料中获得的，并分为多个层，包括反射率、源辐照度（光能传递/全局照明）和反照率。

Adobe 重新照明系统的架构。 多视图数据集经过预处理，并根据输入数据生成 3D 网格几何体。 当必须添加新光时，实时计算辐照度，并合成重新照明视图。 （点击查看完整版本）

该算法结合了传统光线追踪（蒙特卡罗）和基于图像的渲染（IBR，神经渲染）的各个方面。

尽管最近对神经辐射场的大量研究都涉及从平面图像中提取 3D 几何图形，但 Adob​​e 的产品是首次通过这种方法展示高度复杂的重新照明。

该算法还通过计算完整的反射图来解决 NeRF 和类似方法的另一个传统限制，其中图像的每个部分都分配有 100% 反射材料。

镜像纹理映射出照明路径。 （点击查看完整版本）

有了这张积分反射率图，就可以“调低”反射率，以适应不同材质（例如木材、金属和石材）的不同反射水平。反射率图（上图）还提供了完整的光线映射模板，可以重复用于漫射照明调整。

Adobe 神经渲染系统中的其他层。 （点击查看完整版本）

场景的初始捕获使用 250-350 张 RAW 照片，通过多视图立体计算网格。 数据被汇总为 2D 输入特征图，然后重新投影到新颖的视图中。 通过平均捕获场景的漫反射层和光泽层来计算照明的变化。

镜像层是通过快速单射线镜像计算（一次反弹）生成的，该计算会估算原始源值，然后估算目标值。包含场景原始光照信息的地图存储在神经数据中，类似于光能传递地图通常与传统 CGI 场景数据一起存储的方式。

解决神经渲染反射

这项工作的主要成就或许在于将反射信息与数据中的漫反射和其他层分离。通过确保启用“反射”的实时视图（例如镜子）仅针对活动用户视图而非整个场景进行计算，可以有效缩短计算时间。

研究人员声称，这项工作首次在单一框架中将重新照明功能与自由视图导航功能相匹配，适用于必须真实再现反射表面的场景。

为了实现此功能，研究人员做出了一些牺牲，研究人员承认，使用更复杂的每视图网格的先前方法证明了小物体的几何形状得到了改进。 Adobe 方法的未来方向将包括使用每个视图几何图形来改进这方面。