Adobe：通过神经渲染重新照亮现实世界

Adobe 的研究人员为现实世界的室内场景创建了一个神经渲染系统，该系统能够进行复杂的重新照明、提供实时界面并处理光泽表面和反射，这对于神经辐射场 (NeRF) 等竞争性图像合成方法来说是一个显着的挑战。

在这里，现实世界场景是根据许多静态图像重建的，使场景可以导航。 可以添加照明并更改其颜色和质量，同时反射保持准确，并且光泽表面可以正确表达用户对光源和/或样式的更改。 来源：https://www.youtube.com/watch?v=d3ma4opFpgM

新系统允许对已捕获到神经空间中的真实 3D 场景的照明方面进行 Photoshop 风格、GUI 驱动的控制，包括阴影和反射。

GUI 允许用户向由少量照片重建的真实世界场景添加（和调整）光源，并在其中自由导航，就好像它是 CGI 风格的基于网格的场景一样。

纸，提交给 ACM Transactions on Graphics 并题为 多视点立体的自由视点室内神经重新照明是 Adob​​e Research 与蔚蓝海岸大学研究人员之间的合作成果。

来源：https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf（点击查看完整版本）

与神经辐射场一样（神经RF），该系统使用摄影测量（左上），其中对场景的理解是从有限数量的照片中推断出来的，并且通过机器学习训练“缺失”的视点，直到场景的完整且完全抽象的模型可用于广告特别的重新解释。

该系统完全基于合成 (CGI) 数据进行训练，但所使用的 3D 模型的处理方式与人拍摄真实场景的几张有限照片以进行神经解释时的情况完全相同。 上图显示了重新点亮的合成场景，但上面最顶部（动画）图像中的“卧室”视图源自在真实房间中拍摄的实际照片。

场景的隐式表示是通过卷积神经网络 (CNN) 从源材料中获得的，并分为多个层，包括反射率、源辐照度（光能传递/全局照明）和反照率。

Adobe 重新照明系统的架构。 多视图数据集经过预处理，并根据输入数据生成 3D 网格几何体。 当必须添加新光时，实时计算辐照度，并合成重新照明视图。 （点击查看完整版本）

该算法结合了传统光线追踪（蒙特卡罗）和基于图像的渲染（IBR，神经渲染）的各个方面。

尽管最近对神经辐射场的大量研究都涉及从平面图像中提取 3D 几何形状，但 Adob​​e 的产品首次通过这种方法演示了高度复杂的重新照明。

该算法还通过计算完整的反射图来解决 NeRF 和类似方法的另一个传统限制，其中图像的每个部分都分配有 100% 反射材料。

镜像纹理映射出照明路径。 （点击查看完整版本）

有了这个完整的反射率图，就可以“调低”反射率，以适应不同类型材料（例如木材、金属和石头）的各种反射级别。 反射率贴图（上图）还提供了完整的光线贴图模板，可以重复用于漫射照明调整。

Adobe 神经渲染系统中的其他层。 （点击查看完整版本）

场景的初始捕获使用 250-350 张 RAW 照片，通过多视图立体计算网格。 数据被汇总为 2D 输入特征图，然后重新投影到新颖的视图中。 通过平均捕获场景的漫反射层和光泽层来计算照明的变化。

镜像层是通过快速单射线镜像计算（一次反射）生成的，该计算估计原始源值，然后估计目标值。 包含场景原始光照信息的贴图存储在神经数据中，类似于光能传递贴图通常与传统 CGI 场景数据一起存储的方式。

解决神经渲染反射

也许这项工作的主要成就是将反射率信息与数据中的漫反射层和其他层解耦。 通过确保仅针对活动用户视图而非整个场景计算启用实时“反射”的视图（例如镜子），可以缩短计算时间。

研究人员声称，这项工作首次在单一框架中将重新照明功能与自由视图导航功能相匹配，适用于必须真实再现反射表面的场景。

为了实现此功能，研究人员做出了一些牺牲，研究人员承认，使用更复杂的每视图网格的先前方法证明了小物体的几何形状得到了改进。 Adobe 方法的未来方向将包括使用每个视图几何图形来改进这方面。