Adobe：使用神经渲染技术重现现实世界的照明

Adobe的研究人员创建了一个用于室内场景的神经渲染系统，该系统能够实现复杂的重现照明，提供实时界面，并处理高光泽表面和反射 – 这是Neural Radiance Fields（NeRF）等图像合成方法面临的重大挑战。

这里，一个真实的场景被从多个静态图像中重建，使得场景可以被导航。照明可以被添加和改变颜色和质量，同时反射保持准确，高光泽表面正确地表现出用户的照明源和/或风格的变化。 来源：https://www.youtube.com/watch?v=d3ma4opFpgM

该系统允许用户使用Photoshop风格的GUI控制真实3D场景的照明方面，包括阴影和反射。

GUI允许用户向从多个照片中重建的真实场景添加（和调整）照明源，并像CGI风格的网格场景一样自由地导航它。

该论文，提交给ACM Transactions on Graphics，并命名为《从多视图立体成像的自由视点室内神经重现照明》，是Adobe Research和Université Côte d’Azur研究人员之间的合作成果。

来源：https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf（点击查看全尺寸版本）

与Neural Radiance Fields（NeRF）类似，该系统使用摄影测量法（上左），其中场景的理解是从有限数量的照片中推断出来的，并且“缺失”的视点通过机器学习进行训练，直到场景的完整和抽象模型可用于随意解释。

该系统完全在合成（CGI）数据上进行训练，但使用的3D模型被处理成如同从真实场景中拍摄的照片一样。上面的图像显示了一个合成场景的重现照明，但顶部（动画）图像中的“卧室”视图是从实际照片中提取的。

场景的隐式表示是通过卷积神经网络（CNN）从源材料中获得的，并分为多个层，包括反射率、源辐射度（辐射度/全局照明）和反照率。

Adobe重现照明系统的架构。多视图数据集被预处理，并从输入数据中生成3D网格几何。当需要添加新光源时，辐射度在实时计算，并合成重现照明视图。（点击查看全尺寸版本）

该算法结合了传统光线追踪（蒙特卡罗）和基于图像的渲染（IBR，神经渲染）的方面。

尽管最近关于Neural Radiance Fields的研究大部分集中在从平面图像中提取3D几何，但Adobe的工作是首次通过这种方法实现了复杂的重现照明。

该算法还解决了NeRF和类似方法的传统限制之一，即计算完整的反射图，其中图像的每个部分都被分配了100%的反射材料。

镜面纹理绘制出光照路径。（点击查看全尺寸版本）

通过这种整体反射图的实现，可以“调低”反射率以适应不同材料（如木材、金属和石头）的不同反射级别。反射图（上）还提供了一个完整的模板用于漫反射照明调整。

Adobe神经渲染系统的其他层。（点击查看全尺寸版本）

场景的初始捕获使用250-350张RAW照片，从而通过多视图立体成像计算出网格。数据被总结为2D输入特征图，然后重新投影到新视图中。照明的变化通过平均漫反射和高光泽层来计算。

镜像层是通过快速单光线镜面计算（一次反弹）生成的，估计原始源值，然后是目标值。包含场景原始照明信息的图被存储在神经数据中，类似于传统CGI场景数据中存储的辐射度图。

解决神经渲染反射的问题

也许这项工作的主要成就是将反射信息与漫反射和其他层的数据解耦。通过仅为活跃的用户视图计算“反射”启用的实时视图，计算时间被降低了。

研究人员声称，这项工作代表了第一次将重现照明能力与自由视点导航能力在一个框架中结合起来，以便在需要真实地重现反射表面的场景中实现。

为了实现这一功能，做出了某些牺牲，研究人员承认，使用更复杂的每视图网格的先前方法对于小物体的几何表现更好。Adobe方法的未来方向将包括使用每视图几何来改进这一方面。