使用任意环境图重照明神经辐射场

来自马克斯·普朗克研究所和麻省理工学院的一篇新论文提出了一个从神经辐射场（NeRF）内容中获得真实解耦的技术，使得环境图可以完全切换NeRF场景中的照明：

新技术应用于真实数据。值得注意的是，该方法即使在没有考虑新管道的情况下捕获的此类存档数据上也有效。尽管如此，仍然可以获得真实且用户指定的照明控制。来源：https://arxiv.org/pdf/2207.13607.pdf

新方法使用流行的开源3D动画程序Blender创建一个“虚拟光照舞台”，其中渲染出多个可能的光照场景，并最终训练成NeRF模型中的一个特殊层，该层可以容纳用户想要使用的任何环境图来照亮场景。

管道中利用Blender创建虚拟光照舞台视图的部分。以前的方法沿着类似的思路使用了实际的光照舞台来提供这些数据，这对于离散对象来说是一个繁琐的要求，对于外部环境视图来说是不可能的。在右边的两张图片的左上角，我们可以看到决定场景照明的环境图。这些可以由最终用户任意创建，带来NeRF更接近现代CGI方法的灵活性。

该方法与Mitsuba2逆向渲染框架以及之前的工作PhySG、RNR、Neural-PIL和NeRFactor进行了比较，仅使用直接照明模型，获得了最佳成绩：

新技术的结果，与其他方法在各种损失函数下进行比较。研究人员声称他们的方法产生了最高质量的结果，通过峰值信噪比（PSNR）、结构相似性指数测度（SSIM）和有效的学习感知图像补丁相似性（LPIPS）进行评估。

论文指出：

‘我们的定性和定量结果表明，我们的方法在场景参数恢复和新视图及照明条件下的合成质量方面比当前的最先进技术有了明显的改进。’

研究人员表示，他们最终会发布该项目的代码。

NeRF可编辑性的需求

这种解耦对于NeRF研究人员来说是一个值得注意的挑战，因为NeRF本质上是一种计算成千上万条可能路径的像素值的摄影测量技术，并将RGBD值分配给它们，然后将这些值的矩阵组装成体积表示。在其核心，NeRF是由照明定义的。

事实上，尽管NeRF具有令人印象深刻的视觉效果和丰富的采用，但它在CGI术语中是“rigid”的——即“baked”。因此，研究社区在过去的12-18个月里集中精力提高其可控性和灵活性。

在意义上，这种里程碑的赌注很高，包括将视觉效果行业从一个围绕网格生成、运动动力学和纹理的创造性和协作模型转变为一个围绕逆向渲染的模型，在这个模型中，VFX管道由现实世界的照片（甚至是合成模型）而不是估计的、手工制作的近似值驱动。

目前，NeRF在rigging、nesting、depth control、articulation和lighting方面还没有太多令人担忧的理由。该视频为另一篇新论文，该论文为NeRF几何提供了基本的变形，展示了当前CGI状态与神经渲染技术的开创性努力之间的巨大差距。

筛选元素

尽管如此，研究人员采用了CGI作为中间控制和生产机制，这现在是GANs和NeRF的僵硬潜在空间的共同方法。

有效地，中心挑战是计算全局照明(GI，它在神经渲染中没有直接的适用性)成等效的预计算辐射传输(PRT，它可以适应神经渲染)计算。

GI是一种现在被尊敬的CGI渲染技术，模拟光线从表面反弹到其他表面，并将这些反射光区域纳入渲染中，以增加现实感。

PRT被用作新方法中的中间照明函数，其离散和可编辑的组件实现了解耦。新方法使用学习的PRT对NeRF对象的材料进行建模。

原始数据的实际场景照明在此过程中被恢复为环境图，而场景几何本身被提取为有符号距离场（SDF），它最终将为Blender在虚拟光照舞台中提供传统网格。

新技术的管道概述。

过程的第一阶段是通过隐式表面重建从多视图图像中提取场景几何，使用2021年NeuS研究合作中使用的技术。

为了开发一个神经辐射传输场（NRTF，它将容纳照明数据），研究人员使用了Mitsuba 2可区分的路径追踪器。

这促进了双向散射分布函数（BSDF）的联合优化，以及初始环境图的生成。一旦创建了BSDF，路径追踪器就可以在Blender中使用（见上面的嵌入式视频）来创建虚拟的单光照渲染（OLAT）。

NRTF然后使用物质效果的光照现实感和合成数据之间的组合损失进行训练，这些数据彼此之间没有耦合。

与前身NeRFactor在新视图合成和重照明挑战方面的比较。

通往照明的道路

该技术的训练要求虽然比原始NeRF训练时间少得多，但仍然不容忽视。在具有48GB VRAM的NVIDIA Quadro RTX 8000上，初步训练用于初始光照和纹理估计需要30分钟；OLAT训练（即虚拟光照舞台捕获的训练）需要8小时；最后，解耦的合成和真实数据之间的联合优化需要额外16小时才能达到最佳质量。

此外，所得的神经表示不能实时运行，根据研究人员的说法，每帧需要“几秒钟”。

研究人员得出结论：

‘我们的结果表明，我们的方法在当前的最先进技术基础上有了明显的改进，而未来的工作可能涉及进一步提高运行时和几何、材料和场景照明的联合推理。’

首次发表于2022年7月28日。