使用任何环境贴图重新照亮神经辐射场

A 新文 马克斯·普朗克研究所和麻省理工学院提出了一种技术来获得真实的 解开 神经辐射场（神经RF）收集数据时存在的照明内容，允许 特设 环境贴图可完全关闭 NeRF 场景中的照明：

新技术应用于 真实数据。 值得注意的是，该方法甚至适用于这种类型的存档数据，在捕获数据时没有考虑新颖的管道。 尽管如此，仍获得了真实且用户指定的照明控制。 资料来源：https://arxiv.org/pdf/2207.13607.pdf

新方法使用流行的开源 3D 动画程序 Blender 创建一个“虚拟光舞台”，其中渲染出可能的照明场景的大量迭代，并最终训练到 NeRF 模型中的一个特殊层，该层可以容纳任何环境贴图用户想要用来照亮场景。

管道部分的描述，利用 Blender 创建提取的几何体的虚拟灯光舞台视图。 遵循类似路线的先前方法已经使用实际光级来提供该数据，这对于离散对象来说是一项繁重的要求，并且对于外部环境视图来说是不可能的。 在最右边两张图片的左上角，我们可以看到决定场景照明的环境贴图。 这些可以由最终用户任意创建，使 NeRF 更接近现代 CGI 方法的灵活性。

该方法经过测试 三叶2 逆向渲染框架，也针对之前的作品 物理SG, RNR 值, 神经PIL 和 神经因子，仅采用直接照明模型，并获得了最好的分数：

新技术的结果与各种损失函数下的类似方法进行了比较。 研究人员声称，他们的方法产生了最高质量的方法，通过峰值信噪比（PSNR）、结构相似性指数测量（SSIM）和有效的学习感知图像块相似性（LPIPS）来评估结果。

该文件指出：

“与之前的技术水平相比，我们的定性和定量结果表明，在场景参数的恢复以及我们的方法在新颖的视图和照明条件下的合成质量方面向前迈出了明显的一步。”

研究人员表示，他们最终将发布该项目的代码。

NeRF 可编辑性的需求

事实证明，这种解开对于神经辐射场的研究人员来说是一个显着的挑战，因为 NeRF 本质上是一种摄影测量技术，它从一个视点计算数千条可能路径的像素值，分配 RGBD 值，并将这些值的矩阵组装成一个体积表示。 NeRF 的核心是由照明定义的。

事实上，尽管 NeRF 具有令人印象深刻的视觉效果并被 NVIDIA 广泛采用，但它仍然非常“僵化”——用 CGI 术语来说，就是“生硬”。 因此，在过去 12-18 个月里，研究界一直致力于提高其在这方面的易处理性和多功能性。

就重要性而言，这种里程碑的风险很高，包括将视觉效果行业从以网格生成、运动动力学和纹理为中心的创意和协作模型转变为围绕网格生成、运动动力学和纹理构建的模型的可能性 逆向渲染，其中视觉特效管道由真实事物的真实照片（甚至可以想象的是真实和合成模型的照片）推动，而不是估计的手工近似值。

目前，视觉效果界还没有什么理由担心，至少神经辐射场是这样。 NeRF 在以下方面仅具有新生能力 索具, 嵌套, 深度控制, 发音......当然也涉及 灯光。 该 随附影片 为了另一个 新纸r 为 NeRF 几何提供了基本的变形，说明了 CGI 的当前技术水平与神经渲染技术的开创性工作之间的巨大鸿沟。

筛选元素

尽管如此，由于必须从某个地方开始，新论文的研究人员采用了 CGI 作为中介控制和生产机制，目前已 通用方法 朝向 GAN 的刚性潜在空间和 NeRF 几乎不可穿透的线性网络。

实际上，核心挑战是计算 整体照明 （GI，在神经渲染中没有直接适用性）转换成等价的 预先计算的辐射传输 （PRT，可适配神经渲染）计算。

GI 是一种现在备受推崇的 CGI 渲染技术，它模拟光线从表面反射到其他表面的方式，并将这些反射光区域合并到渲染中，以增加真实感。

PRT 在新方法中用作中间照明功能，事实上它是一个离散且可编辑的组件，从而实现了解开。 新方法使用学习的 PRT 对 NeRF 对象的材料进行建模。

在此过程中，原始数据的实际场景照明被恢复为环境贴图，并且场景几何本身被提取为有符号距离场（自卫队）最终将为 Blender 提供一个传统的网格，以便在虚拟灯光阶段进行操作。

新技术的流程概述。

该过程的第一阶段是通过隐式表面重建，通过 2021 年使用的技术，从可用的多视图图像中提取场景几何形状。 新研究 合作。

为了开发神经辐射传递场（NRTF，它将容纳照明数据），研究人员使用了 Mitsuba 2 可微路径追踪器。

这有利于双向散射分布函数（BSDF）的联合优化，以及初始环境图的生成。 创建 BSDF 后，可以在 Blender 中使用路径跟踪器（请参阅上面的嵌入式视频）来创建虚拟一次一灯 (OLAT) 场景渲染。

然后使用真实材质效果和合成数据之间的组合损失对 NRTF 进行训练，这些数据不会相互纠缠。

与前身 NeRFactor 的比较，关于新颖视图合成和重新照明的挑战。

光明之路

该技术的训练要求虽然明显低于原始 NeRF 训练时间，但也并非微不足道。 上一个 NVIDIA Quadro RTX 8000 配备 48GB VRAM，初始光照和纹理估计的初步训练需要 30 分钟； OLAT训练（即虚拟光舞台捕捉的训练）需要八个小时； 解开的合成数据和真实数据之间的最终联合优化还需要 16 个小时才能达到最佳质量。

此外，根据研究人员的说法，由此产生的神经表示无法实时运行，“每帧需要几秒钟”。

研究人员得出结论：

“我们的结果表明，相对于当前的技术水平有了明显的改进，而未来的工作可能涉及进一步改进运行时间以及几何、材质和场景照明的联合推理。”

首次发布于 28 年 2022 月 XNUMX 日。