NeRF 又迈出一步，离取代 CGI 更近了

麻省理工学院和谷歌的研究人员在解决神经辐射场（NeRF）技术面临的最基本障碍方面取得了重大进展，NeRF 技术可能最终取代 CGI。他们开发了一种新的方法，称为 NeRFactor，可以将神经辐射场图像分解为其组成的视觉组件，从而可以重新纹理和重新照明图像。

这种新方法可以有效地将捕获的图像分解为每个对象的法线（可以分配纹理）、光可见性、反照率（入射光线被反射掉的比例）和双向反射分布函数（BRDF）。通过隔离这些方面，可以不仅仅是切换个别对象或对象组的纹理，还可以添加新的和独特的光源和阴影实现，忽略多相机阵列捕获的任何光源。

该模型支持来自任意用户定义光源的软阴影或硬阴影，并使用重构损失、来自之前 BRDF 计算的数据和基本简单的光滑正则化程序来编程方式分离四个方面的捕获视频。

NeRFactor 使用高动态范围（HDR）光探测器，这是一种自 1998 年引入以来已在视觉工业和艺术界得到广泛应用的成熟方法，来评估光线的可能路径，从而实现任意光照。由于这会生成大量可能的参数，因此光探测器通过多层感知器（MLP）进行过滤，MLP 将感知到的几何图形映射到探测器，而无需计算模型空间的完整光照体积图。

反思的理由

这项新研究可能最重要的意义在于分离了控制反射的捕获图像的层次。这仍然是神经辐射场图像面临的最大挑战，因为真正新颖和灵活的 NeRF 系统不仅需要能够替换纹理，还需要能够反射移动的物体（除了固定环境），这通常在 CGI 工作流程中会被考虑到。

最近，英特尔的令人印象深刻的新研究将视频游戏片段转换为照片级视频的研究中也提到了这个问题。在这样的工作流程中，源材料的许多“烘焙”方面需要变得离散和可交换，这对于重新照明来说可能更容易解决（因为这是 NeRF 中被渲染的几何图形的函数），但对于反射来说可能更难解决（因为它利用了“离屏”几何图形，这完全超出了模型的范围）。

因此，在 NeRF 视频中分离促进反射的层次将 NeRF 更接近于解决其“反射挑战”。

NeRF 的摄影测量

神经辐射场图像使用机器学习分析从多个角度捕获场景或对象的完全体积空间。

最近一年中出现的各种基于 NeRF 的方案使用了多种相机设备；有些使用 16 台或更多相机，而其他的只使用一两台相机。在所有情况下，中间视点都被“填充”（即解释），以便可以流畅地导航场景或对象。

NeRF 在“新 CGI”的背景下

神经辐射场图像直接来自现实世界的图像，包括移动的人、物体和场景。相比之下，CGI 方法“研究”和解释世界，需要熟练的工人来构建网格、骨骼和纹理，这些都使用了现实世界的图像（例如面部和环境捕获）。这仍然是一种本质上是解释性的和手工艺的方法，成本高且耗时。

此外，CGI 在其重现人类外貌的努力中一直面临“不真实的山谷”效应的困扰，这对 NeRF 驱动的方法来说没有限制，因为它只是捕获真实的人的视频或图像并操纵它。

NeRF 的挑战

这项最新的研究来自麻省理工学院和谷歌，处于大量 NeRF 论文的背景下，许多论文都为 NeRF 技术提出了解决方案。

四月，中国研究团队的创新提供了一种方法来离散地分离 NeRF 场景中各个方面的个别时间线，包括人。

最近，多个研究团队也提出了一些解决 NeRF 挑战的方法，例如 KiloNeRF、PlenOctrees、FastNeRF 和 Recursive-NeRF。

NeRF 何时会有其“侏罗纪公园”时刻？

尽管神经辐射场图像合成的进展非常迅速，但只有在这一时期，才会为 NeRF 的部署建立某种“热力学定律”。在 CGI 历史的时间线上，NeRF 目前处于 1973 年左右，即第一部使用 CGI 的电影《西部世界》上映之前。

这并不意味着 NeRF 需要等待九年才能达到其等同于《愤怒的卡恩》的里程碑，或者需要几十年才能达到詹姆斯·卡梅隆在 1989 年的《深渊》和 1991 年的《终结者 2》中实现的突破——以及这项技术在 1993 年的《侏罗纪公园》中的真正革命性突破。

图像领域已经发生了很大的变化，自从电影和电视制作中使用的光化学视觉效果的长期停滞以来。PC 革命和摩尔定律的加速导致了 CGI 革命，这本可以早在 20 世纪 60 年代就发生。

仍然需要等待是否有任何障碍能够长期阻碍 NeRF 的进展，以及是否会有其他计算机视觉创新在此期间超越 NeRF 成为 CGI 的主要竞争者，从而使神经辐射场成为图像合成的“传真机”。

截至目前，NeRF 尚未在任何学术研究以外的领域使用。但值得注意的是，谷歌研究等主要玩家以及许多最著名的计算机视觉研究实验室都在竞争最新的 NeRF 突破。

NeRF 的许多最大障碍已经开始在今年直接解决；如果后续研究提供了“反射问题”的解决方案，并且 NeRF 优化研究的许多线索汇聚成为了该技术的重大处理和/或存储需求的决定性解决方案，NeRF 确实有机会在未来五年内成为“新 CGI”。