NeRF：编辑神经辐射场内容的挑战

早在今年，NVIDIA 在神经辐射场（NeRF）的研究上取得了显著进展，特别是推出了 InstantNeRF，它可以在仅仅几秒钟内生成可探索的神经场景，而这种技术在 2020 年刚刚出现时，往往需要数小时甚至数天的训练时间。

NVIDIA 的 InstantNeRF 提供了令人印象深刻和快速的结果。 Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

尽管这种插值技术生成的是静态场景，但 NeRF 也能够 描绘运动，以及进行基本的“复制和粘贴”编辑，其中个别 NeRF 可以被合并成 复合场景，或者 插入 到现有的场景中。

嵌套 NeRF，来自 2021 年上海科技大学和 DGene 数字技术的研究。 Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

然而，如果您希望干预计算出的 NeRF 并实际改变其内部发生的事情（就像您可以在传统的 CGI 场景中更改元素一样），该领域的快速发展迄今为止只提出了一些 很少 的解决方案，而且没有任何一个能够匹配 CGI 工作流程的能力。

虽然几何估计对于创建 NeRF 场景至关重要，但最终结果是由相当“锁定”的值组成的。虽然在 NeRF 中改变纹理值方面有一些 进展，但 NeRF 场景中的实际对象并不是可以编辑和操纵的参数网格，而更像是脆弱和冻结的点云。

在这种情况下，NeRF 中渲染的人基本上是一个雕像（或在视频 NeRF 中是一系列雕像）；他们在自己和其他物体上投下的阴影是纹理，而不是基于光源的灵活计算；且 NeRF 内容的可编辑性仅限于拍摄稀疏源照片的摄影师所做出的选择。参数如阴影和姿势仍然不可编辑，至少在任何创造性意义上是如此。

NeRF 编辑

一项新的学术研究合作，由中国和英国共同开展，通过 NeRF-Editing 来解决这一挑战，其中从 NeRF 中提取代理 CGI 风格的网格，可以由用户任意变形，然后将变形传回 NeRF 的神经计算中：

使用 NeRF 编辑的 NeRF 木偶戏，变形从视频中计算并应用于 NeRF 表示中的等效点。 Source: http://geometrylearning.com/NeRFEditing/

该方法采用了 2021 年美国和中国的 NeuS 重构技术，该技术提取出一个 有符号距离函数（SDF，一种更古老的体积重构方法），它能够学习 NeRF 内部表示的几何形状。

这个 SDF 对象成为用户的雕刻基础，提供了通过久经考验的 As-Rigid-As-Possible (ARAP) 技术实现的弯曲和成型能力。

ARAP 允许用户变形提取的 SDF 网格，虽然其他方法（如基于骨骼和基于笼的方法，即 NURBs）也可以很好地工作。 Source: https://arxiv.org/pdf/2205.04978.pdf

应用变形后，需要将此信息从向量转换为 NeRF 的本机 RGB/像素级别，这是一个稍长的旅程。

用户变形的网格的三角形顶点首先转换为四面体网格，形成一个包围用户网格的“皮肤”。从这个附加网格中提取出空间离散变形场，然后获得一个 NeRF 友好的连续变形场，可以传回神经辐射环境，反映用户的更改和编辑，并直接影响目标 NeRF 中解释的射线。

使用新方法变形和动画化的对象。

论文指出：

‘在将表面变形传输到四面体网格后，我们可以获得“有效空间”的离散变形场。我们现在利用这些离散变换来弯曲投射射线。为了生成变形辐射场的图像，我们将射线投射到包含变形四面体网格的空间中。’

该论文题为 NeRF-Editing：神经辐射场的几何编辑，来自三所中国大学和机构的研究人员，以及卡迪夫大学计算机科学与信息学院的一名研究人员，以及阿里巴巴集团的另外两名研究人员。

局限性

如前所述，变形的几何体不会“更新”NeRF 中未被编辑的任何相关方面，也不会反映变形元素的次要后果，例如阴影。研究人员提供了一个例子，其中 NeRF 中的人物图像上的下阴影在手臂上移时仍保持不变：

来自论文：我们看到，即使手臂向上移动，人物手臂上的水平阴影仍然保持在原处。

实验

作者观察到，目前尚无直接干预 NeRF 几何的可比方法。因此，进行的实验更具探索性，而不是比较性。

研究人员在多个公共数据集上演示了 NeRF-Editing，包括 Mixamo 中的角色，以及原版 NeRF 实现 中的标志性乐高推土机和椅子。他们还在 FVS 数据集 中的真实捕获的马雕像以及他们自己的原始捕获上进行了实验。

一匹马的头被倾斜。

对于未来的工作，作者计划在即时（JIT）编译的机器学习框架 Jittor 中开发他们的系统。

首次发布于 2022 年 5 月 16 日。