NeRF：编辑神经辐射场内容的挑战

今年早些时候，NVIDIA 在 Neural Radiance Fields (NeRF) 研究方面取得了显著进展，特别是通过 InstantNeRF，它可以在几秒钟内生成可探索的神经场景，而这种技术在 2020 年出现时，通常需要几小时甚至几天的训练时间。

NVIDIA 的 InstantNeRF 提供了令人印象深刻和快速的结果。 来源：https://www.youtube.com/watch?v=DJ2hcC1orc4

尽管这种插值产生了静态场景，NeRF 也能够描绘运动和基本的“复制和粘贴”编辑，其中个别 NeRF 可以合并成复合场景或插入现有场景。

嵌套 NeRF，来自 2021 年上海科技大学和 DGene 数字技术的研究。 来源：https://www.youtube.com/watch?v=Wp4HfOwFGP4

然而，如果您想要干预计算出的 NeRF 并实际改变其内部发生的事情（就像您可以在传统 CGI 场景中改变元素一样），该领域的快速发展迄今为止只产生了很少的解决方案，而且这些解决方案甚至无法与 CGI 工作流的功能相比拟。

虽然几何估计对于创建 NeRF 场景至关重要，但最终结果是由相当“锁定”的值组成的。虽然在 NeRF 中更改纹理值方面有一些进展，但 NeRF 场景中的实际对象并不是可以编辑和操作的参数网格，而更像是脆弱和冻结的点云。

在这种情况下，NeRF 中的渲染人基本上是一个雕像（或视频 NeRF 中的一系列雕像）；他们在自己和其他物体上投下的阴影是纹理，而不是基于光源的灵活计算；NeRF 内容的可编辑性仅限于拍摄生成 NeRF 的稀疏源照片的摄影师所做的选择。参数如阴影和姿势保持不可编辑的状态，从创作的角度来看。

NeRF 编辑

一项新的学术研究合作 giữa中国和英国通过 NeRF-Editing 来解决这个挑战，其中从 NeRF 中提取出代理 CGI 风格的网格，用户可以任意变形，然后将变形传回 NeRF 的神经计算中：

NeRF 木偶剧，使用 NeRF 编辑，变形从视频中计算并应用于 NeRF 表示中的等效点。 来源：http://geometrylearning.com/NeRFEditing/

该方法采用了 2021 年的 NeuS 重构技术，该技术从 NeRF 中提取出一个有符号距离函数（SDF），它能够学习 NeRF 中表示的几何形状。

该 SDF 对象成为用户的雕刻基础，通过久经考验的 As-Rigid-As-Possible（ARAP）技术提供变形和成型能力。

ARAP 允许用户变形提取的 SDF 网格，虽然其他方法（如基于骨骼和基于笼子的方法，即 NURBs）也可以很好地工作。 来源：https://arxiv.org/pdf/2205.04978.pdf

应用变形后，需要将此信息从向量转换为 NeRF 的本机 RGB/像素级别，这是一个稍长的旅程。

用户变形的网格的三角形顶点首先转换为四面体网格，形成一个围绕用户网格的“皮肤”。从这个附加网格中提取出空间离散变形场，最后获得一个 NeRF 友好的连续变形场，可以传回神经辐射环境，反映用户的更改和编辑，并直接影响目标 NeRF 中的解释射线。

使用新方法变形和动画的对象。

论文指出：

“在将表面变形传输到四面体网格后，我们可以获得‘有效空间’的离散变形场。现在，我们利用这些离散变换来弯曲投射射线。为了生成变形辐射场的图像，我们将射线投射到包含变形四面体网格的空间中。”

该论文由三所中国大学和机构的研究人员以及卡迪夫大学计算机科学与信息学院的研究人员和阿里巴巴集团的两名研究人员共同撰写，题为 NeRF-Editing：神经辐射场的几何编辑。

限制

如前所述，变形的几何不会“更新”NeRF 中未编辑的相关方面，也不会反映变形元素的次要后果，例如阴影。研究人员提供了一个例子，其中 NeRF 中的人物的下阴影在人物手臂被移动时仍保持不变：

来自论文：我们看到，即使手臂被向上移动，人物手臂上的水平阴影仍保持不变。

实验

作者观察到，目前尚无直接干预 NeRF 几何的可比方法。因此，研究中进行的实验更具探索性，而不是比较性。

研究人员在多个公共数据集上展示了 NeRF-Editing，包括 Mixamo 的角色和原版 NeRF 实现中的标志性乐高推土机和椅子。他们还在 FVS 数据集中的真实捕获的马雕像以及自己的原始捕获上进行了实验。

马头倾斜。

在未来的工作中，作者计划在即时编译的机器学习框架 Jittor 中开发他们的系统。

首次发布于 2022 年 5 月 16 日。