NeRF：编辑神经辐射场内容的挑战

今年早些时候，NVIDIA 推出了先进的神经辐射场 (Neural Radiance Fields)（神经RF）特别是研究 即时NeRF，显然能够在短短几秒钟内生成可探索的神经场景——通过一种技术，当它 出现 2020 年，经常需要几个小时甚至几天的时间来训练。

NVIDIA 的 InstantNeRF 提供了令人印象深刻且快速的结果。 来源：https://www.youtube.com/watch?v=DJ2hcC1orc4

虽然这种插值会产生静态场景，但 NeRF 也能够 描绘运动以及基本的“复制粘贴”编辑，其中各个 NeRF 可以整理成 复合场景 or 插入 进入现有场景。

嵌套 NeRF，是上海科技大学和 DGene Digital Technology 2021 年研究的特色。 来源：https://www.youtube.com/watch?v=Wp4HfOwFGP4

然而，如果你想要干预一个计算出来的 NeRF，并真正改变它内部发生的事情（就像你可以改变传统 CGI 场景中的元素一样），那么行业兴趣的快速增长已经带来了 非常 少数 解决方案 迄今为止，还没有一个能够与 CGI 工作流程的功能相匹配。

虽然几何估计对于创建 NeRF 场景至关重要，但最终结果是由相当“锁定”的值组成的。虽然 一些进展 NeRF 场景中的实际对象不是可以编辑和使用的参数化网格，而是更类似于脆弱且冻结的点云。

在这种情况下，NeRF 中渲染的人本质上是一座雕像（或视频 NeRF 中的一系列雕像）； 它们投射在自身和其他物体上的阴影是纹理，而不是基于光源的灵活计算； NeRF 内容的可编辑性仅限于拍摄生成 NeRF 的稀疏源照片的摄影师所做的选择。 从任何创意意义上来说，阴影和姿势等参数仍然是不可编辑的。

NeRF 编辑

中国和英国之间的一项新的学术研究合作解决了这一挑战 NeRF 编辑其中，从 NeRF 中提取代理 CGI 样式的网格，由用户随意变形，然后将变形传递回 NeRF 的神经计算：

NeRF 木偶与 NeRF 编辑，因为根据素材计算的变形将应用于 NeRF 表示内的等效点。 资料来源：http://geometrylearning.com/NeRFEditing/

该方法适应 新星 2021 年美国/中国重建技术，提取 有符号距离函数 （SDF，一种更古老的体积重建方法）能够学习 NeRF 内部所表示的几何形状。

这个 SDF 对象成为用户的雕刻基础，具有由受人尊敬的 As-Rigid-As-Possible 提供的变形和成型功能（澳大利亚亚太地区协会) 技术。

ARAP 允许用户对提取的 SDF 网格进行变形，但其他方法（例如基于骨架和基于笼的方法（即 NURB））也可以很好地工作。 资料来源：https://arxiv.org/pdf/2205.04978.pdf

应用变形后，需要将此信息从矢量转换为 NeRF 原生的 RGB/像素级别，这是一个稍长的旅程。

用户变形的网格的三角形顶点首先被转换为四面体网格，该网格在用户网格周围形成一层外皮。从该附加网格中提取一个空间离散变形场，最终获得一个 NeRF 友好的连续变形场，该场可以传递回神经辐射环境，反映用户的更改和编辑，并直接影响目标 NeRF 中解释的射线。

通过新方法使物体变形并赋予动画效果。

该文件指出：

将表面变形转移到四面体网格后，我们可以获得“有效空间”的离散变形场。现在，我们利用这些离散变换来弯曲投射光线。为了生成变形辐射场的图像，我们将光线投射到包含变形四面体网格的空间。

这个 纸 标题为 NeRF-Editing：神经辐射场的几何编辑，来自中国三所大学和机构的研究人员，以及卡迪夫大学计算机科学与信息学学院的一名研究人员，以及另外两名来自阿里巴巴集团的研究人员。

限制

如前所述，变换后的几何体不会“更新”NeRF中任何未经编辑的相关方面，也不会反映变形元素的次要后果，例如阴影。研究人员举了一个例子，NeRF中人物的底影保持不变，即使变形会改变光照：

从论文中我们可以看到，即使手臂向上移动，人物手臂上的水平阴影仍然保持在原位。

实验

作者观察到，目前还没有直接干预 NeRF 几何的类似方法。 因此，为研究进行的实验更具探索性而非比较性。

研究人员在许多公共数据集上演示了 NeRF 编辑，包括 Mixamo 中的角色，以及原始 NeRF 中现在标志性的乐高推土机和椅子 履行。 他们还对从真实捕获的马雕像进行了实验 FVS数据集，以及他们自己的原始捕获。

一匹马的头倾斜了。

对于未来的工作，作者打算在即时 (JIT) 编译的机器学习框架 Jittor 中开发他们的系统。

首次发布于 16 年 2022 月 XNUMX 日。