NeRF：在神经辐射环境中训练无人机

斯坦福大学的研究人员利用最近的研究成果，设计了一种训练无人机在逼真且高度准确的环境中导航的新方法。 兴趣雪崩 在神经辐射场（NeRF）中。

无人机可以在直接从现实生活位置映射的虚拟环境中进行训练，无需专门的 3D 场景重建。 在该项目的这张图像中，风扰已被添加为无人机的潜在障碍，我们可以看到无人机暂时偏离其轨迹，并在最后一刻进行补偿以避免潜在障碍。 来源：https://mikh3x4.github.io/nerf-navigation/

该方法提供了在虚拟场景中对无人机（或其他类型的物体）进行交互式训练的可能性，其中自动包含体积信息（以计算避免碰撞）、直接从现实生活照片中绘制的纹理（以帮助训练无人机的图像识别网络）更真实的时尚）和真实世界的照明（以确保各种照明场景得到训练到网络中，避免对场景的原始快照过度拟合或过度优化）。

沙发对象在复杂的虚拟环境中导航，在传统的 AR/VR 工作流程中使用几何捕获和重新纹理来映射该环境非常困难，但 NeRF 可以根据有限数量的照片自动重新创建该环境。 来源：https://www.youtube.com/watch?v=5JjWpv9BaaE

典型的 NeRF 实现不具有轨迹机制，因为过去 18 个月中大多数 NeRF 项目都集中在其他挑战上，例如 场景重新照明, 反射渲染, 合成 和 解开 捕获的元素。 因此，新论文的主要创新是将 NeRF 环境实现为可导航空间，而无需使用大量设备和繁琐的程序，将其建模为基于传感器捕获和 CGI​​ 重建的 3D 环境。

NeRF 作为 VR/AR

新的 纸 标题为 神经辐射世界中的纯视觉机器人导航，是斯坦福大学三个系之间的合作：航空航天系、机械工程系和计算机科学系。

这项工作提出了一种导航框架，为机器人提供预先训练的 NeRF 环境，其体积密度界定了设备的可能路径。 它还包括一个过滤器，用于根据机器人机载 RGB 摄像头的图像识别来估计机器人在虚拟环境中的位置。 通过这种方式，无人机或机器人能够更准确地“产生幻觉”它在给定环境中期望看到的东西。

该项目的轨迹优化器通过通过摄影测量和图像解释（在本例中为网格模型）生成的巨石阵 NeRF 模型导航到神经辐射环境中。 轨迹规划器在建立拱门上的最佳轨迹之前计算许多可能的路径。

由于 NeRF 环境具有完全建模的遮挡，因此无人机可以更轻松地学习计算障碍物，因为 NeRF 背后的神经网络可以映射遮挡与无人机机载视觉导航系统感知环境的方式之间的关系。 自动化 NeRF 生成流程提供了一种相对简单的方法，只需几张照片即可创建超真实的训练空间。

为斯坦福大学项目开发​​的在线重新规划框架促进了弹性且完全基于视觉的导航管道。

斯坦福大学的计划是最早考虑在可导航和沉浸式 VR 风格环境中探索 NeRF 空间的可能性的计划之一。 神经辐射领域是一项新兴技术，目前需要多项学术努力来优化其高计算资源需求，并理清捕获的元素。

Nerf 并不是（真的）CGI

由于 NeRF 环境是一个可导航的 3D 场景，自 2020 年出现以来，它已成为一种被误解的技术，通常被广泛认为是一种自动创建网格和纹理的方法，而不是取代好莱坞视觉特效部门和观众熟悉的 3D 环境。增强现实和虚拟现实环境的奇幻场景。

NeRF 从非常有限的图像视点提取几何和纹理信息，将图像之间的差异计算为体积信息。 资料来源：https://www.matthewtancik.com/nerf

事实上，NeRF 环境更像是一个“实时”渲染空间，其中像素和照明信息的合并在活跃且运行的神经网络中保留和导航。

NeRF 潜力的关键在于，它只需要有限数量的图像来重新创建环境，并且生成的环境包含高保真重建所需的所有信息，而不需要建模师、纹理艺术家、灯光的服务专家和大批其他“传统”CGI 贡献者。

语义分割

即使 NeRF 有效地构成了“计算机生成图像”（CGI），它也提供了完全不同的方法和高度自动化的管道。 此外，NeRF 可以隔离和“封装”场景的移动部分，以便可以添加、删除、加速它们，并且通常在虚拟环境中作为离散的方面进行操作——这种能力远远超出了当前的水平。以“好莱坞”方式诠释 CGI 的艺术。

A 合作 上海科技大学于 2021 年夏季发布的技术提供了一种将移动 NeRF 元素个体化为场景的“可粘贴”面的方法。 来源：https://www.youtube.com/watch?v=Wp4HfOwFGP4

消极的是，NeRF 的架构有点像“黑匣子”； 尽管许多研究工作已开始在解构 NeRF 神经网络实时渲染环境背后的矩阵方面取得突破，但目前还无法从 NeRF 环境中提取对象并直接使用传统的基于网格和基于图像的工具对其进行操作。