NeRF：在神经辐射环境中训练无人机

斯坦福大学的研究人员设计了一种新的方法，利用最近在神经辐射场（NeRF）方面的研究成果，训练无人机在高度准确和逼真的环境中导航。

无人机可以在虚拟环境中训练，这些环境直接从现实生活中的地点映射过来，无需专门的3D场景重建。在这个项目的图像中，风扰动被添加为潜在的障碍，我们可以看到无人机被暂时偏离其轨迹，并在最后一刻补偿以避免潜在的障碍。来源：https://mikh3x4.github.io/nerf-navigation/

这种方法提供了交互式训练无人机（或其他类型的物体）在虚拟场景中的可能性，这些场景自动包含体积信息（用于计算碰撞避免），从现实生活中的照片中提取的纹理（帮助训练无人机的图像识别网络以更真实的方式），以及真实的照明（确保各种照明场景被训练到网络中，避免过度拟合或过度优化到原始场景快照）。

一个沙发对象在一个复杂的虚拟环境中导航，这个环境使用传统的AR/VR工作流程很难映射，但使用NeRF从有限的照片中自动重建。来源：https://www.youtube.com/watch?v=5JjWpv9BaaE

典型的NeRF实现不具有轨迹机制，因为过去18个月的大多数NeRF项目都集中在其他挑战上，例如场景重照明、反射渲染、合成和解耦捕获的元素。因此，这篇新论文的主要创新是将NeRF环境实现为可导航的空间，而无需大量的设备和劳动密集的程序来将其建模为基于传感器捕获和CGI重建的3D环境。

NeRF作为VR/AR

这篇新论文名为《基于神经辐射的机器人导航》，是斯坦福大学三个部门之间的合作：航空航天工程、机械工程和计算机科学。

这项工作提出了一种导航框架，为机器人提供了预训练的NeRF环境，其体积密度限定了设备的可能路径。它还包括一个滤器来估计机器人在虚拟环境中的位置，基于机器人上部RGB相机的图像识别。这样，一个无人机或机器人就可以更准确地“幻想”出它在给定环境中可能看到的东西。

该项目的轨迹优化器导航通过NeRF模型的石阵，这个模型是通过摄影测量和图像解释生成的。轨迹规划器计算了多个可能的路径，然后确定了最佳轨迹。

由于NeRF环境具有完全建模的遮挡， 无人机可以更容易地计算出障碍物，因为NeRF后面的神经网络可以映射出遮挡物和无人机上部基于视觉的导航系统对环境的感知之间的关系。自动化的NeRF生成管道提供了一种相对简单的方法来创建超现实的训练空间，只需几张照片即可。

斯坦福项目开发的在线重规划框架，实现了一个完全基于视觉的导航管道。

斯坦福倡议是首批考虑在可导航和沉浸式VR风格环境中探索NeRF空间的可能性之一。神经辐射场是新兴技术，目前正受到多个学术努力的关注，以优化其高计算资源需求，以及解耦捕获的元素。

NeRF不是（真正的）CGI

由于NeRF环境是一个可导航的3D场景，它自2020年出现以来就成为了一个被误解的技术，经常被认为是一种自动创建网格和纹理的方法，而不是替代3D环境的方法，这些环境是观众从好莱坞VFX部门和增强现实和虚拟现实环境中熟悉的。

NeRF从有限的图像视角中提取几何和纹理信息，计算图像之间的差异作为体积信息。来源：https://www.matthewtancik.com/nerf

事实上，NeRF环境更像是一个“实时”渲染空间，其中像素和照明信息的混合被保留和导航在一个活跃的神经网络中。

NeRF的关键潜力在于它只需要有限的图像就可以重建环境，并且生成的环境包含所有必要的信息以进行高保真度的重建，无需模型师、纹理艺术家、照明专家和其他传统CGI的贡献者。

语义分割

即使NeRF有效地构成了“计算机生成图像”（CGI），它也提供了一种完全不同的方法和高度自动化的管道。此外，NeRF可以隔离和“封装”场景中的移动部分，使其可以被添加、删除、加速和一般作为虚拟环境中的离散方面——这是当前“好莱坞”对CGI的解释所无法达到的能力。

上海科技大学2021年夏天发布的一项合作成果，提供了一种方法来个性化移动NeRF元素为场景中的“可粘贴”方面。来源：https://www.youtube.com/watch?v=Wp4HfOwFGP4

然而，NeRF的架构有点像一个“黑盒子”；目前还无法从NeRF环境中提取一个对象并直接使用传统的基于网格和基于图像的工具进行操作，尽管有一些研究工作正在开始突破NeRF神经网络实时渲染环境背后的矩阵。