NeRFocus：为神经辐射场带来轻量级焦点控制

中国的新研究提出了一种方法，实现神经辐射场（NeRF）的可负担的深度控制，允许用户控制焦点并动态改变虚拟镜头的配置。

该技术被称为NeRFocus，采用了一种新颖的“薄镜头成像”方法来实现焦点遍历，并创新了P-training，一种概率训练策略，消除了对专用深度数据集的需求，简化了焦点启用的训练工作流程。

该论文被称为《NeRFocus：用于3D合成失焦的神经辐射场》，由四位来自深圳毕业于北京大学的研究人员和深圳朋成实验室的研究人员共同完成。

解决NeRF中的注视焦点问题

如果NeRF要成为虚拟和增强现实的有效驱动技术，它需要一种轻量级的方法来实现现实的注视焦点渲染，即大部分渲染资源集中在用户的注视点周围，而不是被不加区别地分布在整个可视空间中。

来自2021年论文《Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality》的注视焦点图。来源：https://arxiv.org/pdf/2103.16365.pdf

NeRF的真实性将取决于其反映人类眼球能够在视觉平面上切换焦点的能力（见上图）。

焦点的梯度也是场景规模的感知指标；从直升机上俯瞰城市的视图将没有可导航的焦点区域，因为整个场景都在观察者的外部焦点能力之外，而对微型或“近场”场景的检查不仅可以“拉焦点”，还应包含一个狭窄的深度范围，以实现真实性。

以下是论文作者提供的NeRFocus的初始功能演示视频：

超越受限焦点平面

近年来，许多NeRF项目都尝试实现焦点控制，尽管所有这些尝试都采用了一些变通方法或需要显著的后处理程序，使得它们不太可能成为最终NeRF技术的贡献。

神经渲染框架中的合成焦点控制已通过各种方法尝试过，例如使用分割网络来隔离前景和背景数据，然后对背景进行泛型失焦处理——这是一个常见的解决方案，用于简单的两平面焦点效果。

来自论文《Automatic Portrait Segmentation for Image Stylization》的焦点平面分离图。来源：https://jiaya.me/papers/portrait_eg16.pdf

多平面表示法通过使用深度估计将场景分割成一系列虚拟的“动画单元”，然后使用深度依赖的内核来合成模糊效果。

此外，谷歌研究院在2015年提出了使用立体相机设置的视差作为深度代理的方法，这在潜在的AR/VR环境中尤其相关。

来自谷歌研究院论文《Fast Bilateral-Space Stereo for Synthetic Defocus》的失焦区域图。来源：https://jiaya.me/papers/portrait_eg16.pdf

这种方法通常会显示边缘伪影，因为它们试图将两个不同的焦点区域表示为一个连续的焦点梯度。

2021年，RawNeRF计划提供了高动态范围（HDR）功能，具有更好的低光环境控制和显著的焦点控制能力：

RawNeRF的焦点控制效果（尽管在这种情况下，焦点平面不太真实）。来源：https://bmild.github.io/rawnerf/

然而，RawNeRF需要对训练的NeRF进行繁重的预计算，导致工作流程难以适应NeRF的轻量级或低延迟实现。

建模虚拟镜头

NeRF本身是基于针孔成像模型的，它以类似于默认CGI场景（在各种基于深度的方法之前）的方式渲染整个场景。

NeRFocus创建了一个虚拟的“薄镜头”（而不是“无镜头”光圈），它计算每个入射像素的光束路径并直接渲染它，有效地颠倒了标准的图像捕获过程，即在光已经被镜头设计的折射性质影响之后进行操作。

该模型引入了一系列在视锥体内渲染内容的可能性（见上图）。

计算每个多层感知器（MLP）在这些可能性范围内的正确颜色和密度是一个额外的任务。这已经通过对大量DLSR图像进行监督训练来解决，需要创建额外的数据集以进行概率训练工作流程，有效地涉及大量的计算资源准备和存储，这些资源可能不需要。

NeRFocus通过P-training克服了这一点，即训练数据集是基于基本的模糊操作生成的。因此，模型是带有模糊操作的，并且可以导航。

在训练期间，光圈直径设置为零，并使用预定义的概率选择随机模糊核。然后使用获得的直径来缩放每个复合锥的直径，让MLP能够准确预测视锥体的辐射度和密度（上图中的宽圆圈，表示每个像素的最大变换区域）

论文作者观察到，NeRFocus可能与RawNeRF的HDR驱动方法兼容，这可能有助于渲染某些具有挑战性的部分，例如失焦的镜面高光，以及其他在过去30年中一直挑战CGI工作流程的计算密集型效果。

该过程不需要额外的时间和/或参数，与之前的方法（如核心NeRF和Mip-NeRF）相比，并且可以作为神经辐射场的中心方法的通用扩展。

首次发表于2022年3月12日。