人工智能
NeRFocus：为神经辐射场带来轻量级焦点控制
来自中国的新研究提供了一种方法来实现对神经辐射场景深效应的经济实惠的控制（神经RF），允许最终用户调整焦点并动态更改渲染空间中虚拟镜头的配置。
标题 神经焦点，该技术实现了一种新颖的“薄透镜成像”方法来进行焦点遍历，并进行了创新 P-培训，一种概率训练策略，无需专用的景深数据集，并简化了支持焦点的训练工作流程。
纸 标题为 NeRFocus：用于 3D 合成散焦的神经辐射场，来自北京大学深圳研究生院和广东省政府资助的深圳鹏城实验室的四名研究人员。
解决 NeRF 中的中心凹注意力焦点问题
如果 NeRF 想要成为虚拟现实和增强现实的有效驾驶技术，它将需要一种轻量级方法来允许现实 foveated渲染，其中大部分渲染资源围绕用户的视线累积，而不是在整个可用视觉空间中以较低分辨率不加区别地分布。
从 2021 年论文《Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality》中，我们看到了 NeRF 新颖的注视点渲染方案中的注意力轨迹。 资料来源：https://arxiv.org/pdf/2103.16365.pdf
以自我为中心的 NeRF 未来部署的真实性的一个重要部分将是该系统能够反映人眼自身在后退视角平面上切换焦点的能力（参见上面的第一张图）。
这种焦点梯度也是场景规模的感知指标； 从飞越城市上空的直升机上看到的视野将具有零可导航视野，因为整个场景超出了观看者最外层的对焦能力，而对微型或“近场”场景的仔细观察不仅允许“对焦机架”，而且还允许“对焦”。为了真实起见，默认情况下应包含较窄的景深。
下面是由论文通讯作者向我们提供的演示 NeRFocus 初始功能的视频：
超越焦平面限制
意识到焦点控制的要求，近年来许多 NeRF 项目都为此做出了规定，尽管迄今为止的所有尝试都是某种有效的花招，或者需要值得注意的后处理例程，这些例程使得它们不太可能对神经辐射场技术最终设想的实时环境做出贡献。
在过去的 5-6 年里，人们尝试了各种方法来实现神经渲染框架中的合成焦点控制，例如，通过使用分割网络来隔离前景和背景数据，然后对背景进行一般性的散焦。 通用解决方案 用于简单的两平面聚焦效果。
来自论文“图像风格化的自动肖像分割”，一种平凡的、动画风格的焦平面分离。 来源：https://jiaya.me/papers/portrait_eg16.pdf
多平面表示为此范例添加了一些虚拟“动画单元”，例如，通过使用深度估计将场景切割成不同焦平面的断断续续但可管理的梯度，然后编排依赖于深度的内核以 合成模糊.
此外，与潜在的 AR/VR 环境高度相关，立体相机设置的两个视点之间的差异可以用作深度代理——这是 Google Research 在 2015 年提出的一种方法。
从谷歌主导的论文《快速双边空间立体合成散焦》来看，两个视点之间的差异提供了可以促进模糊的深度图。 然而，这种做法在上面设想的情况下是不真实的，用35-50mm（单反标准）镜头拍摄的照片清晰，但只有超过200mm的镜头才会出现背景极度散焦的情况，这种情况高度受限的焦平面，在正常的人体大小环境中产生窄景深. 来源
这种性质的方法往往会表现出边缘伪影，因为它们试图将两个不同且边缘有限的焦点球体表示为连续的焦点梯度。
在2021的 原始神经射频 该计划提供了高动态范围 (HDR) 功能，可以更好地控制弱光情况，并且具有令人印象深刻的对焦能力：
RawNeRF 机架的聚焦效果非常好（在本例中，由于焦平面不真实，因此聚焦效果不真实），但计算成本很高。 来源：https://bmild.github.io/rawnerf/
然而，RawNeRF 需要对其经过训练的 NeRF 的多平面表示进行繁重的预计算，从而导致工作流程无法轻松适应较轻或较低延迟的 NeRF 实现。
虚拟镜头建模
NeRF 本身基于针孔成像模型，该模型以类似于默认 CGI 场景的方式清晰地渲染整个场景（先于将模糊渲染为后处理或基于景深的固有效果的各种方法）。
NeRFocus 创建了一个虚拟“薄镜头”（而不是“无玻璃”光圈），它计算每个传入像素的光束路径并直接渲染它，有效地反转了标准图像捕获过程，该过程运行 事后 光输入已经受到透镜设计的折射特性的影响。
该模型引入了截锥体内内容渲染的一系列可能性（上图中描绘的最大影响圈）。
在更广泛的可能性范围内计算每个多层感知器 (MLP) 的正确颜色和密度是一项额外任务。 这已经是 之前解决过 通过对大量 DLSR 图像应用监督训练，需要为概率训练工作流程创建额外的数据集——有效地涉及可能需要或可能不需要的多个可能的计算资源的艰苦准备和存储。
NeRFocus 通过以下方式克服了这个问题 P-培训，其中训练数据集是基于基本模糊操作生成的。 因此，该模型是通过固有且可导航的模糊操作形成的。
在训练期间孔径直径设置为零，并使用预定义的概率随机选择模糊核。 获得的直径用于放大每个复合锥体的直径，让 MLP 准确预测平截头体的辐射亮度和密度（上图中的宽圆圈，代表每个像素的最大变换区域）
新论文的作者观察到 NeRFocus 可能与 RawNeRF 的 HDR 驱动方法兼容，这可能有助于渲染某些具有挑战性的部分，例如散焦镜面高光，以及许多其他计算密集型效果三十多年来一直挑战 CGI 工作流程。
与核心 NeRF 和 Mip-NeRF （并且，大概 Mip-NeRF 360，尽管论文中没有提到这一点），并且可作为神经辐射场中心方法的一般扩展。
首次发布于 12 年 2022 月 XNUMX 日。
