人工智能
新的CGI：使用Block-NeRF创建神经邻域
神经辐射场（NeRF）允许使用多个视点照片作为输入，在神经网络中重新创建和探索对象，而无需传统的CGI方法的复杂性和费用。然而，该过程计算成本高昂，最初限制了NeRF环境到桌面模型场景。尽管如此，NeRF已被一个专门的研究社区采用，该社区在过去一年中实现了外部重建，以及可编辑的神经人类等众多创新。现在，一个新的研究计划，包括Google Research的参与，认识到优化NeRF的可能的硬限制，并专注于将NeRF环境拼接在一起，以创建按需的邻域，包括多个协调的NeRF实例。
从Block-NeRF网络的链接NeRF中查看。请参阅文章末尾的嵌入式视频，以及源链接以获取高分辨率的全长补充视频。 来源：https://waymo.com/research/block-nerf/
有效地导航链接的NeRF网络，使NeRF可扩展和模块化，提供可导航的环境，当需要时加载额外的邻域部分，以类似于视频游戏的资源优化方法，环境中什么在拐角处很少加载，直到很明显环境将被需要。在一个主要的分离各个方面的努力中，例如天气和小时，Block-NeRF还引入了“外观代码”，使得动态更改一天中的时间成为可能：
使用Block-NeRF更改一天中的时间。请参阅文章末尾的嵌入式视频，以及源链接以获取高分辨率的全长补充视频。 来源：https://waymo.com/research/block-nerf/
新论文表明，NeRF优化即将达到其自身的热限制，并且未来在虚拟现实、其他类型的交互式领域和VFX工作中部署神经辐射环境，可能取决于类似于摩尔定律最终让位于多核架构、并行优化和新型缓存方法的并行操作。论文的作者（题为《Block-NeRF：可扩展的大场景神经视图合成》）使用280万张图像创建了有史以来最大的神经场景——旧金山的一系列街区。
Block-NeRF导航旧金山的格雷斯大教堂。请参阅文章末尾的嵌入式视频，以及源链接以获取高分辨率的全长补充视频。 来源：https://waymo.com/research/block-nerf/
首席作者马修·坦西克（Matthew Tancik）代表UC伯克利（UC Berkley），是神经辐射场的共同发明者，他在Waymo实习期间进行了这项工作，Waymo是主持该项目页面的自动驾驶技术开发公司。该计划还在YouTube上提供了一个视频概述，以及项目页面上的许多支持和补充视频示例。该论文由其他几位NeRF创始人共同撰写，包括本·米尔登霍尔（Ben Mildenhall）（Google Research）、普拉图尔·S·斯里尼瓦桑（Pratul P. Srinivasan）（Google Research）和乔纳森·T·巴伦（Jonathan T. Barron）（Google Research）。其他贡献者是文森特·卡塞尔（Vincent Casser）、辛晨·颜（Xinchen Yan）、萨比克·普拉德汉（Sabeek Pradhan）、亨里克·克雷茨施马尔（Henrik Kretzschmar）和文森特·卡塞尔（Vincent Casser），所有这些人都来自Waymo。Block-NeRF主要是作为虚拟环境的研究，用于自动驾驶车辆系统，包括自动驾驶汽车和无人机。
从180度视角看Embarcadero公路在Block-NeRF中。请参阅文章末尾的嵌入式视频，以及源链接以获取高分辨率的全长补充视频。 来源：https://waymo.com/research/block-nerf/
Block-NeRF中可以动态更改的其他因素包括镜头光圈（见上图）、天气和季节。然而，更改季节可能会导致环境发生相关更改，例如树木没有叶子，这需要比为Block-NeRF构建的输入数据集更广泛的输入数据集。该论文指出：
‘[树叶]会随季节变化并在风中移动；这会导致对树木和植物的模糊表示。同样，训练数据中的时间不一致，例如施工工作，不能自动处理，需要手动重新训练受影响的块。’
世界末日渲染
如果您查看文章末尾的嵌入式视频，您会注意到一个类似《行尸走肉》的空旷感在网络化的Block-NeRF环境中。由于各种原因，包括为机器人系统、汽车、行人和其他暂时性对象提供模拟的起始环境，这些对象被故意从源材料中抹去，但这已经在后面留下了一些伪影，例如“擦除”的停车车辆的阴影：
被擦除的汽车的幽灵阴影。 来源：https://waymo.com/research/block-nerf/
为了适应各种照明环境，例如白天或黑夜，网络被训练以纳入与每个所需条件相关的数据解耦流。下图显示了Block-NeRF高速公路白天和黑夜的贡献流：
看似“烘焙”的Block-NeRF渲染背后的按需facet，允许用户根据需要切换到夜晚。 来源：https://waymo.com/research/block-nerf/
环境和伦理考虑
在过去的几年中，研究提交已经开始包括关于所提出工作的可能的伦理和环境影响的警告和免责声明。在Block-NeRF的情况下，作者指出，能量需求很高，并且短期和长期暂时对象（例如树上的叶子和施工工作）需要定期重新扫描源数据，这将导致城市中需要更新的神经模型的“监视”增加。作者指出：
‘根据这项工作的规模，其计算需求可能导致或加剧环境损害，如果计算所用的能量导致增加碳排放。如本文所述，我们预见到进一步的工作，例如缓存方法，可以减少计算需求，从而减轻环境损害。’
关于监视，他们继续指出：
‘这项工作的未来应用可能涉及更大规模的数据收集工作，这将引发进一步的隐私问题。虽然公共道路的详细图像已经可以在Google Street View等服务上找到，但我们的方法可能会促进环境的重复和更频繁的扫描。自动驾驶车辆领域的一些公司也以known为其车队使用LiDAR扫描，但有些公司可能只使用LiDAR扫描，这比收集相机图像更不敏感。’
方法和解决方案
单个NeRF环境可以理论上缩小到任何大小，然后组装成Block-NeRF数组。这为包含可能发生变化的内容（例如树木）以及识别和管理施工工作提供了可能，这些工作可能会随着时间的推移而持续存在，但可能会随着时间的推移而演变并最终成为一致的实体。然而，在这项初步研究中，离散的NeRF块仅限于每个环境的实际城市街区，具有50％的重叠度，以确保在导航网络时从一个块到下一个块的过渡一致。每个块都受到地理过滤器的限制。作者指出，该框架的这一部分可以自动化，并且他们的实现出乎意料地依赖于OpenStreetMap而不是Google Maps。
Block-NeRF ‘活动’渲染空间的交叉半径。 来源：Waymo
块并行训练，需要的块按需渲染。创新性的外观代码也在块集中编排，确保不会意外地进入不同的天气、时间或甚至不同的季节。
Block-NeRF段以类似于摄影源材料中高动态范围（HDR）的方式对曝光进行条件化。 来源：Waymo
更改照明和其他环境变量的能力来自于在《NeRF在野外》（NeRF-W）中引入的生成潜在优化，这本身是从2019年Facebook AI研究论文《优化生成网络的潜在空间》中推导出来的。2020年为Panoptic-DeepLab开发的语义分割模型用于阻止不需要的元素（例如人和车辆）
数据
研究人员发现，诸如CityScapes之类的常见城市数据集不适合Block-NeRF所需的详细工作，因此他们创建了自己的数据集。图像数据从12个摄像头中以360度视图捕获，帧率为10 Hz，标量曝光值。
