从矢量地图创建卫星图像

英国的研究人员开发了一种基于AI的图像合成系统，可以实时将基于矢量的地图转换为卫星风格的图像。

神经架构被称为无缝卫星图像合成(SSS)，它提供了真实的虚拟环境和导航解决方案的前景，这些解决方案的分辨率比卫星图像更高；更新更快（因为地图系统可以实时更新）；并且可以在卫星传感器分辨率有限或不可用的区域实现真实的轨道风格视图。

无限制的矢量数据可以转换为比真实卫星图像更高的图像大小，并且可以快速反映网络地图中的更新，例如新的障碍物或道路网络基础设施的变化。来源：https://arxiv.org/pdf/2111.03384.pdf

为了展示该系统的强大功能，研究人员创建了一个交互式的Google Earth风格的环境，观众可以在各种渲染尺寸和细节中缩放和观察生成的卫星图像，瓦片更新实时，类似于传统的交互式卫星图像系统：

基于地图创建的环境的缩放。请参阅文章末尾的视频以获取更高的分辨率和更多详细信息。来源：https://www.youtube.com/watch?v=PqFySVpkZzg

此外，由于该系统可以从任何基于矢量的地图生成卫星风格的图像，因此它理论上可以用于构建历史、预测或虚构的世界，以便将其纳入飞行模拟器和虚拟环境中。另外，研究人员预计使用变压器从地图数据中合成完全的3D虚拟环境。

在近期内，作者认为他们的框架可以用于多种实际应用，包括交互式城市规划和程序化建模，设想一个场景，利益相关者可以交互式地编辑地图并在几秒钟内看到鸟瞰图像的预测地形。

新的论文来自英国利兹大学的两位研究人员，题为无缝卫星图像合成。

SSS架构重建了伦敦，并展示了正在重建的基础矢量结构的片段。左上角的插图显示了整个图像，可以在补充材料中以8k分辨率获得。

架构和源训练数据

该新系统利用了伯克利加州大学2017年的Pix2Pix和NVIDIA的SPADE图像合成架构。该框架包含两个新颖的卷积神经网络——map2sat，它执行从矢量到像素图像的转换；和seam2cont，它不仅计算了收集256×256像素瓦片的无缝方法，还提供了一个交互式的探索环境。

SSS的架构。

该系统通过训练矢量视图和其现实生活中的卫星等价物来学习合成卫星视图，形成了对如何将矢量方面解释为照片真实解释的概括性理解。

用于数据集的基于矢量的图像是从GeoPackage (.geo)文件中光栅化的，这些文件包含最多13个类别标签，例如轨道、自然环境、建筑物和道路，这些标签用于决定将哪种图像放入卫星视图中。

光栅化的.geo卫星图像还保留了本地坐标参考系统的元数据，这些元数据用于将其解释为更广泛的地图框架的一部分，并允许用户交互式地导航创建的地图。

无缝瓦片在硬约束下

创建可探索的地图环境是一个挑战，因为项目中的硬件限制将瓦片限制为仅256 x 256像素。因此，渲染或组合过程必须考虑“更大的图景”，而不是专注于当前的瓦片，这将导致当瓦片组合时出现刺耳的不协调，例如道路突然改变颜色和其他非真实的渲染伪影。

因此，SSS使用了一系列生成器网络的尺度空间层次结构来生成各种尺度的内容变化，并且该系统可以任意评估观众可能需要的任何中间尺度的瓦片。

架构中的seam2cont部分使用了map2sat输出的两个重叠且独立的层，并计算出在更广泛的图像背景下合适的边界：

Seam2Cont模块使用来自map2sat网络的带有瓦片缝合线和不带缝合线的两张图像，以计算256×256像素生成瓦片之间的无缝边界。

map2sat网络是SPADE网络的一个优化适应版本，专门训练为256×256像素。作者指出，这是一个轻量级和敏捷的实现，导致权重仅为31.5mb，而完整的SPADE网络为436.9mb。

使用3000张真实的卫星图像训练了两个子网络，训练时间为70个epoch；所有图像都包含等价的语义信息（即对所描绘对象的低级概念理解，例如“道路”），以及基于地理的定位元数据。

项目页面和以下嵌入的视频中提供了更多材料。