从矢量地图创建卫星图像

英国研究人员开发了一种基于人工智能的图像合成系统，可以将基于矢量的地图即时转换为卫星式图像。

该神经架构称为 无缝卫星图像合成 (SSS)，并提供了比卫星图像具有更好分辨率的真实虚拟环境和导航解决方案的前景； 更新（因为地图系统可以实时更新）； 并且可以在卫星传感器分辨率有限或不可用的区域提供逼真的轨道式视图。

无分辨率矢量数据可以转换为比真实卫星图像通常提供的图像尺寸大得多的图像尺寸，并且可以快速反映基于网络的地图中的更新，例如新的障碍物或道路网络基础设施的变化。 资料来源：https://arxiv.org/pdf/2111.03384.pdf

为了展示该系统的强大功能，研究人员创建了一个交互式 Google Earth 风格的环境，观看者可以在其中放大并观察以各种渲染比例和细节生成的卫星图像，并且图块的实时更新方式大致相同与传统的卫星图像交互系统一样：

根据地图放大创建的环境。 请参阅文章末尾的视频，以获得更好的分辨率和有关该过程的更多详细信息。 来源：https://www.youtube.com/watch?v=PqFySVpkZzg

此外，由于该系统可以从任何基于矢量的地图生成卫星式图像，因此理论上它可以用于构建历史、投影或虚构的世界，以纳入飞行模拟器和虚拟环境。 此外，研究人员预计使用 Transformer 从制图数据合成完全 3D 虚拟环境。

在近期，作者相信他们的框架可用于许多现实世界的应用，包括交互式城市规划和程序建模，设想了一个场景，利益相关者可以交互式地编辑地图并查看城市的鸟瞰图。几秒钟内投影出的地形。

新的 纸 来自利兹大学的两位研究人员，题为 无缝卫星图像合成.

SSS 架构重建了伦敦，让我们一睹为重建提供支持的底层矢量结构。 左上角插图为整个图像，可在补充材料中以 8k 分辨率获取。

架构和源训练数据

新系统利用了 UCL Berkeley 的 2017 像素对像素 和 NVIDIA 的 铲 图像合成架构。 该框架包含两个新颖的卷积神经网络 - 地图卫星，执行从矢量到基于像素的图像的转换； 和 接缝2连续，它不仅计算出将 256×256 块聚集在一起的无缝方法，而且还提供了交互式探索环境。

SSS的架构。

该系统通过对矢量视图及其现实卫星等效物进行训练来学习合成卫星视图，形成关于如何将矢量面解释为照片真实解释的概括性理解。

数据集中使用的基于矢量的图像是从 GeoPackage (.geo) 文件光栅化的，该文件最多包含 13 个类标签，例如 跟踪时, 自然环境, 建设 和 路，它们用于决定要放入卫星视图中的图像类型。

栅格化的 .geo 卫星图像还保留本地坐标参考系统元数据，用于将它们解释为更广泛的地图框架中的上下文，并允许用户交互式导航创建的地图。

严格约束下的无缝瓷砖

创建可探索的地图环境是一项挑战，因为项目中的硬件限制将图块的大小限制为仅 256 x 256 像素。 因此，重要的是渲染或合成过程要考虑“更大的图景”，而不是只专注于手头的瓷砖，这会导致在整理瓷砖时出现不和谐的并置，道路突然改变颜色，以及其他非- 逼真的渲染工件。

因此，SSS 使用生成器网络的尺度空间层次结构来生成各种尺度的内容变化，并且系统能够任意评估观看者可能需要的任何中间尺度的图块。

该架构的 seam2cont 部分使用 map2sat 输出的两个重叠且独立的层，并在要表示的更广泛图像的上下文中计算适当的边界：

seam2cont 模块使用来自 map2sat 网络的一张有平铺接缝的图像和一张没有接缝的图像，以便计算 256×256 像素生成的图块之间的无缝边界。

map2sat 网络是成熟 SPADE 网络的优化版本，专门在 256×256 像素下进行训练。 作者指出，这是一个轻量级且灵活的实现，在完整的 SPADE 网络中权重仅为 31.5mb，而权重为 436.9mb。

使用3000张真实卫星图像来训练两个子网络超过70个epoch的训练时间； 所有图像都包含等效的语义信息（即对所描绘对象（例如“道路”）的低级概念理解）和基于地理的定位元数据。

项目页面提供了更多材料以及随附的视频（嵌入在下面）。