从矢量地图创建卫星图像

英国的研究人员开发了一种基于人工智能的图像合成系统，可以实时将基于矢量的地图转换为卫星风格的图像。

该神经架构称为无缝卫星图像合成(SSS)，它提供了真实的虚拟环境和导航解决方案的前景，这些解决方案的分辨率比卫星图像更好；更及时（因为地图系统可以实时更新）；并且可以在卫星传感器分辨率有限或不可用的区域实现真实的轨道风格视图。

无限制的矢量数据可以转换为比真实卫星图像更高的图像大小，并且可以快速反映网络地图的更新，例如新障碍或道路网络基础设施的变化。来源：https://arxiv.org/pdf/2111.03384.pdf

为了展示该系统的强大功能，研究人员创建了一个交互式的Google Earth风格环境，观众可以在其中缩放和观察生成的卫星图像，图像的渲染比例和细节各不相同，图块会实时更新，就像传统的交互式卫星图像系统一样：

基于地图的创建环境，放大查看。请参阅文章末尾的视频以获得更好的分辨率和更多关于该过程的详细信息。来源：https://www.youtube.com/watch?v=PqFySVpkZzg

此外，由于该系统可以从任何基于矢量的地图生成卫星风格的图像，因此它可以在理论上用于构建历史、预测或虚构的世界，以便将其纳入飞行模拟器和虚拟环境。另外，研究人员预计使用变压器从地图数据中合成完全的3D虚拟环境。

在近期内，作者认为他们的框架可以用于多种实际应用，包括交互式城市规划和程序化建模，设想一个场景，利益相关者可以交互式地编辑地图，并在几秒钟内看到鸟瞰图像的预测地形。

新论文paper来自英国利兹大学的两位研究人员，题为无缝卫星图像合成。

SSS架构重建了伦敦，并提供了一个对底层矢量结构的窥视，该结构正在驱动重建。左上角的插图显示了整个图像，在补充材料中以8k分辨率提供。

架构和源训练数据

该新系统利用了加州大学伯克利分校2017年的Pix2Pix和NVIDIA的SPADE图像合成架构。该框架包含两个新颖的卷积神经网络——map2sat，它执行从矢量到像素图像的转换；和seam2cont，它不仅计算了一种无缝的方法来收集256×256像素的图块，还提供了一个交互式的探索环境。

SSS的架构。

该系统通过训练矢量视图和其真实的卫星等价物来学习合成卫星视图，形成了对如何将矢量方面解释为照片真实解释的普遍理解。

用于数据集的矢量图像是从GeoPackage (.geo)文件中光栅化的，这些文件包含最多13个类别标签，例如轨道、自然环境、建筑物和道路，这些标签用于决定将哪种图像放入卫星视图中。

光栅化的.geo卫星图像还保留了本地坐标参考系统元数据，该元数据用于将其解释为更广泛的地图框架的一部分，并允许用户交互式地导航创建的地图。

无缝图块在硬约束下

创建可探索的地图环境是一个挑战，因为项目中的硬件限制将图块限制为仅256 x 256像素。因此，渲染或组合过程必须考虑“更大的图景”，而不是专注于手头的图块，这将导致图块拼接时出现刺耳的对比，例如道路突然改变颜色和其他非真实的渲染伪影。

因此，SSS使用了一系列生成器网络来生成多种比例下的内容变化，并且该系统可以任意地评估观众可能需要的任何中间比例的图块。

seam2cont部分的架构使用了map2sat输出的两个重叠和独立的图层，并计算了一个适合更广泛的图像上下文的边界：

seam2cont模块使用一个带有图块缝合的图像和一个没有缝合的图像来自map2sat网络，以计算256×256像素生成图块之间的无缝边界。

map2sat网络是SPADE网络的一个优化适应，专门训练为256×256像素。作者指出，这是一个轻量级和敏捷的实现，导致权重仅为31.5mb，而完整的SPADE网络为436.9mb。

使用3000张真实的卫星图像训练了两个子网络，训练时间为70个epoch；所有图像都包含等价的语义信息（即对所描绘对象的低级概念理解，例如“道路”），以及基于地理的定位元数据。

更多材料可在项目页面找到，以及一个配套的视频（嵌入在下面）。

https://www.youtube.com/watch?v=PqFySVpkZzg