人工智能

使用生成对抗网络将气候变化投影到照片中

Published October 12, 2021

Updated April 28, 2026

Martin Anderson

一组来自加拿大和美国的研究人员开发了一种使用生成对抗网络（GANs）的机器学习方法，将气候变化的灾难性影响叠加到真实照片上，旨在减少“距离感”——我们无法将气候变化的假设或抽象情景与现实联系起来的能力。

ClimateGAN估计从计算出的深度图中获取几何形状，然后在叠加的水面上添加反射性。 来源：https://arxiv.org/pdf/2110.02871.pdf

该项目，名为ClimateGAN，是更广泛的研究工作的一部分，旨在开发交互式环境，用户可以在其中探索受到洪水、极端高温和其他严重气候变化后果的影响的世界。

讨论该计划背后的动机，研究人员表示：

气候变化是人类的一大威胁，为了防止其灾难性后果，需要在政策制定和个人行为方面做出改变。然而，采取行动需要了解气候变化的影响，即使这些影响看起来很抽象和遥远。

在熟悉的地方投射极端气候事件（如洪水）的潜在后果，可以使气候变化的抽象影响变得更加具体，并鼓励采取行动。 ‘

该计划的核心目标是实现一个系统，用户可以输入他们的地址（或任何地址），并查看气候变化影响的相应Google Street View图像。然而，ClimateGAN背后的转换算法需要对照片中的物体有一些估计的高度知识，而Google提供的Street View元数据中不包括此信息，因此算法上获取此类估计仍然是一个正在进行的挑战。

数据和架构

ClimateGAN利用无监督的图像到图像翻译管道，分为两个阶段：Masker层，估计目标图像中理论上水面所在的位置；以及Painter模块，真实地渲染水面，并考虑到水面以上非遮挡几何体的反射性。

ClimateGAN的架构。输入通过共享编码器进入三个阶段的遮罩过程，然后传递给Painter模块。两个网络独立训练，只在生成新图像时一起运行。

大部分训练数据来自CityScapes和Mapillary数据集。然而，由于现有的洪水图像数据相对稀缺，研究人员将现有的可用数据集与使用Unity3D游戏引擎开发的新“虚拟世界”结合起来。

Unity3D虚拟环境中的场景。

Unity3D世界包含约1.5公里的terrain，包括城市、郊区和农村地区，研究人员将其“洪水”化。这使得可以为ClimateGAN框架生成“之前”和“之后”的图像，提供额外的基准真值。

Masker单元采用2018年的ADVENT代码进行训练，并添加了2019年法国研究计划DADA的发现。研究人员还添加了一个分割解码器，以向Masker单元提供输入图像的语义信息（即标记信息，指示一个域，例如“建筑物”）。

Flood Mask Decoder计算一个可行的水线，并由NVIDIA的流行SPADE插值框架提供支持。

结合语义分割（第三列），深度图信息可以确定图像中的几何体，提供“洪水”的边界。这种信息可以通过机器学习过程推断，尽管这种信息越来越多地被包含在消费级移动设备传感器中。在最低行，我们看到ClimateGAN架构成功地渲染了原始照片的“洪水”版本，尽管中间阶段未能准确捕捉复杂场景的几何体。

点击放大。 结合语义分割（第三列），深度图信息可以确定图像中的几何体，提供“洪水”的边界。这种信息可以通过机器学习过程推断，尽管这种信息越来越多地被包含在消费级移动设备传感器中。在最低行，我们看到ClimateGAN架构成功地渲染了原始照片的“洪水”版本，尽管中间阶段未能准确捕捉复杂场景的几何体。

虽然研究人员使用NVIDIA GauGAN，由SPADE提供支持，作为Painter模块，但需要将GauGAN条件化为Masker的输出，而不是正常使用的通用语义分割图，因为图像需要根据水线划分进行转换，而不是接受广泛的通用转换。