使用生成对抗网络将气候变化投影到照片中

加拿大和美国的研究人员团队开发了一种使用生成对抗网络（GANs）将气候变化的灾难性影响叠加到真实照片上的机器学习方法，旨在减少“距离感”——我们无法将气候变化的假设或抽象情景与现实联系起来的能力。

ClimateGAN估计从计算出的深度图中获得几何形状，然后在叠加的水面上添加反射性。来源：https://arxiv.org/pdf/2110.02871.pdf

该项目，名为ClimateGAN，是更广泛的研究工作的一部分，旨在开发交互式环境，用户可以在其中探索受洪水、极端高温和其他气候变化严重后果影响的世界。

讨论这一倡议的动机，研究人员表示：

‘气候变化是人类的一大威胁，防止其灾难性后果所需的行动包括政策制定和个人行为的变化。然而，采取行动需要了解气候变化的影响，即使这些影响看起来抽象且遥远。 ‘

‘在熟悉的地方投影极端气候事件（如洪水）的潜在后果，可以使气候变化的抽象影响更加具体，并鼓励采取行动。’

该倡议的一个主要目标是实现一个系统，用户可以输入地址（或任何地址），并看到气候变化影响的图像版本，从Google Street View获取。
然而，ClimateGAN背后的转换算法需要一些关于照片中物体高度的估计知识，这些信息不包含在Google为Street View提供的元数据中，因此算法上获取这些信息仍然是一个正在进行的挑战。

数据和架构

ClimateGAN利用无监督的图像到图像翻译管道，分两个阶段：Masker层，估计目标图像中理论上存在的水面高度；以及Painter模块，根据Masker层的输出，真实地渲染水面，并考虑到水面以上非遮挡几何体的反射性。

ClimateGAN的架构。输入通过共享编码器进入三阶段的遮罩过程，然后传递给Painter模块。两个网络独立训练，只在生成新图像时一起运行。

大部分训练数据来自CityScapes和Mapillary数据集。然而，由于现有的洪水图像数据相对稀少，研究人员将现有的可用数据集与使用Unity3D游戏引擎开发的新“虚拟世界”相结合。

Unity3D虚拟环境中的场景。

Unity3D世界包含约1.5公里的地形，包括城市、郊区和农村地区，研究人员将这些地区“洪水”以生成ClimateGAN框架的“前后”图像的额外基准真值。

Masker单元采用2018年的ADVENT代码进行训练，并添加了2019年法国研究计划DADA的发现。研究人员还添加了一个分割解码器，以向Masker单元提供有关输入图像语义的额外信息（即标记的信息，指示一个域，例如“建筑”）。

洪水遮罩解码器计算一个可行的水线，并由NVIDIA流行的SPADE内插框架提供动力。

点击放大。 结合语义分割（第三列），深度图信息可以确定照片中的几何形状，为“洪水”的边界提供参考。这可以通过机器学习过程推断，尽管这种信息越来越多地被包含在消费级移动设备传感器中。在最低行中，我们看到ClimateGAN架构成功地渲染了原始照片的“洪水”版本，尽管中间阶段未能准确捕捉复杂场景的几何形状。

尽管研究人员使用NVIDIA的GauGAN（由SPADE提供动力）作为Painter模块，但有必要将GauGAN条件化为Masker的输出，而不是一般的语义分割图，因为图像需要根据水线边界转换，而不是进行广泛的一般转换。

评估质量

为了评估生成图像的质量，研究人员标记了180张来自不同地理位置的Google Street View图像，包括城市场景和更为乡村的图像，并将它们手动标记为不能被洪水淹没、必须被洪水淹没和可能被洪水淹没。

这使得三个指标的制定成为可能：错误率（转换图像中感知到的预测区域大小）、F05评分和边缘一致性。为了进行比较，研究人员在先前的图像到图像翻译（IIT）模型上测试了数据，包括InstaGAN、CycleGAN和MUNIT。

在用户测试中，ClimateGAN被发现比五种竞争IIT架构具有更高的真实性。蓝色表示用户偏好ClimateGAN而不是所研究的替代方法的程度。

研究人员承认，源图像中缺乏高度数据使得在图像中任意强加水线高度变得困难，如果用户希望稍微增加“罗兰·艾默里奇因素”，他们也承认洪水效果过于局限于洪水区域，并计划研究如何将多个洪水级别（即初始洪水退去后）添加到该方法中。

ClimateGAN的代码已在GitHub上公开，以及一些渲染图像的额外示例。

在另一个示例中，来自项目的GitHub页面，烟雾以一种方式添加到城市图片中，这种方式将使大多数VFX从业者感到熟悉——深度图作为一种递减的“白色遮罩”，使得烟雾/雾的密度随着照片中覆盖的距离而增加。 来源：https://github.com/cc-ai/climategan