気候変動を写真に投影するジェネレーティブ・アドバーサリアル・ネットワーク

カナダと米国の研究者チームは、ジェネレーティブ・アドバーサリアル・ネットワーク（GAN）を使用して、気候変動の壊滅的な影響を実際の写真に重ねるための機械学習方法を開発しました。これは、気候変動に関する仮説的または抽象的なシナリオに私たちが関わることができない「距離感」の問題を減らすことを目的としています。

ClimateGAN estimates geometry from a calculated depth-map before adding reflectivity in a superimposed water surface. Source: https://arxiv.org/pdf/2110.02871.pdf

このプロジェクトは、ClimateGANと呼ばれ、洪水、極端な熱、気候変動の他の深刻な結果が影響を受けた世界を探索できるインタラクティブな環境を開発するためのより広範な研究の一部です。

研究者たちは、この取り組みの背後にある動機について次のように述べています：

‘気候変動は人類にとっての大きな脅威であり、その壊滅的な結果を防ぐために必要な行動には、政策立案と個人の行動の両方の変更が含まれます。ただし、行動を起こすには、気候変動の影響を理解する必要がありますが、それらは抽象的で遠いものに感じられるかもしれません。’

‘洪水などの極端な気候イベントの潜在的な結果を、身近な場所に投影することで、気候変動の抽象的な影響をより具体的にし、行動を促すことができます。’

この取り組みの重要な目的は、ユーザーが住所（または任意の住所）を入力して、Google Street Viewの対応する画像の気候変動影響を受けたバージョンを表示できるシステムを実現することです。ただし、ClimateGANの変換アルゴリズムには、写真内のアイテムの高さに関する推定知識が必要であり、GoogleがStreet Viewのメタデータとして提供する情報には含まれていないため、推定アルゴリズムを取得することは継続的な課題です。

データとアーキテクチャ

ClimateGANは、2つの段階を持つ無監督の画像から画像への変換パイプラインを使用しています。最初の段階では、Maskerレイヤーが、水面が理論的に存在する場所を推定します。2番目の段階では、Painterモジュールが、水面の境界内で水をリアルにレンダリングし、水面上の非隠蔽された幾何学の反射率を考慮します。

The architecture for ClimateGAN. Input proceeds through a shared encoder into a three-stage masking process before being passed to the Painter module. The two networks are trained independently, and only operate in tandem during the generation of new images.

トレーニングデータのほとんどは、CityScapesとMapillaryのデータセットから選択されました。ただし、洪水画像の既存のデータは比較的少ないため、研究者たちは既存の利用可能なデータセットと、Unity3Dゲームエンジンで開発された新しい「バーチャルワールド」を組み合わせました。

Scenes from the Unity3D virtual environment.

Unity3Dの世界には、約1.5kmの地形が含まれており、都市、郊外、農村地域が含まれています。研究者たちはこれらの地域を「洪水」させて、ClimateGANフレームワークの追加のグラウンドトゥルースを生成するために「前」และ「後」の画像を生成しました。

Maskerユニットは、2018年のADVENTコードをトレーニングに使用し、2019年のフランスの研究イニシアチブDADAの発見に基づいて追加のデータを追加しました。研究者たちはまた、Maskerユニットに追加の情報を提供するために、セグメンテーションデコーダーを追加しました（入力画像のセマンティクスに関するラベル情報、たとえば「建物」など）。

Flood Mask Decoderは、実行可能な水線を計算し、NVIDIAの非常に人気のあるSPADEインペイントフレームワークによって動作します。

クリックして拡大。 Together with semantic segmentation (third column), depth map information enables delineation of the geometry in a photo, providing a guideline for the margins of the ‘flood water’. This can be inferred through machine learning processes, though such information is increasingly being included in consumer-level mobile device sensors. In the lowest row, we see that the ClimateGAN architecture has successfully rendered a ‘flooded’ version of the original photo even though the intermediate stages have failed to accurately capture the geometry of a complex scene.

研究者たちは、NVIDIAのGauGAN（SPADEによって動作）をPainterモジュールに使用しましたが、Maskerの出力にGauGANを条件付ける必要がありました。通常の使用では、一般化されたセマンティックセグメンテーションマップではなく、水線の境界に従って画像を変換する必要がありました。

品質の評価

結果画像の品質を評価するための指標は、180のGoogle Street View画像（都市シーンや農村シーンなど、さまざまなタイプの画像）を手動でラベル付けすることで得られました。画像は、洪水できない、必ず洪水する、洪水する可能性ありの3つに分類されました。

これにより、3つの指標が得られました：エラー率（変換された画像内の予測領域のサイズ）、F05スコア、エッジの一貫性。比較のために、研究者たちは、InstaGAN、CycleGAN、MUNITなどの従来の画像から画像への変換（IIT）モデルをテストしました。

In user tests, ClimateGAN was found to achieve a higher degree of realism than five competing IIT architectures. Blue represents the degree to which users preferred ClimateGAN to the studied alternative method.

研究者たちは、ソース画像に高さデータが不足しているため、ユーザーが「ローランド・エメリッヒ・ファクター」を少し上げたい場合、水面の高さを任意に設定するのが難しいことを認めています。また、洪水の影響が洪水区域に限定されすぎていることも認めており、将来的には、複数の洪水レベル（初期の洪水の後退後など）を方法論に追加する方法を調査する予定です。

ClimateGANのコードは、GitHubで公開されており、レンダリングされた画像の追加の例も含まれています。

In another example, from the GitHub presence for the project, smog is added to a city picture in a way that will be familiar to most VFX practitioners – the depth map is used as a kind of receding ‘white-out mask’, so that the density of smog/fog increases across the distance covered in the photo. Source: https://github.com/cc-ai/climategan