Projection du changement climatique dans les photos avec les réseaux antagonistes génératifs

Une équipe de chercheurs du Canada et des États-Unis a développé une méthode d’apprentissage automatique pour superposer les effets catastrophiques du changement climatique dans des photos réelles à l’aide de réseaux antagonistes génératifs (GAN), dans le but de réduire la « distance » – notre incapacité à nous relater à des scénarios hypothétiques ou abstraits concernant le changement climatique.

ClimateGAN estime la géométrie à partir d’une carte de profondeur calculée avant d’ajouter la réflectivité dans une surface d’eau superposée. Source: https://arxiv.org/pdf/2110.02871.pdf

Le projet, intitulé ClimateGAN, fait partie d’un effort de recherche plus large pour développer des environnements interactifs où les utilisateurs peuvent explorer des mondes projetés qui ont été affectés par des inondations, des températures extrêmes et d’autres conséquences graves du changement climatique.

En discutant de la motivation derrière l’initiative, les chercheurs déclarent:

‘Le changement climatique est une menace majeure pour l’humanité, et les actions requises pour prévenir ses conséquences catastrophiques incluent des changements à la fois dans l’élaboration des politiques et dans le comportement individuel. Cependant, prendre des mesures nécessite de comprendre les effets du changement climatique, même s’ils peuvent sembler abstraits et éloignés.

‘Projetant les conséquences potentielles d’événements climatiques extrêmes tels que les inondations dans des endroits familiers peut aider à rendre les impacts abstraits du changement climatique plus concrets et encourager l’action.’

Un objectif principal de l’initiative est de permettre un système où un utilisateur peut saisir son adresse (ou n’importe quelle adresse) et voir une version affectée par le changement climatique de l’image correspondante de Google Street View. Cependant, les algorithmes de transformation derrière ClimateGAN nécessitent une certaine connaissance estimée de la hauteur pour les éléments de la photo, qui n’est pas incluse dans les métadonnées que Google fournit pour Street View, et donc l’obtention d’un tel algorithme d’estimation reste un défi en cours.

Données et architecture

ClimateGAN utilise un pipeline de traduction d’image à image non supervisé avec deux phases: une couche Masker, qui estime où une surface d’eau de niveau théorique existerait dans l’image cible; et un module Painter pour rendre réaliste l’eau dans les limites de la masque établie, et prend en compte la réflectivité de la géométrie non obscurcie restante au-dessus de la ligne d’eau.

L’architecture pour ClimateGAN. L’entrée passe par un encodeur partagé dans un processus de masquage en trois étapes avant d’être transmise au module Painter. Les deux réseaux sont formés de manière indépendante, et ne fonctionnent qu’en tandem pendant la génération de nouvelles images.

La plupart des données de formation ont été choisies à partir des ensembles de données CityScapes et Mapillary. Cependant, puisque les données existantes pour les images d’inondations sont relativement rares, les chercheurs ont combiné les ensembles de données existants avec un « monde virtuel » novateur développé avec le moteur de jeu Unity3D.

Scènes de l’environnement virtuel Unity3D.

L’environnement virtuel Unity3D contient environ 1,5 km de terrain, et comprend des zones urbaines, suburbaines et rurales, que les chercheurs ont « inondées ». Cela a permis la génération d’images « avant » et « après » pour des vérités de terrain supplémentaires pour le cadre de ClimateGAN.

L’unité Masker adapte le code ADVENT de 2018 pour la formation, en ajoutant des données supplémentaires conformément aux résultats de 2019 de l’initiative de recherche française DADA. Les chercheurs ont également ajouté un décodeur de segmentation pour alimenter l’unité Masker avec des informations supplémentaires concernant la sémantique de l’image d’entrée (c’est-à-dire des informations étiquetées qui désignent un domaine, tel qu’un « bâtiment »).

Le décodeur de masque de crue calcule une ligne d’eau réalisable, et est alimenté par le cadre de retouche d’image SPADE de NVIDIA.

Cliquez pour agrandir. Avec la segmentation sémantique (troisième colonne), les informations de carte de profondeur permettent de délimiter la géométrie d’une photo, fournissant une ligne directrice pour les limites de l’« eau de crue ». Cela peut être déduit par des processus d’apprentissage automatique, bien que de telles informations soient de plus en plus incluses dans les capteurs de dispositifs mobiles grand public. Dans la rangée la plus basse, on voit que l’architecture de ClimateGAN a réussi à rendre une version « inondée » de la photo d’origine, même si les étapes intermédiaires n’ont pas réussi à capturer avec précision la géométrie d’une scène complexe.

Bien que les chercheurs aient utilisé GauGAN de NVIDIA, alimenté par SPADE, pour le module Painter, il a été nécessaire de conditionner GauGAN à la sortie de l’unité Masker, et non à une carte de segmentation sémantique généralisée, comme c’est le cas dans une utilisation normale, puisque les images devaient être transformées conformément aux délimitations de la ligne d’eau, et non être soumises à des transformations générales.

Évaluation de la qualité

Les métriques pour évaluer la qualité des images résultantes ont été facilitées par l’étiquetage d’un ensemble de test de 180 images de Google Street View de types variés, y compris des scènes urbaines et des images plus rurales provenant d’une diversité de localisations géographiques. Les images ont été étiquetées manuellement comme ne peut pas être inondée, doit être inondée, et peut être inondée.

Cela a permis la formulation de trois métriques: taux d’erreur (zones de prédiction perçues par taille dans l’image transformée), F05 Score, et cohérence des bords. Pour comparaison, les chercheurs ont testé les données sur des modèles de traduction d’image à image antérieurs, y compris InstaGAN, CycleGAN, et MUNIT.

Dans les tests utilisateur, ClimateGAN a été trouvé pour atteindre un degré de réalisme plus élevé que cinq architectures IIT concurrentes. Le bleu représente le degré auquel les utilisateurs ont préféré ClimateGAN à la méthode alternative étudiée.

Les chercheurs reconnaissent que le manque de données de hauteur dans les images sources rend difficile l’imposition arbitraire de hauteurs de ligne d’eau dans les images, si l’utilisateur souhaite augmenter le « facteur Roland Emmerich » un peu. Ils reconnaissent également que les effets d’inondation sont trop limités à la zone d’inondation, et ont l’intention d’étudier les méthodes par lesquelles plusieurs niveaux d’inondation (c’est-à-dire après la récession d’une crue initiale) pourraient être ajoutés à la méthodologie.

Le code de ClimateGAN a été rendu disponible sur GitHub, ainsi que des exemples supplémentaires d’images rendues.

Dans un autre exemple, de la présence GitHub du projet, de la fumée est ajoutée à une image de ville d’une manière qui sera familière à la plupart des praticiens de VFX – la carte de profondeur est utilisée comme une sorte de masque de « blanchiment » récessif, de sorte que la densité de la fumée/brouillard augmente à travers la distance couverte dans la photo. Source: https://github.com/cc-ai/climategan