Klimawandel in Fotos mit Generative Adversarial Networks projizieren

Ein Team von Forschern aus Kanada und den USA hat eine maschinelle Lernmethode entwickelt, um die katastrophalen Auswirkungen des Klimawandels in reale Fotos mit Generative Adversarial Networks (GANs) zu überlagern, mit dem Ziel, die “Distanz” – unsere Unfähigkeit, uns mit hypothetischen oder abstrakten Szenarien in Bezug auf den Klimawandel auseinanderzusetzen – zu reduzieren.

ClimateGAN schätzt die Geometrie aus einer berechneten Tiefenkarte vor und fügt Reflektivität in einer überlagerten Wasseroberfläche hinzu. Quelle: https://arxiv.org/pdf/2110.02871.pdf

Das Projekt, das den Titel ClimateGAN trägt, ist Teil einer umfassenderen Forschungsinitiative, interaktive Umgebungen zu entwickeln, in denen Benutzer projizierte Welten erkunden können, die von Überschwemmungen, extremer Hitze und anderen schwerwiegenden Folgen des Klimawandels betroffen sind.

Die Forscher erläutern die Motivation hinter der Initiative wie folgt:

‘Der Klimawandel ist eine große Bedrohung für die Menschheit, und die erforderlichen Maßnahmen, um seine katastrophalen Folgen zu verhindern, umfassen Änderungen in der Politikgestaltung und im individuellen Verhalten. Allerdings erfordert das Ergreifen von Maßnahmen ein Verständnis der Auswirkungen des Klimawandels, auch wenn sie abstrakt und fern erscheinen.

‘Die Projektion der möglichen Folgen extremer Klimaereignisse wie Überschwemmungen in vertrauten Orten kann dazu beitragen, die abstrakten Auswirkungen des Klimawandels konkreter zu machen und zu Handlungen anzuregen.’

Ein zentrales Ziel der Initiative ist es, ein System zu ermöglichen, in dem ein Benutzer seine Adresse (oder jede Adresse) eingeben und eine vom Klimawandel betroffene Version des entsprechenden Bildes aus Google Street View sehen kann. Allerdings erfordern die Transformationsalgorithmen hinter ClimateGAN einige Kenntnisse über die Höhe von Objekten im Bild, die nicht in den Metadaten enthalten sind, die Google für Street View bereitstellt, und so bleibt die algorithmische Schätzung dieser Höhe eine laufende Herausforderung.

Daten und Architektur

ClimateGAN nutzt eine unsupervised Bild-zu-Bild-Übersetzungs-Pipeline mit zwei Phasen: einer Masker-Schicht, die schätzt, wo eine theoretische Wasseroberfläche in dem Zielbild existieren würde; und einem Painter-Modul, um Wasser innerhalb der Grenzen der etablierten Maske realistisch zu rendern und die Reflektivität der verbleibenden nicht verdeckten Geometrie über der Wasserlinie zu berücksichtigen.

Die Architektur für ClimateGAN. Der Eingang verläuft durch einen gemeinsamen Encoder in einen dreistufigen Maskierungsprozess, bevor er an das Painter-Modul übergeben wird. Die beiden Netzwerke werden unabhängig trainiert und arbeiten nur während der Generierung neuer Bilder zusammen.

Die meisten der Trainingsdaten wurden aus den CityScapes– und Mapillary-Datensätzen ausgewählt. Allerdings ist die verfügbare Datenmenge für Überschwemmungsbilder relativ gering, daher kombinierten die Forscher bestehende verfügbare Datensätze mit einer neu entwickelten “virtuellen Welt” mit dem Unity3D-Spiel-Engine.

Szenen aus der Unity3D-Virtual-Umgebung.

Die Unity3D-Welt enthält etwa 1,5 km Terrain und umfasst städtische, suburbanische und ländliche Gebiete, die die Forscher “überschwemmten”. Dies ermöglichte die Generierung von “vorher” und “nachher”-Bildern für zusätzliche Grundwahrheiten für das ClimateGAN-Framework.

Die Masker-Einheit passt den ADVENT-Code von 2018 für das Training an, indem sie zusätzliche Daten im Einklang mit den Erkenntnissen von 2019 aus der französischen Forschungsinitiative DADA hinzufügt. Die Forscher fügten auch einen Segmentierungs-Decoder hinzu, um der Masker-Einheit zusätzliche Informationen über die Semantik des Eingabebildes zu liefern (d. h. markierte Informationen, die einen Bereich bezeichnen, wie z. B. “Gebäude”).

Der Flood-Mask-Decoder berechnet eine machbare Wasserlinie und wird von NVIDIA’s beliebtem SPADE-Inpainting-Framework angetrieben.

Klicken Sie zum Vergrößern. Zusammen mit semantischer Segmentierung (dritte Spalte) ermöglicht die Tiefenkarteninformation die Abgrenzung der Geometrie in einem Foto und bietet eine Richtlinie für die Ränder des “Überschwemmungswassers”. Dies kann durch maschinelle Lernprozesse abgeleitet werden, obwohl solche Informationen zunehmend in Consumer-Mobilgerätesensoren enthalten sind. In der unteren Zeile sehen wir, dass die ClimateGAN-Architektur erfolgreich eine “überschwemmte” Version des Originalbildes gerendert hat, obwohl die Zwischenstufen nicht in der Lage waren, die Geometrie einer komplexen Szene genau zu erfassen.

Obwohl die Forscher NVIDIA GauGAN, das von SPADE angetrieben wird, für das Painter-Modul verwendeten, war es notwendig, GauGAN auf die Ausgabe der Masker-Einheit zu konditionieren und nicht auf eine allgemeine semantische Segmentierungskarte, wie es normalerweise der Fall ist, da die Bilder in Übereinstimmung mit den Wasserlinien-Demarkationen und nicht mit allgemeinen Transformationen transformiert werden mussten.

Bewertung der Qualität

Metriken zur Bewertung der Qualität der resultierenden Bilder wurden durch das Markieren eines Testsets von 180 Google-Street-View-Bildern verschiedener Arten, einschließlich städtischer Szenen und ländlicher Bilder aus verschiedenen geografischen Ländern, ermöglicht. Die Bilder wurden manuell als nicht überschwemmbar, muss überschwemmt werden und kann überschwemmt werden markiert.

Dies ermöglichte die Formulierung von drei Metriken: Fehlerquote (wahrgenommene Vorhersagebereiche nach Größe im transformierten Bild), F05-Score und Kantenkohärenz. Zum Vergleich testeten die Forscher die Daten auf vorherigen Bild-zu-Bild-Übersetzungsmodellen, einschließlich InstaGAN, CycleGAN und MUNIT.

In Benutzertests wurde festgestellt, dass ClimateGAN einen höheren Grad an Realismus als fünf konkurrierende IIT-Architekturen erreicht. Blau repräsentiert den Grad, in dem die Benutzer ClimateGAN der untersuchten alternativen Methode vorzogen.

Die Forscher räumen ein, dass der Mangel an Höheninformationen in den Quellbildern es schwierig macht, willkürlich Wasserlinienhöhen in Bildern zu überlagern, wenn der Benutzer den “Roland-Emmerich-Faktor” ein wenig erhöhen möchte. Sie räumen auch ein, dass die Überschwemmungseffekte auf das Überschwemmungsgebiet beschränkt sind und beabsichtigen, Methoden zu untersuchen, um mehrere Überschwemmungsniveaus (d. h. nach dem Rückgang einer anfänglichen Flut) der Methode hinzuzufügen.

Der Code von ClimateGAN wurde auf GitHub veröffentlicht, zusammen mit zusätzlichen Beispielen von gerenderten Bildern.

In einem anderen Beispiel, aus der GitHub-Präsenz des Projekts, wird Smog einem Stadtbild hinzugefügt, auf eine Weise, die den meisten VFX-Praktikern vertraut ist – die Tiefenkarte wird als eine Art zurückgehende “Weiß-Aus-Maske” verwendet, so dass die Dichte von Smog/Neblen über die im Bild abgedeckte Entfernung zunimmt. Quelle: https://github.com/cc-ai/climategan