Projektioun vum Klimawandel op Fotoen Mat Generative Adversarial Netzwierker

En Team vu Fuerscher aus Kanada an den USA huet eng Maschinnléiermethod entwéckelt fir déi katastrophal Auswierkunge vum Klimawandel op real Fotoen iwwer Generative Adversarial Networks (GANs) ze iwwerlageren, mam Zil "Distanzéierung" ze reduzéieren - eis Onméiglechkeet ze bezéien zu hypotheteschen oder abstrakte Szenarie betreffend de Klimawandel.

ClimateGAN schätzt Geometrie aus enger berechent Déiftkaart ier Dir Reflexivitéit an enger iwwerlagert Waasserfläch bäidréit. Source: https://arxiv.org/pdf/2110.02871.pdf

d' ProjetTitel KlimaGAN, ass Deel vun enger méi breeder Fuerschungseffort fir interaktiv Ëmfeld z'entwéckelen, wou d'Benotzer projizéiert Welten entdecken kënnen, déi duerch Iwwerschwemmungen, extremer Hëtzt an aner schlëmm Konsequenze vum Klimawandel betraff sinn.

D'Motivatioun hannert der Initiativ diskutéieren, soen d'Fuerscher:

"De Klimawandel ass eng grouss Bedrohung fir d'Mënschheet, an d'Handlungen, déi néideg sinn fir seng katastrophal Konsequenzen ze vermeiden, enthalen Ännerungen an der Politik an der individueller Verhalen. Wéi och ëmmer, Handlung ze huelen erfuerdert d'Effekter vum Klimawandel ze verstoen, och wann se abstrakt a wäit ausgesinn.

"D'potenziell Konsequenze vun extremen Klimaevenementer wéi Iwwerschwemmungen op vertraute Plazen ze projizéieren kann hëllefen déi abstrakt Auswierkunge vum Klimawandel méi konkret ze maachen an Handlung encouragéieren."

E Kärzil vun der Initiativ ass e System z'erméiglechen, wou e Benotzer seng Adress (oder all Adress) aginn kann an eng Klimawandel betraff Versioun vum entspriechende Bild vu Google Street View gesinn. Wéi och ëmmer, d'Transformatiounsalgorithmen hannert ClimateGAN erfuerderen e geschätzte Wëssen iwwer Héicht fir Elementer op der Foto, déi net an de Metadaten abegraff sinn, déi Google fir Street View ubitt, an dofir bleift esou eng Schätzung algorithmesch eng kontinuéierlech Erausfuerderung.

Daten an Architektur

ClimateGAN benotzt eng net iwwerwaacht Bild-zu-Bild Iwwersetzungspipeline mat zwou Phasen: eng Masker Schicht, déi schätzt wou eng Niveau Waasserfläch theoretesch am Zilbild existéiert; an e Moler Modul fir eng realistesch Waasser bannent de Grenze vun der etabléierter Mask Render-, an hëlt Rechnung reflectivity vun de Rescht Net-verstoppt Geometrie iwwer d'Waasserlinn.

D'Architektur fir ClimateGAN. Den Input geet duerch e gemeinsame Encoder an en Dräi-Etapp Maskéierungsprozess vir ier se an de Painter Modul weidergeleet ginn. Déi zwee Netzwierker ginn onofhängeg trainéiert, a funktionnéieren nëmmen an Tandem wärend der Generatioun vun neie Biller.

Déi meescht vun den Trainingsdaten goufen aus dem gewielt CityScapes an mapillary Datesätz. Wéi och ëmmer, well existent Daten fir Iwwerschwemmungsbilder relativ knapp sinn, hunn d'Fuerscher existent verfügbar Datesätz kombinéiert mat enger neier 'virtueller Welt' entwéckelt mam Unity3D Spillmotor.

Szenen aus dem Unity3D virtuellen Ëmfeld.

D'Unity3D Welt enthält ongeféier 1.5 km Terrain, an enthält urban, Faubourgen a ländlech Gebidder, déi d'Fuerscher "iwwerschwemmt" hunn. Dëst huet d'Generatioun vu 'virdrun' an 'no' Biller erlaabt fir zousätzlech Grondwahrheet fir de ClimateGAN Kader.

D'Masker Eenheet passt den 2018 un AVENTEN Code fir Training, zousätzlech Donnéeën derbäi am Aklang mat 2019 Erkenntnisser vun der franséischer Fuerschungsinitiativ Dada. D'Fuerscher hunn och e Segmentatiounsdecoder bäigefüügt fir d'Masker Eenheet zousätzlech Informatioun iwwer d'Semantik vum Inputbild ze fidderen (dh markéiert Informatioun déi en Domain bezeechent, sou wéi 'Gebai').

Den Iwwerschwemmungsmask Decoder berechent eng machbar Waasserlinn, a gëtt vun NVIDIA's enorm populär ugedriwwen Schwäerter am-molen Kader.

Klickt fir ze vergréisseren. Zesumme mat der semantescher Segmentéierung (drëtt Kolonn) erméiglecht d'Tiefekaartinformatioun d'Ofgrenzung vun der Geometrie an enger Foto, déi eng Richtlinn fir d'Marge vum 'Iwwerschwemmungswaasser' gëtt. Dëst kann duerch Maschinnléiereprozesser ofgeleet ginn, obwuel esou Informatioun ëmmer méi a Konsumentniveau mobilen Apparat Sensoren abegraff gëtt. An der ënneschter Zeil gesi mir datt d'ClimateGAN Architektur erfollegräich eng "iwwerschwemmt" Versioun vun der ursprénglecher Foto erstallt huet, och wann d'Mëttelstadien et net fäerdeg bruecht hunn d'Geometrie vun enger komplexer Szen präzis opzehuelen.

Och wann d'Fuerscher NVIDIA benotzt hunn GauGAN, ugedriwwen vum SPADE, fir de Painter-Modul, et war néideg GauGAN op der Ausgab vum Masker ze bedingen, an net op enger generaliséierter semantescher Segmentatiounskaart, wéi et am normalen Gebrauch geschitt, well d'Biller missten an der Linn mat der Waasserlinn transforméiert ginn. Ofgrenzungen, anstatt breet, allgemeng Transformatiounen ënnerworf ze ginn.

Evaluéieren Qualitéit

Metriken fir d'Qualitéit vun de resultéierende Biller ze evaluéieren goufen erliichtert andeems en Testset vun 180 Google Street View Biller vu verschiddenen Typen markéiert huet, dorënner urban Szenen a méi ländlech Biller aus enger Diversitéit vu geographesche Plazen. D'Biller goufen manuell markéiert als kann net iwwerschwemmt ginn, muss iwwerschwemmt ginn, an kann-iwwerschwemmt ginn.

Dëst erlaabt d'Formuléierung vun dräi Metriken: Feeler Taux (perceptéiert Prognoseberäicher no Gréisst am transforméierte Bild), F05 Score, an Randkohärenz. Zum Verglach hunn d'Fuerscher d'Donnéeën iwwer fréier Bild-zu-Bild Iwwersetzung (IIT) Modeller getest, inklusiv InstaGAN, CycleGAN, an MUNIT.

A Benotzer Tester gouf ClimateGAN fonnt fir e méi héije Grad vu Realismus z'erreechen wéi fënnef konkurréiere IIT Architekturen. Blo duerstellt de Grad wéi d'Benotzer de ClimateGAN op déi studéiert alternativ Method léiwer hunn.

D'Fuerscher zouginn datt de Mangel u Héichdaten a Quellbildmaterial et schwéier mécht arbiträr Waasserlinn Héichten a Biller ze imposéieren, wann de Benotzer de 'Roland Emmerich Faktor' e bësse wëll opruffen. Si zouginn och datt d'Iwwerschwemmungseffekter ze iwwerschwemmt op d'Iwwerschwemmungsgebitt limitéiert sinn, a wëlle Methoden ënnersichen, duerch déi verschidde Niveaue vun Iwwerschwemmungen (dh no der Rezessioun vun enger initialer Iwwerschwemmung) an d'Methodologie bäigefüügt kënne ginn.

ClimateGAN de Code gouf verfügbar op GitHub, zesumme mat zousätzlech Beispiller vu rendered Biller.

An engem anere Beispill, vun der GitHub Präsenz fir de Projet, gëtt Smog zu engem Stadbild bäigefüügt op eng Manéier déi fir déi meescht VFX Praktiker vertraut ass - d'Tiefekaart gëtt als eng Aart zréckzéiend 'wäiss Mask' benotzt, sou datt d'Dicht vum Smog/Niwwel hëlt iwwer d'Distanz op der Foto erop. Quell: https://github.com/cc-ai/climategan