Klimaforandringer projiceres ind i billeder med generative adversarielle netværk

Et hold af forskere fra Canada og USA har udviklet en maskinlæringsmetode til at projicere de katastrofale effekter af klimaforandringer ind i virkelige billeder ved hjælp af generative adversarielle netværk (GAN’er), med det formål at reducere ‘afstand’ – vores inability til at relatere til hypotetiske eller abstrakte scenarier vedrørende klimaforandringer.

ClimateGAN estimerer geometri fra en beregnet dybde-kort før tilføjelse af reflektivitet i et overlagret vandoverflade. Kilde: https://arxiv.org/pdf/2110.02871.pdf

Projektet, med titlen ClimateGAN, er en del af en bredere forskningsindsats for at udvikle interaktive miljøer, hvor brugere kan udforske projicerede verdener, der er berørt af oversvømmelser, ekstrem varme og andre alvorlige konsekvenser af klimaforandringer.

Ved at diskutere motivationen bag initiativet, udtaler forskerne:

‘Klimaforandringer er en stor trussel mod menneskeheden, og de handlinger, der kræves for at forhindre deres katastrofale konsekvenser, omfatter ændringer i både politiske beslutninger og individuel adfærd. Men for at tage handling kræver det at forstå effekterne af klimaforandringer, selv om de kan synes abstrakte og fjerne.

‘At projicere de potentielle konsekvenser af ekstreme klima-hændelser, såsom oversvømmelser i kendte steder, kan hjælpe med at gøre de abstrakte effekter af klimaforandringer mere konkrete og opmuntre til handling.’

Et centralt formål med initiativet er at muliggøre et system, hvor en bruger kan indtaste sin adresse (eller enhver adresse) og se en klima-forandret version af billedet fra Google Street View. Men transformation-algoritmerne bag ClimateGAN kræver en vis estimeret viden om højde for genstande på billedet, som ikke er inkluderet i metadata, som Google tilbyder for Street View, og således forbliver det en udfordring at få en sådan estimering algoritmerisk.

Data og Arkitektur

ClimateGAN anvender en ubeskyttet billed-til-billed-oversættelses-pipeline med to faser: en Masker-lag, der estimerer, hvor en vandoverflade ville eksistere i målbilledet; og en Maler-modul til at realistisk gengive vand inden for grænserne for den etablerede maske, og tager hensyn til reflektiviteten af den resterende ikke-tilslørede geometri over vandoverfladen.

Arkitekturen for ClimateGAN. Input går gennem en fælles encoder til en tre-trins maskeringsproces, før den overføres til Maler-modulen. De to netværk er trænet uafhængigt, og fungerer kun i tandem under genereringen af nye billeder.

Det meste af træningsdataen blev valgt fra CityScapes og Mapillary-datasettet. Men da eksisterende data for oversvømmelsesbilleder er relativt sjældne, kombinerede forskerne eksisterende tilgængelige dataset med en ny ‘virtuel verden’, der er udviklet med Unity3D-spilmotoren.

Scener fra Unity3D-virtuel miljø.

Unity3D-verdenen indeholder omkring 1,5 km af terræn og inkluderer urbane, forstæder og landlige områder, som forskerne ‘oversvømmede’. Dette muliggjorde genereringen af ‘før’ og ‘efter’-billeder for yderligere grund sandhed for ClimateGAN-rammen.

Masker-enheten tilpasser 2018 ADVENT-koden for træning, med tilføjelse af yderligere data i overensstemmelse med 2019-fund fra den franske forskningsinitiativ DADA. Forskerne tilføjede også en segmenterings-decoder til at give Masker-enheten yderligere information om semantikken af input-billedet (dvs. mærket information, der angiver en domæne, såsom ‘bygning’).

Flod-maske-decoderen beregner en gennemførlig vandlinje og drives af NVIDIA’s meget populære SPADE-in-malings-rammeværk.

Klik for at forstørre. Sammen med semantisk segmentering (tredje kolonne) giver dybde-kort-information mulighed for at afgrænse geometrien i et billede, hvilket giver en retningslinje for grænserne for ‘oversvømmelsesvand’. Dette kan sluttes af machine-læringsprocesser, selv om sådan information stadig mere er inkluderet i forbruger-niveau mobile enheds-sensorer. I den nederste række ser vi, at ClimateGAN-arkitekturen har succesfuldt gengivet en ‘oversvømmet’ version af det originale billede, selv om de mellemste faser ikke har formået at nøjagtigt fange geometrien af et komplekst scenarie.

Selv om forskerne anvendte NVIDIA GauGAN, drevet af SPADE, til Maler-modulen, var det nødvendigt at betinge GauGAN på outputtet af Masker-enheten og ikke på en generel semantisk segmenterings-kort, som sker under normal brug, da billederne skulle transformeres i overensstemmelse med vandlinje-afgrænsningerne og ikke være underlagt brede, generelle transformationer.

Evaluering af Kvalitet

Metrikker for at evaluere kvaliteten af de resulterende billeder blev faciliteret ved at mærke en test-sæt på 180 Google Street View-billeder af varierende typer, herunder urbane scener og mere landlige billeder fra en diversitet af geografiske lokaliteter. Billederne blev manuelt mærket som kan ikke oversvømmes, skal oversvømmes og kan måske oversvømmes.

Dette gjorde det muligt at formulere tre metrikker: fejlrate (opfattet prædiktionsområder efter størrelse i det transformerende billede), F05 Score og kant-coherens. Til sammenligning testede forskerne data på tidligere billed-til-billed-oversættelses-modeller, herunder InstaGAN, CycleGAN og MUNIT.

I bruger-testerne fandt ClimateGAN en højere grad af realisme end fem konkurrerende IIT-arkitekturer. Blåt repræsenterer graden, hvori brugerne foretrak ClimateGAN over den studerede alternative metode.

Forskerne indrømmer, at manglen på højde-data i kilde-billeder gør det svært at vilkårligt påføre vandlinje-højder i billeder, hvis brugeren ønsker at justere ‘Roland Emmerich-faktoren’ lidt. De indrømmer også, at oversvømmelses-effekterne er for begrænsede til oversvømmelses-området og har til hensigt at undersøge metoder, hvormed multiple niveauer af oversvømmelse (dvs. efter tilbagetrækning af en initial oversvømmelse) kan tilføjes til metoden.

ClimateGAN’s kode er blevet gjort tilgængelig på GitHub, sammen med yderligere eksempler på gengivne billeder.

I et andet eksempel, fra GitHub-nærværet for projektet, tilføjes smog til et by-billede på en måde, der vil være kendt for de fleste VFX-praktikere – dybde-kortet anvendes som en slags tilbagetrækkende ‘hvidt-ud-maske’, sådan at tætheden af smog/tåge øges over afstanden dækket i billedet. Kilde: https://github.com/cc-ai/climategan