Prosjektering av klimaendringer i bilder med Generative Adversarial Networks

Et team av forskere fra Canada og USA har utviklet en maskinlæringsmetode for å overføre de katastrofale effektene av klimaendringer i virkelige bilder ved hjelp av Generative Adversarial Networks (GANs), med målet om å redusere ‘distansering’ – vår evne til å relatere til hypotetiske eller abstrakte scenarier med hensyn til klimaendringer.

ClimateGAN estimerer geometri fra en beregnet dybdekart før tilføying av refleksivitet i en overlagt vannoverflate. Kilde: https://arxiv.org/pdf/2110.02871.pdf

Prosjektet, som heter ClimateGAN, er en del av en større forskningsinnsats for å utvikle interaktive miljøer hvor brukerne kan utforske projekterte verdener som er påvirket av flom, ekstrem varme og andre alvorlige konsekvenser av klimaendringer.

Ved å diskutere motivasjonen bak initiativet, sier forskerne:

‘Klimaendringer er en stor trussel mot menneskeheten, og handlingene som kreves for å forebygge de katastrofale konsekvensene inkluderer endringer i både politikk og individuell atferd. Men for å kunne handle, må man forstå effektene av klimaendringer, selv om de kan synes abstrakte og fjerne.

‘Prosjektering av de potensielle konsekvensene av ekstreme klimahendelser som flom i kjente steder kan hjelpe til å gjøre de abstrakte effektene av klimaendringer mer konkrete og oppmuntre til handling.’

Et hovedmål med initiativet er å muliggjøre et system hvor en bruker kan angi sin adresse (eller noen adresse) og se en klimaendringspåvirket versjon av bildet fra Google Street View. Men transformasjonsalgoritmene bak ClimateGAN krever noen estimeringskunnskap om høyde for gjenstander i bildet, som ikke er inkludert i metadataene Google gir for Street View, og å få tak i en slik estimeringsalgoritme forblir en pågående utfordring.

Data og Arkitektur

ClimateGAN bruker en usupert image-til-image-oversettelsespipeline med to faser: en Masker-lag, som estimerer hvor en vannoverflate ville teoretisk eksistere i målbildet; og en Maler-modul for å realistisk rendre vann innenfor grensene av den etablerte masken, og tar hensyn til refleksivitet av den gjenværende ikke-tildekkede geometrien over vannlinjen.

Arkitekturen for ClimateGAN. Inndata går gjennom en felles encoder inn i en tre-stegs maskeringsprosess før den overføres til Maler-modulen. De to nettverkene er trent uavhengig, og opererer bare i tandem under generering av nye bilder.

De fleste av treningsdataene ble valgt fra CityScapes og Mapillary-datasettene. Men siden eksisterende data for flom-bilder er relativt sjeldne, kombinerte forskerne eksisterende tilgjengelige datasett med en ny ‘virtuell verden’ utviklet med Unity3D-spillmotoren.

Scener fra Unity3D-virtuell miljø.

Unity3D-verdenen inneholder rundt 1,5 km med terreng, og inkluderer urbane, forsteder og rurale områder, som forskerne ‘flommene’. Dette muliggjorde generering av ‘før’ og ‘etter’-bilder for ekstra grunntruth for ClimateGAN-rammeverket.

Masker-enheten tilpasser 2018 ADVENT-koden for trening, og legger til ekstra data i henhold til 2019-funn fra den franske forskningsinitiativet DADA. Forskerne la også til en segmenterings-dekoder for å gi Masker-enheten ekstra informasjon om semantikken til inndata-bildet (dvs. merket informasjon som angir et domene, som ‘bygning’).

Flom-maska-dekoderen beregner en gjennomførbar vannlinje, og er drevet av NVIDIA’s svært populære SPADE-in-painting-rammeverk.

Klikk for å forstørre. Sammen med semantisk segmentering (tredje kolonne), dybdekartinformasjon muliggjør avgrensning av geometrien i et bilde, og gir en retningslinje for grensene av ‘flomvannet’. Dette kan sluttes fra maskinlæringsprosesser, selv om slike informasjon stadig inkluderes i forbruker-nivå mobile enhets-sensorene. I den nederste raden ser vi at ClimateGAN-arkitekturen har suksessfullt rendret en ‘flommet’ versjon av det opprinnelige bildet, selv om de mellomliggende stadiene ikke har greid å fange geometrien i et komplekst scenario.

Til tross for at forskerne brukte NVIDIA GauGAN, drevet av SPADE, for Maler-modulen, var det nødvendig å kondisjonere GauGAN på utgangen av Masker-enheten, og ikke på en generell semantisk segmenteringskart, som skjer i normal bruk, siden bildene måtte transformeres i henhold til vannlinje-avgrensningene, og ikke være underlagt brede, generelle transformasjoner.

Evaluering av Kvalitet

Metrikker for å evaluere kvaliteten på de resulterende bildene ble muliggjort ved å merke en testsett på 180 Google Street View-bilder av varierende typer, inkludert urbane scener og mer rurale bilder fra en mangfoldighet av geografiske lokasjoner. Bildene ble manuelt merket som kan ikke bli flommet, må bli flommet, og kan bli flommet.

Dette muliggjorde formuleringen av tre metrikker: feilrate (oppfattet prediksjonsområder etter størrelse i det transformerte bildet), F05 Score, og kant-kohens. For sammenligning, testet forskerne dataene på tidligere image-til-image-oversettelsesmodeller (IIT), inkludert InstaGAN, CycleGAN, og MUNIT.

I brukertester, ble ClimateGAN funnet å oppnå en høyere grad av realisme enn fem konkurranse-IIT-arkitekturer. Blått representerer graden til hvilken brukerne foretrakk ClimateGAN fremfor den studerte alternative metoden.

Forskerne innrømmer at mangelen på høyde-data i kildebildene gjør det vanskelig å vilkårlig påføre vannlinje-høyder i bilder, hvis brukeren ønsker å justere ‘Roland Emmerich-faktoren’ litt. De innrømmer også at flomeffektene er for begrensede til flomområdet, og har til hensikt å undersøke metoder for å legge til flere nivåer av flom (dvs. etter tilbaketrekning av en initial flom) til metoden.

ClimateGANs kode er blitt gjort tilgjengelig på GitHub, sammen med ekstra eksempler på rendrede bilder.

I et annet eksempel, fra GitHub-tilstedeværelsen for prosjektet, blir smog lagt til et bybilde på en måte som vil være kjent for de fleste VFX-utøvere – dybdekartet brukes som en slags tilbaketrukken ‘hvitt-ut-mask’, så tettet av smog/tåke øker over avstanden dekket i bildet. Kilde: https://github.com/cc-ai/climategan