Projiciranje klimatskih promjena u fotografije s generativnim kontradiktornim mrežama

Tim istraživača iz Kanade i SAD-a razvio je metodu strojnog učenja za superponiranje katastrofalnih učinaka klimatskih promjena u stvarne fotografije koristeći Generative Adversarial Networks (GAN), s ciljem smanjenja 'distanciranja' – naše nesposobnost povezivanja na hipotetske ili apstraktne scenarije u vezi s klimatskim promjenama.

ClimateGAN procjenjuje geometriju iz izračunate dubinske karte prije dodavanja refleksije na superponiranoj vodenoj površini. Izvor: https://arxiv.org/pdf/2110.02871.pdf

Korištenje električnih romobila ističe projekt, Pod naslovom ClimateGAN, dio je šireg istraživačkog napora za razvoj interaktivnih okruženja u kojima korisnici mogu istraživati ​​predviđene svjetove koji su bili pogođeni poplavama, ekstremnim vrućinama i drugim ozbiljnim posljedicama klimatskih promjena.

Raspravljajući o motivaciji iza inicijative, istraživači navode:

'Klimatske promjene velika su prijetnja čovječanstvu, a radnje potrebne za sprječavanje njihovih katastrofalnih posljedica uključuju promjene u donošenju politika i ponašanju pojedinaca. Međutim, poduzimanje radnji zahtijeva razumijevanje učinaka klimatskih promjena, iako se oni mogu činiti apstraktnima i dalekima.

'Projiciranje potencijalnih posljedica ekstremnih klimatskih događaja kao što su poplave na poznatim mjestima može pomoći da se apstraktni utjecaji klimatskih promjena konkretiziraju i potaknu djelovanje.'

Osnovni cilj inicijative je omogućiti sustav u kojem korisnik može unijeti svoju adresu (ili bilo koju adresu) i vidjeti verziju odgovarajuće slike pogođenu klimatskim promjenama s Google Street Viewa. Međutim, algoritmi transformacije koji stoje iza ClimateGAN-a zahtijevaju određeno znanje o procijenjenoj visini za stavke na fotografiji, što nije uključeno u metapodatke koje Google pruža za Street View, pa dobivanje takve procjene algoritamskim putem ostaje stalni izazov.

Podaci i arhitektura

ClimateGAN koristi nenadzirani cjevovod za prevođenje slike u sliku s dvije faze: masker sloj, koji procjenjuje gdje bi ravna površina vode teoretski postojala na ciljanoj slici; i modul Painter za realistično prikazivanje vode unutar granica utvrđene maske, te uzima u obzir refleksiju preostale nezasjenjene geometrije iznad vodene linije.

Arhitektura za ClimateGAN. Ulaz prolazi kroz zajednički koder u trostupanjski proces maskiranja prije nego što se proslijedi modulu Painter. Dvije mreže treniraju se neovisno i rade samo u tandemu tijekom generiranja novih slika.

Većina podataka o obuci odabrana je iz CityScapes i Mapilarno skupovi podataka. Međutim, budući da su postojeći podaci o slikama poplava relativno rijetki, istraživači su kombinirali postojeće dostupne skupove podataka s novim 'virtualnim svijetom' razvijenim s Unity3D motorom za igre.

Scene iz virtualnog okruženja Unity3D.

Unity3D svijet sadrži oko 1.5 km terena, a uključuje urbana, prigradska i ruralna područja, koja su istraživači 'preplavili'. To je omogućilo generiranje slika 'prije' i 'poslije' za dodatnu temeljnu istinu za okvir ClimateGAN.

Jedinica Masker prilagođava 2018 DOLAZAK kod za obuku, dodajući dodatne podatke u skladu s nalazima francuske istraživačke inicijative iz 2019 DADA. Istraživači su također dodali segmentacijski dekoder kako bi jedinici Masker dali dodatne informacije u vezi sa semantikom ulazne slike (tj. označene informacije koje označavaju domenu, kao što je 'zgrada').

Flood Mask Decoder izračunava izvedivu vodenu liniju, a pokreće ga iznimno popularan NVIDIA MAČEVA unutarslikarski okvir.

Klikni za povećanje. Zajedno sa semantičkom segmentacijom (treći stupac), informacije karte dubine omogućuju ocrtavanje geometrije na fotografiji, pružajući smjernice za rubove 'poplavne vode'. To se može zaključiti putem procesa strojnog učenja, iako se takve informacije sve više uključuju u senzore mobilnih uređaja na razini potrošača. U najnižem redu vidimo da je ClimateGAN arhitektura uspješno renderirala 'preplavljenu' verziju izvorne fotografije iako međufaze nisu uspjele točno uhvatiti geometriju složene scene.

Iako su istraživači koristili NVIDIA GauGAN, koji pokreće SPADE, za modul Painter, bilo je potrebno uvjetovati GauGAN na izlazu Maskera, a ne na generaliziranoj semantičkoj mapi segmentacije, kao što se događa u normalnoj uporabi, budući da su slike morale biti transformirane u skladu s vodenom linijom razgraničenja, umjesto da bude predmet širokih, općih transformacija.

Ocjenjivanje kvalitete

Mjerni podaci za procjenu kvalitete dobivenih slika olakšani su označavanjem testnog skupa od 180 Google Street View slika različitih vrsta, uključujući urbane scene i ruralnije slike s različitih geografskih lokacija. Slike su ručno označene kao ne može-biti-poplavljen, mora biti poplavljeni može-biti-poplavljen.

To je omogućilo formuliranje tri metrike: stopa pogreške (percipirana područja predviđanja prema veličini u transformiranoj slici), F05 Postićii rubna koherencija. Za usporedbu, istraživači su testirali podatke o prethodnim modelima prevođenja slike u sliku (IIT), uključujući InstaGAN, CiklusGANi MUNIT.

U korisničkim testovima utvrđeno je da ClimateGAN postiže viši stupanj realizma od pet konkurentskih IIT arhitektura. Plava boja predstavlja stupanj do kojeg korisnici preferiraju ClimateGAN u odnosu na proučavanu alternativnu metodu.

Istraživači priznaju da nedostatak podataka o visini u izvornim slikama otežava proizvoljno nametanje visina vodene linije na slikama, ako korisnik želi malo povećati 'faktor Roland Emmerich'. Oni također priznaju da su učinci poplava pretjerano ograničeni na poplavno područje i namjeravaju istražiti metode pomoću kojih bi se višestruke razine poplava (tj. nakon recesije početnog potopa) mogle dodati metodologiji.

ClimateGAN-ov kod je bio dostupan na GitHubu, zajedno s dodatnim primjerima prikazanih slika.

U drugom primjeru, iz prisutnosti GitHuba za projekt, smog je dodan slici grada na način koji će biti poznat većini VFX praktičara – mapa dubine koristi se kao neka vrsta 'bijele maske' koja se povlači, tako da gustoća smoga/magle povećava se preko udaljenosti obuhvaćene fotografijom. Izvor: https://github.com/cc-ai/climategan