Projekce změn klimatu do fotografií pomocí generativních adversativních sítí

Tým výzkumníků z Kanady a USA vyvinul metodiku strojového učení, která umožňuje superponovat katastrofální účinky změn klimatu do skutečných fotografií pomocí generativních adversativních sítí (GAN), s cílem snížit “odstup” – naší neschopnost vztáhnout se k hypotetickým nebo abstraktním scénářům týkajícím se změn klimatu.

ClimateGAN odhaduje geometrii z vypočtené hloubkové mapy před přidáním odrazivosti v superponované vodní ploše. Source: https://arxiv.org/pdf/2110.02871.pdf

Projekt, nazvaný ClimateGAN, je součástí širšího výzkumného úsilí vyvinout interaktivní prostředí, kde uživatelé mohou prozkoumat projektované světy, které byly ovlivněny povodněmi, extrémním teplem a dalšími vážnými důsledky změn klimatu.

Při diskusi o motivaci za touto iniciativou výzkumníci uvádějí:

‘Změny klimatu jsou velkou hrozbou pro lidstvo, a akce vyžadované pro zabránění jejich katastrofickým důsledkům zahrnují změny v politice i individuálním chování. Avšak pro provedení těchto změn je třeba porozumět účinkům změn klimatu, i když se zdají abstraktní a vzdálené.

‘Projekce potenciálních důsledků extrémních klimatických událostí, jako jsou povodně, v známých místech může pomoci učinit abstraktní dopady změn klimatu konkrétnějšími a povzbudit k akci.’

Jedním z hlavních cílů iniciativy je umožnit systém, ve kterém uživatel může zadat svou adresu (nebo jakoukoli adresu) a vidět verzi obrázku z Google Street View, která byla ovlivněna změnami klimatu. Avšak algoritmy transformace za ClimateGAN vyžadují jisté znalosti o výšce objektů na fotografii, které nejsou součástí metadat, které Google poskytuje pro Street View, a proto získání takového odhadovacího algoritmu zůstává pokračující výzvou.

Data a architektura

ClimateGAN využívá neřízenou image-to-image translation pipeline se dvěma fázemi: Masker layer, který odhaduje, kde by teoreticky existovala hladina vody v cílovém obrázku; a Painter modul, který realisticky vykresluje vodu v rámci stanovené masky, a bere v úvahu odrazivost zbývající nezahlcené geometrie nad hladinou vody.

Architektura pro ClimateGAN. Vstup prochází sdíleným enkodérem do třístupňového procesu maskování předtím, než je předán modulu Painter. Obě sítě jsou trénovány nezávisle a fungují pouze ve tandemovém režimu během generování nových obrázků.

Velká část trénovacích dat byla vybrána z CityScapes a Mapillary dat. Avšak protože existující data pro povodňové obrázky jsou relativně vzácná, výzkumníci kombinovali existující dostupná data s novým “virtuálním světem” vyvinutým pomocí Unity3D herního engine.

Scény z Unity3D virtuálního prostředí.

Unity3D svět obsahuje kolem 1,5 km terénu a zahrnuje městské, předměstské a venkovské oblasti, které výzkumníci “zaplavili”. To umožnilo generování “před” a “po” obrázků pro další ground truth pro ClimateGAN framework.

Masker jednotka adaptuje kód ADVENT z roku 2018 pro trénink, přidává další data v souladu s výsledky francouzské výzkumné iniciativy DADA z roku 2019. Výzkumníci také přidali segmentační dekodér, aby modulu Masker poskytli další informace o semantice vstupního obrázku (tj. označené informace, které označují doménu, jako “budova”).

Flood Mask Decoder vypočítává reálnou vodní hladinu a je poháněn frameworkem SPADE od NVIDIA.

Kliknutím zvětšíte. Společně se semantickou segmentací (třetí sloupec) umožňuje hloubková mapa vymezit geometrii v obrázku, poskytující směrnici pro okraje ‘povodňové vody’. To lze odvodit pomocí procesů strojového učení, i když takové informace jsou stále více zahrnuty v senzorech spotřebitelských mobilních zařízení. V nejnižším řádku vidíme, že architektura ClimateGAN úspěšně vykreslila ‘zaplavenou’ verzi původního obrázku, i když mezilehlé fáze selhaly při přesném zachycení geometrie komplexní scény.

Ačkoli výzkumníci použili GauGAN od NVIDIA, poháněný frameworkem SPADE, pro modul Painter, bylo nutné podmínit GauGAN na výstupu modulu Masker, a ne na obecné semantické segmentační mapě, jako je tomu při normálním použití, protože obrázky musely být transformovány v souladu s vodními hladinami, a ne podléhat širokým, obecným transformacím.

Hodnocení kvality

Metriky pro hodnocení kvality výsledných obrázků byly facilitovány označením testovací sady 180 obrázků z Google Street View různých typů, včetně městských scén a více venkovních obrázků z různých geografických lokalit. Obrázky byly ručně označeny jako nemohou být zaplaveny, musí být zaplaveny a mohou být zaplaveny.

To umožnilo formulaci tří metrik: chybová míra (přijatá předpověď oblastí podle velikosti v transformovaném obrázku), F05 Skóre a koherence hran. Pro srovnání výzkumníci testovali data na předchozích modelech image-to-image translation (IIT), včetně InstaGAN, CycleGAN a MUNIT.

V uživatelských testech byl ClimateGAN shledán jako dosahující vyššího stupně realismu než pět soutěžících IIT architektur. Modrá barva reprezentuje stupeň, ve kterém uživatelé preferovali ClimateGAN oproti studovanému alternativnímu metodě.

Výzkumníci uznávají, že absence údajů o výšce ve zdrojových obrázcích činí obtížným libovolné stanovení výšky vodní hladiny v obrázcích, pokud by uživatel chtěl zvýšit “Roland Emmerich faktor” trochu. Uznávají také, že účinky povodní jsou příliš omezeny na oblast povodní a mají v úmyslu prozkoumat metody, kterými by mohly být přidány multiple úrovně povodní (tj. po ústupu počáteční povodně) do metodiky.

Kód ClimateGAN byl zpřístupněn na GitHubu, spolu s dalšími příklady vykreslených obrázků.

V jiném příkladu, z GitHub přítomnosti projektu, je smog přidán do městského obrázku způsobem, který bude známý většině VFX praktiků – hloubková mapa se používá jako druh ustupující ‘bílé masky’, takže hustota smogu/mlhy se zvyšuje přes vzdálenost pokrytou v obrázku. Source: https://github.com/cc-ai/climategan