Projekcja zmian klimatycznych na zdjęciach za pomocą sieci generatywno-adywersowych

Zespół badaczy z Kanady i USA opracował metodę sztucznej inteligencji do nałożenia katastrofalnych skutków zmian klimatycznych na zdjęcia za pomocą sieci generatywno-adywersowych (GAN), w celu zmniejszenia “odległości” – naszej niezdolności do powiązania się z hipotetycznymi lub abstrakcyjnymi scenariuszami dotyczącymi zmian klimatycznych.

ClimateGAN estymuje geometrię z obliczonej mapy głębi przed dodaniem odbicia w nałożonej powierzchni wody. Źródło: https://arxiv.org/pdf/2110.02871.pdf

Projekt, zatytułowany ClimateGAN, jest częścią szerszych badań nad interaktywnymi środowiskami, w których użytkownicy mogą eksplorować przewidywane światy, które zostały dotknięte przez powodzie, ekstremalne upały i inne poważne konsekwencje zmian klimatycznych.

Omawiając motywację za tym przedsięwzięciem, badacze stwierdzają:

‘Zmiany klimatyczne są poważnym zagrożeniem dla ludzkości, a działania wymagane do zapobieżenia ich katastrofalnym konsekwencjom obejmują zmiany w polityce i indywidualnym zachowaniu. Jednak podjęcie działań wymaga zrozumienia skutków zmian klimatycznych, nawet jeśli wydają się one abstrakcyjne i odległe.

‘Przedstawienie potencjalnych konsekwencji ekstremalnych zdarzeń klimatycznych, takich jak powodzie, w znanych miejscach, może pomóc uczynić abstrakcyjne skutki zmian klimatycznych bardziej konkretnymi i zachęcić do działania.’

Głównym celem inicjatywy jest umożliwienie systemu, w którym użytkownik może wprowadzić swój adres (lub dowolny adres) i zobaczyć wersję dotkniętą zmianami klimatycznymi, odpowiadającą zdjęciu z Google Street View. Jednak algorytmy transformacji za ClimateGAN wymagają pewnej wiedzy o wysokości przedmiotów na zdjęciu, której nie ma w metadanych dostarczanych przez Google dla Street View, a więc uzyskanie takiego algorytmu estymacji pozostaje nadal wyzwaniem.

Dane i Architektura

ClimateGAN wykorzystuje nienadzorowaną translację obrazu do obrazu z dwiema fazami: warstwą Masker, która estymuje, gdzie teoretycznie znajdowałaby się powierzchnia wody w obrazie docelowym; oraz modułem Painter do realistycznego renderowania wody w granicach ustanowionej maski, biorąc pod uwagę odbicie pozostałej niewyłączonej geometrii ponad linią wody.

Architektura ClimateGAN. Dane wejściowe przechodzą przez wspólny encoder do trzystopniowego procesu maskowania, a następnie są przekazywane do modułu Painter. Dwa sieci są szkolone niezależnie i działają tylko w tandemie podczas generowania nowych obrazów.

Większość danych treningowych została wybrana z zestawów danych CityScapes i Mapillary. Jednak ponieważ istniejące dane dotyczące obrazów powodziowych są relatywnie rzadkie, badacze połączyli istniejące dostępne zestawy danych z nowym “wirtualnym światem” opracowanym za pomocą silnika gry Unity3D.

Sceny z wirtualnego środowiska Unity3D.

Świat Unity3D zawiera około 1,5 km terenu i obejmuje obszary miejskie, podmiejskie i wiejskie, które badacze “zalali”. To umożliwiło wygenerowanie “przed” i “po” obrazów dla dodatkowej weryfikacji ramy ClimateGAN.

Jednostka Masker dostosowuje kod ADVENT z 2018 roku do szkolenia, dodając dodatkowe dane zgodnie z odkryciami francuskiej inicjatywy badawczej DADA z 2019 roku. Badacze dodali również dekoder segmentacji do dostarczenia jednostce Masker dodatkowych informacji dotyczących semantyki obrazu wejściowego (tj. oznaczonej informacji, która wskazuje na domenę, taką jak “budynek”).

Dekoder Maski Powodziowej oblicza możliwą linię wody i jest napędzany popularnym frameworkiem NVIDIA SPADE.

Kliknij, aby powiększyć. Wraz z segmentacją semantyczną (trzecia kolumna) informacje o mapie głębi umożliwiają wyznaczenie geometrii na zdjęciu, dostarczając wytycznych dla granic “wody powodziowej”. To może być wnioskowane za pomocą procesów sztucznej inteligencji, chociaż takie informacje są coraz częściej uwzględniane w czujnikach urządzeń mobilnych. W najniższym rzędzie widzimy, że architektura ClimateGAN pomyślnie wyrenderowała “zalane” wersję oryginalnego zdjęcia, chociaż pośrednie etapy nie udało się dokładnie uchwycić geometrii złożonej sceny.

Chociaż badacze wykorzystali NVIDIA GauGAN, napędzany przez SPADE, dla modułu Painter, było konieczne warunkowanie GauGAN na wyjściu z jednostki Masker, a nie na ogólnej mapie segmentacji semantycznej, jak to ma miejsce w normalnym użyciu, ponieważ obrazy musiały być przekształcone zgodnie z linią wody, a nie podlegać ogólnym przekształceniom.

Ocena jakości

Wskaźniki do oceny jakości wynikowych obrazów zostały ułatwione przez oznaczenie zestawu testowego 180 obrazów Google Street View różnego typu, w tym scen miejskich i bardziej wiejskich z różnych lokalizacji geograficznych. Obrazy zostały ręcznie oznaczone jako nie mogą być zalane, mogą być zalane i mogą być zalane.

To pozwoliło na sformułowanie trzech wskaźników: współczynnik błędu (postrzegana wielkość przewidywanych obszarów w przekształconym obrazie), F05 Score i spójność krawędzi. Do porównania badacze przetestowali dane na poprzednich modelach translacji obrazu do obrazu, w tym InstaGAN, CycleGAN i MUNIT.

W testach użytkowników ClimateGAN osiągnął wyższy stopień realizmu niż pięć konkurujących architektur IIT. Niebieski kolor reprezentuje stopień, w jakim użytkownicy preferowali ClimateGAN w stosunku do badanej alternatywnej metody.

Badacze przyznają, że brak danych o wysokości w obrazach źródłowych utrudnia arbitralne narzucanie wysokości linii wody w obrazach, jeśli użytkownik chce “wzmocnić” efekt katastrofy. Przyznają również, że efekty powodziowe są zbyt ograniczone do obszaru powodzi, i zamierzają zbadać metody, którymi można dodać wiele poziomów powodzi (tj. po cofnięciu się pierwszej powodzi) do metody.

Kod ClimateGAN został opublikowany na GitHub, wraz z dodatkowymi przykładami wyrenderowanych obrazów.

W innym przykładzie, z obecnością GitHub w projekcie, smog jest dodawany do zdjęcia miasta w sposób, który będzie znany większości specjalistom od efektów wizualnych – mapa głębi jest używana jako rodzaj cofającej się “białej maski”, tak że gęstość smogu/mgły zwiększa się wraz z odległością pokrytą na zdjęciu. Źródło: https://github.com/cc-ai/climategan