Proiettare i cambiamenti climatici nelle foto con reti avversarie generative

Un team di ricercatori del Canada e degli Stati Uniti ha sviluppato un metodo di apprendimento automatico per sovrapporre gli effetti catastrofici dei cambiamenti climatici a foto reali utilizzando reti avversarie generative (GAN), con l’obiettivo di ridurre la “distanza” – la nostra incapacità di relazionarci a scenari ipotetici o astratti relativi ai cambiamenti climatici.

ClimateGAN stima la geometria da una mappa di profondità calcolata prima di aggiungere la riflessività in una superficie d’acqua sovrapposta. Fonte: https://arxiv.org/pdf/2110.02871.pdf

Il progetto, intitolato ClimateGAN, fa parte di uno sforzo di ricerca più ampio per sviluppare ambienti interattivi in cui gli utenti possono esplorare mondi proiettati che sono stati influenzati da inondazioni, caldo estremo e altre gravi conseguenze dei cambiamenti climatici.

Discutendo la motivazione dietro l’iniziativa, i ricercatori affermano:

‘I cambiamenti climatici sono una minaccia importante per l’umanità, e le azioni richieste per prevenire le loro conseguenze catastrofiche includono cambiamenti sia nella politica che nel comportamento individuale. Tuttavia, agire richiede la comprensione degli effetti dei cambiamenti climatici, anche se possono sembrare astratti e lontani.

‘Proiettare le conseguenze potenziali di eventi climatici estremi come le inondazioni in luoghi familiari può aiutare a rendere più concreti gli impatti astratti dei cambiamenti climatici e incoraggiare l’azione.’

Un obiettivo fondamentale dell’iniziativa è consentire un sistema in cui un utente possa inserire il proprio indirizzo (o qualsiasi indirizzo) e vedere una versione influenzata dai cambiamenti climatici dell’immagine corrispondente da Google Street View. Tuttavia, gli algoritmi di trasformazione dietro ClimateGAN richiedono una certa conoscenza della stima dell’altezza degli oggetti nella foto, che non è inclusa nei metadati che Google fornisce per Street View, e quindi ottenere un algoritmo di stima rimane una sfida in corso.

Dati e architettura

ClimateGAN utilizza una pipeline di traduzione immagine-per-immagine non supervisionata con due fasi: un livello Masker, che stima dove una superficie d’acqua livellata esisterebbe teoricamente nell’immagine di destinazione; e un modulo Painter per rendere realisticamente l’acqua all’interno dei confini del mascheramento stabilito, e tiene conto della riflessività della geometria non oscurata rimanente al di sopra della linea d’acqua.

L’architettura per ClimateGAN. L’input procede attraverso un encoder condiviso in un processo di mascheramento a tre fasi prima di essere passato al modulo Painter. Le due reti sono addestrate in modo indipendente e operano solo in tandem durante la generazione di nuove immagini.

La maggior parte dei dati di allenamento è stata scelta dai set di dati CityScapes e Mapillary. Tuttavia, poiché i dati esistenti per le immagini di inondazioni sono relativamente scarsi, i ricercatori hanno combinato i set di dati esistenti con un nuovo “mondo virtuale” sviluppato con il motore di gioco Unity3D.

Scene dall’ambiente virtuale Unity3D.

L’ambiente Unity3D contiene circa 1,5 km di terreno e include aree urbane, suburbane e rurali, che i ricercatori hanno “inondato”. Ciò ha consentito la generazione di immagini “prima” e “dopo” per ulteriore verità di base per il framework ClimateGAN.

L’unità Masker adatta il codice ADVENT del 2018 per l’allenamento, aggiungendo dati aggiuntivi in linea con le scoperte del 2019 dell’iniziativa di ricerca francese DADA. I ricercatori hanno anche aggiunto un decodificatore di segmentazione per alimentare l’unità Masker con ulteriori informazioni sulla semantica dell’immagine di input (ad esempio, informazioni etichettate che denotano un dominio, come “edificio”).

Il decodificatore della maschera di inondazione calcola una linea d’acqua fattibile e si basa sul framework di ritocco neurale SPADE di NVIDIA.

Clicca per ingrandire. Insieme con la segmentazione semantica (terza colonna), le informazioni sulla mappa di profondità consentono di delineare la geometria in una foto, fornendo una linea guida per i margini dell’acqua ‘inondazione’. Ciò può essere inferito attraverso processi di apprendimento automatico, sebbene tali informazioni siano sempre più incluse nei sensori dei dispositivi mobili di consumo. Nella riga inferiore, vediamo che l’architettura ClimateGAN ha reso con successo una versione ‘inondazione’ dell’immagine originale anche se le fasi intermedie non sono riuscite a catturare con precisione la geometria di una scena complessa.

Sebbene i ricercatori abbiano utilizzato NVIDIA GauGAN, alimentato da SPADE, per il modulo Painter, è stato necessario condizionare GauGAN sull’output dell’unità Masker e non su una mappa di segmentazione semantica generalizzata, come avviene nell’uso normale, poiché le immagini dovevano essere trasformate in linea con le delimitazioni della linea d’acqua e non soggette a trasformazioni ampie e generali.

Valutazione della qualità

Le metriche per valutare la qualità delle immagini risultanti sono state facilitate etichettando un set di test di 180 immagini di Google Street View di tipo variato, tra cui scene urbane e immagini più rurali da una varietà di località geografiche. Le immagini sono state etichettate manualmente come non possono essere inondate, devono essere inondate e possono essere inondate.

Ciò ha consentito la formulazione di tre metriche: tasso di errore (aree di previsione percepite per dimensione nell’immagine trasformata), F05 Score e coerenza dei bordi. Per confronto, i ricercatori hanno testato i dati su modelli di traduzione immagine-per-immagine precedenti, tra cui InstaGAN, CycleGAN e MUNIT.

Nei test degli utenti, ClimateGAN è stato trovato per raggiungere un grado più alto di realismo rispetto a cinque architetture IIT concorrenti. Il blu rappresenta il grado in cui gli utenti hanno preferito ClimateGAN al metodo alternativo studiato.

I ricercatori ammettono che la mancanza di dati di altezza nelle immagini di origine rende difficile imporre arbitrariamente le altezze della linea d’acqua nelle immagini, se l’utente desidera aumentare il “fattore Roland Emmerich” un po’. Ammettono anche che gli effetti di inondazione sono eccessivamente limitati all’area di inondazione e intendono indagare metodi per aggiungere più livelli di inondazione (ad esempio, dopo la recessione di un’inondazione iniziale) alla metodologia.

Il codice di ClimateGAN è stato reso disponibile su GitHub, insieme ad altri esempi di immagini rese.

In un altro esempio, dalla presenza di GitHub per il progetto, il fumo è aggiunto a un’immagine di città in un modo che sarà familiare alla maggior parte dei pratici di VFX – la mappa di profondità viene utilizzata come una sorta di maschera di ‘white-out’ recedente, in modo che la densità del fumo/nebbia aumenti attraverso la distanza coperta nella foto. Fonte: https://github.com/cc-ai/climategan