Proyeksi Perubahan Iklim ke Dalam Foto dengan Jaringan Adversarial Generatif

Sebuah tim peneliti dari Kanada dan AS telah mengembangkan metode pembelajaran mesin untuk menumpangkan efek bencana perubahan iklim ke dalam foto nyata menggunakan Jaringan Adversarial Generatif (GAN), dengan tujuan untuk mengurangi ‘jarak’ – ketidakmampuan kita untuk berhubungan dengan skenario hipotetis atau abstrak mengenai perubahan iklim.

ClimateGAN memperkirakan geometri dari peta kedalaman yang dihitung sebelum menambahkan reflektivitas pada permukaan air yang ditumpangkan. Sumber: https://arxiv.org/pdf/2110.02871.pdf

Proyek ini, yang berjudul ClimateGAN, merupakan bagian dari upaya penelitian yang lebih luas untuk mengembangkan lingkungan interaktif di mana pengguna dapat menjelajahi dunia yang diproyeksikan yang telah terkena dampak banjir, panas ekstrem, dan konsekuensi serius lainnya dari perubahan iklim.

Membahas motivasi di balik inisiatif ini, para peneliti menyatakan:

‘Perubahan iklim adalah ancaman besar bagi kemanusiaan, dan tindakan yang diperlukan untuk mencegah konsekuensi bencana tersebut termasuk perubahan dalam kebijakan dan perilaku individu. Namun, mengambil tindakan memerlukan pemahaman tentang efek perubahan iklim, bahkan jika mereka tampak abstrak dan jauh.

‘Memproyeksikan konsekuensi potensial dari peristiwa iklim ekstrem seperti banjir di tempat yang familiar dapat membantu membuat dampak abstrak perubahan iklim lebih konkrit dan mendorong tindakan.’

Tujuan utama dari inisiatif ini adalah untuk memungkinkan sistem di mana pengguna dapat memasukkan alamat (atau alamat apa pun) dan melihat versi yang terkena dampak perubahan iklim dari gambar yang sesuai dari Google Street View. Namun, algoritma transformasi di balik ClimateGAN memerlukan beberapa pengetahuan tentang ketinggian untuk item dalam foto, yang tidak termasuk dalam metadata yang disediakan Google untuk Street View, dan sehingga memperoleh estimasi algoritma tersebut tetap menjadi tantangan yang sedang berlangsung.

Data dan Arsitektur

ClimateGAN menggunakan pipa terjemahan gambar-ke-gambar yang tidak diawasi dengan dua fase: lapisan Masker, yang memperkirakan di mana permukaan air yang teoritis akan ada di gambar target; dan modul Painter untuk merender air secara realistis dalam batas-batas masker yang telah ditetapkan, dan mempertimbangkan reflektivitas geometri yang tidak terhalang di atas garis air.

Arsitektur untuk ClimateGAN. Input melalui pengkode yang sama ke dalam proses pemaskaran tiga tahap sebelum dilewatkan ke modul Painter. Kedua jaringan dilatih secara independen, dan hanya beroperasi bersama-sama selama generasi gambar baru.

Sebagian besar data pelatihan dipilih dari dataset CityScapes dan Mapillary. Namun, karena data yang ada untuk gambar banjir relatif langka, para peneliti menggabungkan dataset yang ada dengan ‘dunia virtual’ yang dikembangkan dengan mesin permainan Unity3D.

Adegan dari lingkungan virtual Unity3D.

Dunia Unity3D ini berisi sekitar 1,5 km tanah, dan termasuk area perkotaan, suburban, dan pedesaan, yang para peneliti ‘banjiri’. Ini memungkinkan generasi ‘sebelum’ dan ‘sesudah’ gambar untuk ground truth tambahan untuk kerangka kerja ClimateGAN.

Unit Masker menyesuaikan kode ADVENT 2018 untuk pelatihan, menambahkan data tambahan sesuai dengan temuan 2019 dari inisiatif penelitian Prancis DADA. Para peneliti juga menambahkan decoder segmentasi untuk memberikan unit Masker informasi tambahan tentang semantik gambar input (yaitu, informasi yang diberi label yang menunjukkan domain, seperti ‘bangunan’).

Decoder Masker Banjir menghitung garis air yang layak, dan ditenagai oleh kerangka kerja in-painting SPADE yang sangat populer dari NVIDIA.

Klik untuk memperbesar. Bersama dengan segmentasi semantik (kolom ketiga), informasi peta kedalaman memungkinkan pembatasan geometri dalam gambar, memberikan pedoman untuk batas-batas ‘air banjir’. Ini dapat diperkirakan melalui proses pembelajaran mesin, meskipun informasi tersebut semakin banyak disertakan dalam sensor perangkat mobile tingkat konsumen. Pada baris terbawah, kita lihat bahwa arsitektur ClimateGAN telah berhasil merender ‘versi banjir’ dari gambar asli meskipun tahap-tahap intermediate gagal menangkap geometri adegan yang kompleks.

Meskipun para peneliti menggunakan GauGAN NVIDIA, yang ditenagai oleh SPADE, untuk modul Painter, diperlukan untuk mengkondisikan GauGAN pada output dari unit Masker, dan tidak pada peta segmentasi semantik yang umum, seperti yang terjadi pada penggunaan normal, karena gambar-gambar tersebut harus ditransformasikan sesuai dengan garis air yang ditetapkan, bukan tunduk pada transformasi umum.

Mengevaluasi Kualitas

Metrik untuk mengevaluasi kualitas gambar yang dihasilkan difasilitasi dengan memberi label pada set tes 180 gambar Google Street View dengan jenis yang bervariasi, termasuk adegan perkotaan dan gambar pedesaan dari berbagai lokasi geografis. Gambar-gambar tersebut diberi label secara manual sebagai tidak dapat dibanjiri, harus dibanjiri, dan dapat dibanjiri.

Hal ini memungkinkan formulasi tiga metrik: tingkat kesalahan (area prediksi yang dipersepsikan oleh ukuran dalam gambar yang ditransformasikan), F05 Skor, dan koherensi tepi. Untuk perbandingan, para peneliti menguji data pada model terjemahan gambar-ke-gambar sebelumnya, termasuk InstaGAN, CycleGAN, dan MUNIT.

Dalam pengujian pengguna, ClimateGAN ditemukan memiliki tingkat realisme yang lebih tinggi daripada lima arsitektur IIT yang dipelajari. Biru mewakili seberapa besar pengguna lebih memilih ClimateGAN daripada metode alternatif yang dipelajari.

Para peneliti mengakui bahwa kurangnya data ketinggian dalam gambar sumber membuatnya sulit untuk menetapkan ketinggian garis air secara sewenang-wenang dalam gambar, jika pengguna ingin meningkatkan ‘faktor Roland Emmerich’ sedikit. Mereka juga mengakui bahwa efek banjir terlalu terbatas pada area banjir, dan berencana untuk menyelidiki metode untuk menambahkan beberapa tingkat banjir (yaitu setelah resesi banjir awal) ke metodologi.

Kode ClimateGAN telah dibuat tersedia di GitHub, bersama dengan contoh gambar yang dihasilkan.

Dalam contoh lain, dari kehadiran GitHub untuk proyek ini, kabut asap ditambahkan ke gambar kota dengan cara yang akan familiar bagi sebagian besar praktisi VFX – peta kedalaman digunakan sebagai semacam ‘masker putih-menghilang’ yang menerima, sehingga kepadatan kabut/asap meningkat sepanjang jarak yang diliput dalam foto. Sumber: https://github.com/cc-ai/climategan