İklim Değişikliğini Fotoğraflara Yansıtma ile Generatif Karşıt Ağlar

Kanada ve ABD’den bir grup araştırmacı, İklim Değişikliğinin felaket düzeyindeki etkilerini gerçek fotoğraflara yansıtma için bir makine öğrenimi yöntemi geliştirdi. Bu yöntem, İklim Değişikliği ile ilgili hipotetik veya soyut senaryolara karşı insanların ilgisini çekmekte zorlanan “uzaklaşma” sorununu azaltmayı amaçlıyor.

ClimateGAN, hesaplanan derinlik haritasından önce geometriyi tahmin eder ve sonra yansıtma ekler. Kaynak: https://arxiv.org/pdf/2110.02871.pdf

Proje, ClimateGAN olarak adlandırıldı ve kullanıcıların sel, aşırı sıcaklık ve diğer iklim değişikliği sonuçlarını deneyimlediği interaktif ortamları geliştirme çabasının bir parçasıdır.

Araştırmacılar, girişimin arkasındaki motivasyonu tartışırken şunları söylüyor:

‘İklim değişikliği, insanlık için büyük bir tehdittir ve onun felaket düzeyindeki sonuçlarını önlemek için hem politika yapıcılar hem de bireyler tarafından değişikliklere ihtiyaç vardır. Ancak, eyleme geçmek, iklim değişikliğinin etkilerini anlamayı gerektirir, bunlar soyut ve uzak görünse bile.’

‘Örneğin, sel gibi aşırı iklim olaylarının potansiyel sonuçlarını tanıdık yerlerde görselleştirmek, iklim değişikliğinin soyut etkilerini somutlaştırabilir ve eylemi teşvik edebilir.’

Girişimin temel amacı, bir kullanıcıya Google Street View’dan bir adresi girmesini ve iklim değişikliğinden etkilenmiş bir görüntüyü görmesini sağlamak. Ancak, ClimateGAN’ın dönüşüm algoritmaları, fotoğraftaki nesnelerin yüksekliği hakkında bazı tahmini bilgilere ihtiyaç duyar, bu da Google Street View’un sağladığı meta verilerde bulunmaz ve bu tahmini algoritmik olarak elde etmek devam eden bir zorluk olarak kalır.

Veri ve Mimari

ClimateGAN, iki aşamalı bir görüntü-işleme.pipeline kullanır: Masker katmanı, teorik olarak su yüzeyinin nerede olabileceğini tahmin eder ve Painter modülü, su yüzeyini gerçekçi bir şekilde 렌дер eder ve su seviyesinin üzerindeki geometrinin yansıtma özelliklerini dikkate alır.

ClimateGAN mimarisi. Giriş, paylaşılan bir kodlayıcıdan üç aşamalı bir maskeleme işlemine geçer ve sonra Painter modülüne aktarılır. İki ağ, bağımsız olarak eğitilir ve yalnızca yeni görüntüler oluştururken birlikte çalışır.

Eğitim verilerinin çoğu, CityScapes ve Mapillary veri setlerinden seçildi. Ancak, sel görüntüleri için mevcut veri относительно az olduğu için, araştırmacılar mevcut veri setlerini Unity3D oyun motoru ile geliştirilen bir sanal dünya ile birleştirdi.

Unity3D sanal ortamından sahneler.

Unity3D dünyası yaklaşık 1.5 km’lik bir arazi içerir ve kentsel, banliyö ve kırsal alanları içerir. Araştırmacılar, bu alanları “sel” altında bıraktılar, bu da ClimateGAN çerçevesi için “önce” ve “sonra” görüntülerinin oluşturulmasını sağladı.

Masker birimi, 2018 ADVENT kodunu eğitim için uyarladı ve 2019’da Fransız araştırma girişimi DADA‘dan elde edilen bulgulara uygun olarak ek veri ekledi. Araştırmacılar, ayrıca Masker birimine girdi görüntüsünün semantik bilgilerini (örneğin, “bina” gibi bir alanın etiketlendiği bilgileri) sağlamak için bir segmentasyon kodlayıcısı ekledi.

Su Maskesi Kodlayıcısı, mümkün olan bir su seviyesini hesaplar ve NVIDIA’ nın popüler SPADE boyama çerçevesi tarafından desteklenmektedir.

Büyütmek için tıklayın. Derinlik haritası bilgisi, su seviyesinin sınırlarını belirlemede bir rehber sağlar. Bu, makine öğrenimi süreçleri ile çıkarılabilir, ancak bu bilgiler giderek daha fazla tüketici düzeyinde mobil cihaz sensörlerinde dahil edilmektedir. En alt satırda, ClimateGAN mimarisinin, ara aşamaların kompleks bir sahnenin geometrisini doğru bir şekilde yakalayamamasına rağmen, orijinal fotoğrafın “sel altında” bir versiyonunu başarılı bir şekilde oluşturduğunu görüyoruz.

Araştırmacılar, NVIDIA GauGAN‘ı, SPADE tarafından desteklenen Painter modülü için kullandı, ancak GauGAN’ı, normal kullanımda olduğu gibi genel bir semantik segmentasyon haritasına değil, Masker’ın çıkışına koşullandırmak zorunda kaldılar, çünkü görüntüler su seviyesi çizgilerine göre dönüştürülmeliydi.

Kalite Değerlendirmesi

Sonuçlanan görüntülerin kalitesini değerlendirmek için, araştırmacılar 180 Google Street View görüntüsünü, çeşitli türlerde ve coğrafi konumlarda, el ile etiketlediler: sel altında नहin, sel altında olmalı ve sel altında olabilir.

Bu, üç ölçütü formüle etmelerini sağladı: hata oranı (dönüştürülmüş görüntüdeki algılanan tahmin alanları), F05 Skoru ve kenar tutarlılığı. Karşılaştırma için, araştırmacılar verileri, önceki görüntü-işleme modelleri ile test etti, bunlar arasında InstaGAN, CycleGAN ve MUNIT bulunuyordu.

Kullanıcı testlerinde, ClimateGAN beş rakip görüntü-işleme mimarisine göre daha gerçekçi bulundu. Mavi, kullanıcıların ClimateGAN’ı alternatif yönteme tercih etme derecesini temsil etmektedir.

Araştırmacılar, kaynak görüntülerindeki yükseklik verilerinin eksikliğinin, su seviyesini keyfi olarak belirlemeyi zorlaştırdığını kabul ediyorlar. Ayrıca, sel etkilerinin yalnızca sel bölgesine sınırlı olduğunu ve birden fazla sel seviyesini (örneğin, ilk bir selin geri çekilmesinden sonra) metodolojiye eklemek için yöntemler araştırmayı planlıyorlar.

ClimateGAN’ın kodu, GitHub’da mevcuttur ve ayrıca oluşturulan görüntülere ilişkin ek örnekler içerir.

Projenin GitHub varlığından başka bir örnekte, bir şehir fotoğrafına duman eklenmektedir. Derinlik haritası, bir tür geri çekilen ‘beyaz-out maskesi’ olarak kullanılır, böylece duman / sis yoğunluğu fotoğrafın kapsadığı mesafeye göre artar. Kaynak: https://github.com/cc-ai/climategan