Vektör Haritalardan Uydu Görüntüleri Oluşturma

İngiltere’deki araştırmacılar, vektör tabanlı haritaları anında uydu tarzı görüntülere dönüştürebilen bir AI tabanlı görüntü sentez sistemi geliştirdiler.

Seamless Satellite-image Synthesis (SSS) olarak adlandırılan nöral mimari, daha gerçekçi sanal ortamlar ve navigasyon çözümleri sunma olanağı sunar; bunlar, uydu görüntülerinden daha iyi bir çözünürlüğe sahiptir; daha günceldür (çünkü kartoğrafik harita sistemleri canlı olarak güncellenebilir); ve sınırlı veya mevcut olmayan alanlarda gerçekçi yörüngesel görünümleri sağlayabilir.

Çözünürlüksüz vektör verileri, genellikle gerçek uydu görüntülerinde bulunanlardan daha yüksek görüntü boyutlarına dönüştürülebilir ve ağ tabanlı kartoğrafik haritalardaki güncellemeleri, yeni engelleri veya yol ağı altyapısındaki değişiklikleri hızla yansıtabilir. Kaynak: https://arxiv.org/pdf/2111.03384.pdf

Sistemin gücünü göstermek için araştırmacılar, kullanıcıların çeşitli render ölçeklerinde ve ayrıntıda oluşturulan uydu görüntülerini zoomlayıp gözlemleyebileceği, Google Earth tarzı bir etkileşimli ortam oluşturdular; Burada fayanslar, geleneksel etkileşimli uydu görüntüleri sistemleri gibi canlı olarak güncellenir:

Oluşturulan ortamı, bir kartoğrafik haritaya dayalı olarak zoomlama. Makale sonunda daha iyi bir çözünürlük ve süreç hakkında daha fazla ayrıntı için videoyu izleyin. Kaynak: https://www.youtube.com/watch?v=PqFySVpkZzg

Ayrıca, sistem herhangi bir vektör tabanlı haritadan uydu tarzı görüntüler oluşturabildiğinden, teoride tarihsel, projeksiyonlu veya kurgusal dünyaları oluşturmak için kullanılabilecek ve uçuş simülatörleri ve sanal ortamlara entegre edilebilecek. Araştırmacılar ayrıca, transformerleri kullanarak kartoğrafik verilerden tamamen 3D sanal ortamlar sentezlemeyi öngörüyorlar.

Kısa vadede, yazarlar, framework’in etkileşimli şehir planlaması ve prosedürel modelleme gibi gerçek dünya uygulamaları için kullanılabileceğine inanıyor; burada paydaşlar bir haritayı etkileşimli olarak düzenleyebilir ve projeksiyonlu arazinin kuşbakışı görüntüsünü saniyeler içinde görebilirler.

Yeni makale, Leeds Üniversitesi’nden iki araştırmacıdan geliyor ve Seamless Satellite-image Synthesis olarak adlandırılıyor.

SSS mimarisi Londra’yı yeniden yaratıyor ve alttaki vektör yapısını besleyen bir bakış sunuyor. Üst sol köşedeki küçük resim, tüm görüntüyü 8K çözünürlükte sunuyor.

Mimari ve Kaynak Eğitim Verileri

Yeni sistem, UCL Berkeley’nin 2017 Pix2Pix ve NVIDIA’nın SPADE görüntü sentez mimarisini kullanıyor. Çerçevede, vektörü piksel tabanlı görüntülere dönüştüren map2sat ve 256×256’lik fayansları bir araya getirmek için uygun bir yöntem hesaplayan ve aynı zamanda etkileşimli bir keşif ortamı sunan seam2cont olmak üzere iki yeni convolutional nöral ağ bulunuyor.

SSS mimarisi.

Sistem, vektör görüntülerden ve bunların gerçek yaşam uydu eşdeğerlerinden öğrenerek, vektör yönlerini foto-gerçekçi yorumlara dönüştürme hakkında genel bir anlayış kazanarak uydu görüntüleri sentezlemeyi öğrenir.

Veri setinde kullanılan vektör tabanlı görüntüler, .geo dosyalarından rasterize ediliyor ve en fazla 13 sınıf etiketi içeriyor; bunlar iz, doğal çevre, bina ve yol gibi etiketler, uydu görüntüsüne hangi tür görüntünün yerleştirileceğine karar vermede kullanılıyor.

Rasterize edilmiş .geo uydu görüntüleri ayrıca, yerel Koordinat Referans Sistemi meta verilerini korur; bu, görüntüleri daha geniş harita çerçevesinde yorumlamak ve kullanıcıların oluşturulan haritaları etkileşimli olarak gezinmesine olanak tanır.

Sert Kısıtlamalar Altında Sorunsuz Fayanslar

Keşfedilebilir harita ortamları oluşturmak bir zorluk teşkil ediyor, çünkü donanım kısıtlamaları projede fayans boyutunu yalnızca 256 x 256 piksele sınırlıyor. Bu nedenle, ya render ya da kompozisyon süreci, yalnızca eldeki fayansa odaklanmak yerine daha büyük resmi dikkate almalıdır; aksi takdirde, fayanslar birleştirildiğinde, yolların aniden renk değiştirmesi ve diğer gerçekçi olmayan renderleme hataları gibi uyumsuzluklar ortaya çıkabilir.

Bu nedenle SSS, çeşitli ölçeklerde içerik oluşturmak için bir ölçek uzayı hiyerarşisi jeneratör ağı kullanır ve sistem, kullanıcıların ihtiyaç duyabileceği herhangi bir ara ölçekte fayansları任意 olarak değerlendirebilir.

Mimarinin seam2cont bölümü, map2sat çıkışının iki bağımsız katmanını kullanır ve temsil edilen daha geniş görüntüdeki bağlam içinde uygun bir kenar hesaplar:

Seam2cont modülü, kenarlı ve kenarsız fayanslardan oluşan iki görüntüyü map2sat ağından kullanır ve 256×256 piksel generated fayanslar arasındaki sorunsuz sınırları hesaplar.

Map2sat ağı, tam bir SPADE ağından optimize edilmiş bir uyarlamadır ve yalnızca 256×256 pikselde eğitilmiştir. Yazarlar, bu uygulamanın hafif ve esnek olduğunu ve yalnızca 31.5mb ağırlığa sahip olduğunu, tam bir SPADE ağındaki 436.9mb’a kıyasla, belirtiyorlar.

3000 gerçek uydu görüntüsü, 70 epoch eğitim süresi boyunca iki alt-ağın eğitimi için kullanıldı; tüm görüntüler eşdeğer semantic bilgi (yani, yollardan gibi nesnelerin düşük seviyeli kavramsal anlaşılması) ve coğrafi konum meta verilerini içeriyor.

Proje sayfasında ve aşağıdaki gömülü videoda daha fazla materyal mevcuttur.

https://www.youtube.com/watch?v=PqFySVpkZzg