Uydu Görüntülerini Vektör Haritalardan Oluşturma

İngiltere’deki araştırmacılar, vektör tabanlı haritaları uçtan uca uydu tarzı görüntülere dönüştürebilen bir AI tabanlı görüntü sentez sistemi geliştirdiler.

Sinirsel mimariye Sürekli Uydu-görüntü Sentezi (SSS) denir ve gerçekçi sanal ortamlar ve navigasyon çözümlerinin daha iyi bir çözünürlüğe sahip olabileceği, daha güncel olabileceği (çünkü kartoğrafik harita sistemleri canlı olarak güncellenebilir) ve sınırlı veya mevcut olmayan uydu sensör çözünürlüğü olan alanlarda gerçekçi yörüngesel görünümleri sağlayabileceği umudunu taşır.

Çözüm-free vektör verileri, genellikle gerçek uydu görüntülerinden daha yüksek görüntü boyutlarına dönüştürülebililir ve ağ tabanlı kartoğrafik haritalardaki güncellemeleri, yeni engelleri veya yol ağı altyapısındaki değişiklikleri hızlı bir şekilde yansıtabilir. Kaynak: https://arxiv.org/pdf/2111.03384.pdf

Sistemin gücünü göstermek için araştırmacılar, görüntüleyicinin çeşitli render ölçeklerinde ve ayrıntıda oluşturulan uydu görüntülerini zoomlayabileceği ve观leyebileceği bir etkileşimli, Google Earth tarzı ortam oluşturdular ve bu ortamda tile’lar canlı olarak güncellenir.

Oluşturulan ortamda, bir kartoğrafik harita temelinde zoomlama. Makale sonunda daha iyi bir çözünürlük ve daha fazla ayrıntı için videoyu izleyin. Kaynak: https://www.youtube.com/watch?v=PqFySVpkZzg

Dahası, sistem herhangi bir vektör tabanlı haritadan uydu tarzı görüntüler oluşturabildiğinden, teoride tarihsel, projeksiyon veya kurgusal dünyaları oluşturmak için kullanılabilecek ve uçuş simülatörleri ve sanal ortamlara entegre edilebilecektir. Ayrıca, araştırmacılar kartoğrafik verilerden tam 3D sanal ortamları sentezlemek için transformer’ları kullanmayı öngörüyorlar.

Yakın zamanda, yazarlar, çerçevelerinin gerçek dünya uygulamaları için kullanılabileceğini düşünüyorlar, bunlar arasında etkileşimli şehir planlaması ve prosedürel modelleme yer alıyor ve paydaşların bir haritayı etkileşimli olarak düzenleyebileceği ve birkaç saniye içinde projeksiyonlu araziye ait kuşbakışı görüntüsünü görebileceği bir senaryo hayal ediyorlar.

Yeni makale, Leeds Üniversitesi’nden iki araştırmacıdan geliyor ve Sürekli Uydu-görüntü Sentezi olarak adlandırılıyor.

SSS mimarisi Londra’yı yeniden oluşturur ve yeniden yapılandırmaya yol açan alttaki vektör yapısını gösterir. Üst sol köşede, tüm resim, ek materyallerde 8K çözünürlükte mevcuttur.

Mimari ve Kaynak Eğitim Verileri

Yeni sistem, UCL Berkeley’nin 2017 Pix2Pix ve NVIDIA’nın SPADE görüntü sentez mimarisini kullanıyor. Çerçevede iki yeni konvolüsyonel sinir ağı var – harita2uydu, vektörden piksel tabanlı görüntülere dönüştürmeyi gerçekleştirir; ve seam2cont, yalnızca 256×256’lik tile’ları bir araya getirmek için uygun bir sınır hesaplar, aynı zamanda etkileşimli bir keşif ortamı sağlar.

SSS mimarisi.

Sistem, vektör görünümleri ve gerçek yaşam uydu eşdeğerlerini eğitim verisi olarak kullanarak, vektör yönlerini foto-gerçekçi yorumlara dönüştürmeyi öğrenir.

Kullanılan vektör tabanlı görüntüler, GeoPackage (.geo) dosyalarından rasterize edilir ve bunlar en fazla 13 sınıf etiketi içerir, bunlar iz, doğal çevre, bina ve yol gibi, ve bunlar uydu görüntüsüne hangi tür görüntüyü koyacağına karar verilir.

Rasterize edilen.geo uydu görüntüleri ayrıca yerel Koordinat Referans Sistemi meta verilerini korur, bunlar daha geniş harita çerçevesinde yorumlanmak ve kullanıcıya etkileşimli olarak haritaları gezme izni vermek için kullanılır.

Sürtünmesiz Tile’lar Sert Kısıtlamalar Altında

Keşfedilebilir harita ortamları oluşturmak bir zorluk, çünkü donanım kısıtlamaları tile’ların yalnızca 256 x 256 piksel boyutunda olmasını gerektirir. Bu nedenle, ya render ya da kompozisyon süreci daha büyük resmi dikkate almalıdır, yalnızca tile’a odaklanmak yerine, bu da tile’lar birleştirildiğinde çarpıcı birleştirilmelere yol açar, yollar aniden renk değiştirir ve diğer gerçekçi olmayan renderleme hataları ortaya çıkar.

Bu nedenle SSS, çeşitli ölçeklerde içerik varyasyonlarını oluşturmak için bir ölçek-hiyerarşi jeneratör ağı kullanır ve sistem, görüntüleyicinin ihtiyaç duyabileceği herhangi bir ara ölçekte tile’ları任意 olarak değerlendirebilir.

Seam2cont bölümü, mimarinin map2sat çıkışı olan iki üst üste bindirilmiş ve bağımsız katman kullanır ve daha geniş bir resmin bağlamında uygun bir sınır hesaplar:

Seam2Cont modülü, map2sat ağından bir tile’la birleşmiş ve birleşmemiş iki görüntü kullanır, 256×256 piksel oluşturulan tile’lar arasında sürtünmesiz sınırları hesaplamak için.

Map2sat ağı, yalnızca 256×256 pikselde eğitilmiş, tam bir SPADE ağından optimize edilmiş bir uyarlamadır. Yazarlar, bu uygulamanın hafif ve esnek olduğunu, bu nedenle ağırlıkların yalnızca 31.5mb olduğunu, tam bir SPADE ağındaki 436.9mb’a kıyasla belirtiyorlar.

3000 gerçek uydu görüntüsü, 70 eğitim epoch’unda iki alt-ağın eğitimi için kullanıldı; tüm görüntüler equivalent semantic bilgi içerir (yani, yollar gibi nesnelerin düşük seviyeli kavramsal bir anlayışını sağlar) ve coğrafi konum meta verilerini içerir.

Diğer materyaller proje sayfasında mevcuttur ve makale sonunda eklenmiş bir video da bulunmaktadır.