Vektör Haritalarından Uydu Görüntüsü Oluşturma

Birleşik Krallık'taki araştırmacılar, vektör tabanlı haritaları anında uydu tarzı görüntülere dönüştürebilen yapay zeka tabanlı bir görüntü sentez sistemi geliştirdi.

sinir mimarisi denir Kesintisiz Uydu Görüntüsü Sentezi (SSS) ve uydu görüntülerinin sunabileceğinden daha iyi çözünürlüğe sahip gerçekçi sanal ortamlar ve navigasyon çözümleri sunar; daha günceldir (kartografik harita sistemleri canlı olarak güncellenebildiğinden); ve uydu sensörü çözünürlüğünün sınırlı olduğu veya başka bir şekilde kullanılamadığı alanlarda gerçekçi yörünge tarzı görünümleri kolaylaştırabilir.

Çözünürlükten bağımsız vektör verileri, genellikle gerçek uydu görüntülerinden elde edilenden çok daha yüksek görüntü boyutlarına çevrilebilir ve yeni engeller veya yol ağı altyapısındaki değişiklikler gibi ağ tabanlı kartografik haritalardaki güncellemeleri hızlı bir şekilde yansıtabilir. Kaynak: https://arxiv.org/pdf/2111.03384.pdf

Araştırmacılar, sistemin gücünü göstermek için etkileşimli, Google Earth tarzı bir ortam yarattılar; burada izleyici yakınlaşabilir ve oluşturulan uydu görüntülerini çeşitli işleme ölçeklerinde ve ayrıntılarında gözlemleyebilir ve döşemeler hemen hemen aynı şekilde canlı olarak güncellenir. uydu görüntüleri için geleneksel etkileşimli sistemler gibi:

Kartografik bir haritaya dayalı olarak oluşturulan ortama yakınlaştırma. Daha iyi çözünürlük ve süreç hakkında daha fazla ayrıntı için makalenin sonundaki videoyu izleyin. Kaynak: https://www.youtube.com/watch?v=PqFySVpkZzg

Ayrıca, sistem herhangi bir vektör tabanlı haritadan uydu tarzı görüntüler üretebildiğinden, teorik olarak uçuş simülatörlerine ve sanal ortamlara dahil edilmek üzere tarihi, öngörülen veya hayali dünyalar oluşturmak için kullanılabilir. Ek olarak, araştırmacılar, transformatörler kullanarak kartografik verilerden tamamen 3 boyutlu sanal ortamların sentezlenmesini bekliyorlar.

Yazarlar, yakın gelecekte, paydaşların bir haritayı etkileşimli olarak düzenleyebilecekleri ve kuş bakışı görüntülerini görebilecekleri bir senaryo tasavvur ederek, etkileşimli şehir planlaması ve prosedürel modelleme dahil olmak üzere bir dizi gerçek dünya uygulaması için kullanılabileceğine inanıyorlar. saniyeler içinde yansıtılan arazi.

Yeni kâğıt Leeds Üniversitesi'ndeki iki araştırmacıdan geliyor ve Kesintisiz Uydu Görüntüsü Sentezi.

SSS mimarisi, rekonstrüksiyonu besleyen temeldeki vektör yapısına bir bakışla Londra'yı yeniden yaratıyor. Sol üste ek, görüntünün tamamı, 8k çözünürlükte ek materyallerde mevcuttur.

Mimari ve Kaynak Eğitim Verileri

Yeni sistem, UCL Berkeley'in 2017'deki Pix2Pix ve NVIDIA'nın KILIÇLAR görüntü sentezi mimarisi. Çerçeve, iki yeni evrişimli sinir ağı içerir - harita2sat, vektörden piksel tabanlı görüntülere dönüştürmeyi gerçekleştiren; Ve dikiş2cont256×256 karoları bir araya getirmek için kusursuz bir yöntem hesaplamakla kalmayıp, aynı zamanda etkileşimli bir keşif ortamı da sağlar.

SSS'nin mimarisi.

Sistem, vektör görünümleri ve bunların gerçek hayattaki uydu eşdeğerleri üzerinde eğitim alarak uydu görüntülerini sentezlemeyi öğrenir ve vektör yönlerinin foto-gerçek yorumlara nasıl yorumlanacağı hakkında genel bir anlayış oluşturur.

Veri setinde kullanılan vektör tabanlı görüntüler, aşağıdakiler gibi 13 adede kadar sınıf etiketi içeren GeoPackage (.geo) dosyalarından rasterleştirilir. iz, doğal ortamda, bina ve yol, uydu görüntüsüne eklenecek görüntü türüne karar vermede yararlanılır.

Rasterleştirilmiş .geo uydu görüntüleri ayrıca, onları daha geniş harita çerçevesindeki bağlama göre yorumlamak ve kullanıcının oluşturulan haritalarda etkileşimli olarak gezinmesine izin vermek için kullanılan yerel Koordinat Referans Sistemi meta verilerini de tutar.

Zor Kısıtlamalar Altında Dikişsiz Fayanslar

Keşfedilebilir harita ortamları oluşturmak zorlu bir iştir, çünkü projedeki donanım kısıtlamaları döşemelerin boyutunu yalnızca 256 x 256 pikselle sınırlar. Bu nedenle, yalnızca eldeki döşemeye odaklanmak yerine, hem görselleştirme hem de kompozisyon sürecinin "geniş resmi" dikkate alması önemlidir. Aksi takdirde, döşemeler bir araya getirildiğinde yolların aniden renk değiştirmesi gibi uyumsuz yan yana gelmelere ve diğer gerçekçi olmayan görselleştirme hatalarına yol açabilir.

Bu nedenle SSS, çeşitli ölçeklerde içerik varyasyonu oluşturmak için üretici ağların ölçek-uzay hiyerarşisini kullanır ve sistem, izleyicinin ihtiyaç duyabileceği herhangi bir ara ölçekte döşemeleri keyfi olarak değerlendirebilir.

Mimarinin seam2cont bölümü, map2sat çıktısının birbiriyle örtüşen ve bağımsız iki katmanını kullanır ve temsil edilecek daha geniş görüntü bağlamında uygun bir sınır hesaplar:

seam2cont modülü, oluşturulan 2×256 piksel karolar arasındaki kesintisiz sınırları hesaplamak için map256sat ağından bir dikişli ve dikişsiz bir görüntü kullanır.

map2sat ağı, özel olarak 256×256 pikselde eğitilmiş, tam teşekküllü bir SPADE ağının optimize edilmiş bir uyarlamasıdır. Yazarlar, bunun tam bir SPADE ağında yalnızca 31.5 mb'ye karşı 436.9 mb ağırlıklara yol açan hafif ve hızlı bir uygulama olduğunu belirtiyor.

İki alt ağın 3000 eğitim dönemi boyunca eğitilmesi için 70 gerçek uydu görüntüsü kullanıldı; tüm görüntüler eşdeğer anlamsal bilgi (yani, 'yollar' gibi tasvir edilen nesnelerin düşük seviyeli kavramsal anlayışı) ve coğrafi konum meta verilerini içeriyor.

Proje sayfasında daha fazla materyal ve beraberindeki bir video (aşağıda yer almaktadır) mevcuttur.