Membuat Citra Satelit dari Peta Vektor

Peneliti di Inggris telah mengembangkan sistem sintesis gambar berbasis AI yang dapat mengubah peta vektor menjadi citra satelit gaya pada saat yang sama.

Arsitektur neural disebut Sintesis Citra Satelit yang Mulus (SSS), dan menawarkan prospek lingkungan virtual yang realistis dan solusi navigasi yang memiliki resolusi lebih baik daripada citra satelit dapat menawarkan; lebih up-to-date (karena sistem peta kartografis dapat diperbarui secara langsung); dan dapat memfasilitasi tampilan gaya orbital yang realistis di area di mana resolusi sensor satelit terbatas atau tidak tersedia.

Data vektor bebas resolusi dapat diterjemahkan ke ukuran gambar yang lebih besar daripada yang sering tersedia dari citra satelit nyata, dan dapat dengan cepat mencerminkan pembaruan dalam peta kartografis berbasis jaringan, seperti halangan baru atau perubahan dalam infrastruktur jaringan jalan. Sumber: https://arxiv.org/pdf/2111.03384.pdf

Untuk mendemonstrasikan kekuatan sistem, peneliti telah membuat lingkungan interaktif gaya Google Earth di mana pengguna dapat memperbesar dan mengamati citra satelit yang dihasilkan pada berbagai skala render dan detail, dengan ubin yang diperbarui secara langsung dalam cara yang sama seperti sistem interaktif konvensional untuk citra satelit:

Memperbesar lingkungan yang dibuat, berdasarkan peta kartografis. Lihat video di akhir artikel untuk resolusi yang lebih baik dan detail lebih lanjut tentang prosesnya. Sumber: https://www.youtube.com/watch?v=PqFySVpkZzg

Lebih lanjut, karena sistem dapat menghasilkan citra satelit gaya dari peta vektor, itu dapat digunakan untuk membangun dunia sejarah, proyeksi, atau fiksi, untuk dimasukkan ke dalam simulator penerbangan dan lingkungan virtual. Selain itu, peneliti memperkirakan bahwa mereka dapat mensintesis lingkungan virtual 3D penuh dari data kartografis menggunakan transformer.

Dalam jangka pendek, penulis percaya bahwa kerangka kerja mereka dapat digunakan untuk sejumlah aplikasi dunia nyata, termasuk perencanaan kota interaktif dan pemodelan prosedural, membayangkan skenario di mana pemangku kepentingan dapat mengedit peta secara interaktif dan melihat citra sudut burung dari medan yang diproyeksikan dalam beberapa detik.

Makalah baru ini berasal dari dua peneliti di Universitas Leeds, dan berjudul Sintesis Citra Satelit yang Mulus.

Arsitektur SSS merekonstruksi London, dengan sekilas struktur vektor yang mendasari yang memberi makan rekonstruksi. Inset kiri atas, gambar keseluruhan, tersedia dalam bahan tambahan pada resolusi 8k.

Arsitektur dan Data Pelatihan Sumber

Sistem baru ini menggunakan arsitektur sintesis gambar UCL Berkeley 2017 Pix2Pix dan arsitektur sintesis gambar NVIDIA SPADE. Kerangka kerja ini berisi dua jaringan neural konvolusional baru – map2sat, yang melakukan konversi dari vektor ke gambar berbasis piksel; dan seam2cont, yang tidak hanya menghitung metode yang mulus untuk mengumpulkan ubin 256×256, tetapi juga menyediakan lingkungan eksplorasi interaktif.

Arsitektur SSS.

Sistem ini belajar untuk mensintesis citra satelit dengan melatih pada tampilan vektor dan padanannya dalam kehidupan nyata, membentuk pemahaman umum tentang bagaimana menafsirkan fasad vektor menjadi interpretasi foto-real.

Gambar vektor yang digunakan dalam dataset ini dirasterisasi dari file GeoPackage (.geo) yang berisi hingga 13 label kelas, seperti jejak, lingkungan alam, bangunan dan jalan, yang digunakan dalam menentukan jenis citra yang akan dimasukkan ke dalam tampilan satelit.

Gambar vektor.geo yang dirasterisasi juga mempertahankan metadata Sistem Referensi Koordinat Lokal, yang digunakan untuk menafsirkan mereka dalam konteks kerangka peta yang lebih luas, dan untuk memungkinkan pengguna untuk menavigasi peta yang dibuat secara interaktif.

Ubin yang Mulus di Bawah Kondisi yang Keras

Membuat lingkungan peta yang dapat dieksplorasi adalah tantangan, karena keterbatasan perangkat keras dalam proyek ini membatasi ukuran ubin menjadi hanya 256 x 256 piksel. Oleh karena itu, penting bahwa proses rendering atau komposisi mengambil ‘gambar besar’ menjadi pertimbangan, bukan hanya fokus pada ubin yang sedang dihadapi, yang akan menyebabkan kontradiksi yang tidak realistis ketika ubin-ubin tersebut digabungkan, dengan jalan yang tiba-tiba berubah warna, dan artefak rendering lainnya yang tidak realistis.

Oleh karena itu, SSS menggunakan hierarki skala generator jaringan untuk menghasilkan variasi konten pada berbagai skala, dan sistem ini dapat mengevaluasi ubin secara sewenang-wenang pada skala mana pun yang diperlukan pengguna.

Bagian seam2cont dari arsitektur menggunakan dua lapisan yang tumpang tindih dan independen dari output map2sat, dan menghitung batas yang sesuai dalam konteks gambar yang lebih luas yang akan direpresentasikan:

Modul Seam2Cont menggunakan satu gambar dengan ubin yang berlekuk dan satu tanpa lekukan dari jaringan map2sat, untuk menghitung batas yang mulus antara ubin 256×256 piksel yang dihasilkan.

Jaringan map2sat adalah adaptasi yang dioptimalkan dari jaringan SPADE penuh, yang dilatih secara eksklusif pada 256×256 piksel. Penulis mencatat bahwa ini adalah implementasi yang ringan dan gesit, yang menghasilkan bobot hanya 31,5mb vs. 436,9mb dalam jaringan SPADE penuh.

3000 citra satelit nyata digunakan untuk melatih dua sub-jaringan selama 70 epoch waktu pelatihan; semua gambar berisi informasi semantik yang setara (yaitu pemahaman konseptual tingkat rendah tentang objek yang digambarkan seperti ‘jalan’), dan metadata pemosisian berbasis geo.

Bahan tambahan tersedia di halaman proyek, serta video pendamping (tersemat di bawah).