Створення супутникових зображень з векторних карт

Дослідники у Великій Британії розробили систему синтезу зображень на основі штучного інтелекту, яка може перетворювати векторні карти в супутникові зображення в режимі реального часу.

Нейронна архітектура називається Синтез супутникових зображень (SSS), і пропонує можливість створення реалістичних віртуальних середовищ і навігаційних рішень, які мають кращу роздільність, ніж супутникові зображення; оновлюються в режимі реального часу (оскільки картографічні системи можуть оновлюватися в режимі реального часу); і можуть забезпечувати реалістичні орбітальні види в районах, де роздільність супутникових датчиків обмежена або недоступна.

Векторні дані без обмежень роздільності можуть бути перетворені в зображення значно вищої роздільності, ніж часто доступні з реальних супутникових зображень, і можуть швидко відображати оновлення в мережевих картографічних картах, таких як нові перешкоди або зміни в інфраструктурі дорожньої мережі. Джерело: https://arxiv.org/pdf/2111.03384.pdf

Для демонстрації можливостей системи дослідники створили інтерактивне середовище типу Google Earth, де користувач може масштабувати та спостерігати згенеровані супутникові зображення в різних масштабах та деталях, а тайли оновлюються в режимі реального часу, подібно до традиційних інтерактивних систем для супутникових зображень:

Збільшення створеного середовища на основі картографічної карти. Див. відео в кінці статті для кращої роздільності та більшої кількості інформації про процес. Джерело: https://www.youtube.com/watch?v=PqFySVpkZzg

Крім того, оскільки система може генерувати супутникові зображення з будь-якої векторної карти, вона теоретично може бути використана для створення історичних, проєктованих або вигаданих світів, для включення в симулятори польотів і віртуальні середовища. Крім того, дослідники передбачають синтез повністю тривимірних віртуальних середовищ з картографічних даних за допомогою трансформерів.

У ближчому майбутньому автори вважають, що їхня система може бути використана для ряду реальних застосунків, включаючи інтерактивне планування міст і процедурне моделювання, передбачаючи сценарій, в якому учасники можуть редагувати карту інтерактивно та бачити види з пташиного польоту згенерованої місцевості протягом декількох секунд.

Нова стаття походить від двох дослідників Університету Лідса, і називається Синтез супутникових зображень.

Архітектура SSS реконструює Лондон, з оглядом на підкладову векторну структуру, яка живить реконструкцію. Вставка зверху зліва, все зображення, доступне в додаткових матеріалах у роздільності 8k.

Архітектура та джерела тренувальних даних

Нова система використовує архітектуру синтезу зображень Pix2Pix від Університету Каліфорнії в Берклі 2017 року та архітектуру SPADE від NVIDIA. Фреймворк містить дві нові卷вольні нейронні мережі – map2sat, яка здійснює перетворення з векторного до піксельного зображення; і seam2cont, яка не тільки обчислює безшовний метод збору 256×256 тайлів, але також забезпечує інтерактивне середовище для дослідження.

Архітектура SSS.

Система вчиться синтезувати супутникові види шляхом тренування на векторних видах та їхніх реальних супутникових еквівалентах, утворюючи узагальнений розуміння про те, як інтерпретувати векторні фасети в фотореалістичні інтерпретації.

Векторні зображення, використані в наборі даних, растрізовані з файлів GeoPackage (.geo), які містять до 13 класів міток, таких як дорога, природне середовище, будівля та дорога, які використовуються для визначення типу зображення, яке потрібно помістити в супутниковий вид.

Растрізовані.geo супутникові зображення також зберігають метадані системи координат, які використовуються для інтерпретації їх у контексті більшої картографічної системи, та для того, щоб дозволити користувачеві інтерактивно навігаціювати створені карти.

Безшовні тайли під жорсткими обмеженнями

Створення досліджуваних середовищ карт є викликом, оскільки обмеження апаратного забезпечення проекту обмежують тайли розміром лише 256 x 256 пікселів. Тому важливо, щоб процес рендерингу або композиції враховував “більшу картину”, а не зосереджувався виключно на тайлі, що призвело б до різких контрастів при зборі тайлів, з дорогою, яка раптом змінює колір, та іншими нереалістичними артефактами рендерингу.

Отже SSS використовує ієрархію генераторних мереж для генерації варіацій вмісту на різних масштабах, і система може довільно оцінювати тайли в будь-якому проміжному масштабі, який може потребувати користувач:

Секція seam2cont архітектури використовує два перекриваються та незалежні шари виходу map2sat, і обчислює відповідний кордон у контексті ширшої зображення, яке потрібно представити:

Модуль Seam2Cont використовує одне зображення з тайловим швом і одне без швів з мережі map2sat, щоб обчислити безшовні кордони між згенерованими тайлами 256×256 пікселів.

Мережа map2sat є оптимізованою адаптацією повністю спроможної мережі SPADE, виключно тренованої на 256×256 пікселях. Автори відзначають, що це легка і рухома реалізація, що призводить до ваги лише 31,5 МБ проти 436,9 МБ у повній мережі SPADE.

3000 реальних супутникових зображень були використані для тренування двох підмереж протягом 70 епох тренування; всі зображення містять еквівалентну семантичну інформацію (тобто низькорівневе концептуальне розуміння зображених об’єктів, таких як “дороги”), і гео-позиціонуючі метадані.

Додаткові матеріали доступні на сторінці проекту, а також супровідне відео (вбудоване нижче).