Створення супутникових зображень із векторних карт

Дослідники з Великобританії розробили систему синтезу зображень на основі ШІ, яка може миттєво перетворювати векторні карти на супутникові зображення.

Нейронна архітектура називається Безшовний синтез супутникового зображення (SSS) і пропонує реалістичне віртуальне середовище та навігаційні рішення з кращою роздільною здатністю, ніж супутникові зображення; є більш сучасними (оскільки системи картографічних карт можна оновлювати в реальному часі); і може сприяти реалістичному орбітальному перегляду в областях, де роздільна здатність супутникового датчика обмежена або недоступна з інших причин.

Векторні дані без роздільної здатності можна перетворити на зображення набагато більших розмірів, ніж зазвичай доступні на реальних супутникових зображеннях, і вони можуть швидко відображати оновлення на мережевих картографічних картах, такі як нові перешкоди або зміни в інфраструктурі дорожньої мережі. Джерело: https://arxiv.org/pdf/2111.03384.pdf

Щоб продемонструвати потужність системи, дослідники створили інтерактивне середовище в стилі Google Планета Земля, де глядач може збільшувати масштаб і спостерігати за створеними супутниковими зображеннями в різних масштабах і деталізаціях, причому плитки оновлюються в реальному часі практично так само. таким чином, як звичайні інтерактивні системи для супутникових зображень:

Масштабування створеного середовища, спираючись на картографічну карту. Перегляньте відео в кінці статті, щоб отримати кращу роздільну здатність і докладніше про процес. Джерело: https://www.youtube.com/watch?v=PqFySVpkZzg

Крім того, оскільки система може генерувати супутникові зображення з будь-якої векторної карти, її теоретично можна використовувати для побудови історичних, прогнозованих або вигаданих світів для включення в симулятори польотів і віртуальні середовища. Крім того, дослідники планують синтезувати повністю тривимірні віртуальні середовища з картографічних даних за допомогою трансформаторів.

У найближчій перспективі автори вважають, що їх фреймворк може бути використаний для ряду додатків реального світу, включаючи інтерактивне планування міста та процедурне моделювання, передбачаючи сценарій, за якого зацікавлені сторони можуть редагувати карту в інтерактивному режимі та бачити зображення з висоти пташиного польоту проектований рельєф за лічені секунди.

Новий папір походить від двох дослідників з Університету Лідса під назвою Безшовний синтез супутникового зображення.

Архітектура SSS відтворює Лондон, зазирнувши в основну векторну структуру, яка живить реконструкцію. Вставка вгорі ліворуч, повне зображення, доступне в додаткових матеріалах з роздільною здатністю 8k.

Архітектура та вихідні навчальні дані

Нова система використовує UCL Berkeley 2017 Pix2Pix і NVIDIA СПАДА архітектура синтезу зображення. Фреймворк містить дві нові згорточні нейронні мережі – map2sat, який виконує перетворення векторних зображень у піксельні; і seam2cont, який не лише розраховує цілісний метод для збору плиток 256 × 256, але також забезпечує інтерактивне середовище дослідження.

Архітектура SSS.

Система вчиться синтезувати супутникові зображення, навчаючись на векторних зображеннях та їхніх реальних супутникових еквівалентах, формуючи узагальнене розуміння того, як інтерпретувати векторні грані у фотореальні інтерпретації.

Векторні зображення, що використовуються в наборі даних, растеризуються з файлів GeoPackage (.geo), які містять до 13 міток класів, наприклад трек, природнє середовище, Будівля та дорога, які використовуються під час прийняття рішення про тип зображень, які слід додати до перегляду супутника.

У растеризованих супутникових зображеннях .geo також зберігаються локальні метадані системи відліку координат, які використовуються для їх інтерпретації в контексті в ширшій структурі карти та дозволяють користувачеві інтерактивно переміщатися по створених картах.

Безшовні плитки під жорсткими обмеженнями

Створення середовища карти, яке можна досліджувати, є складним завданням, оскільки апаратні обмеження в проекті обмежують плитки розміром лише 256 x 256 пікселів. Тому важливо, щоб під час візуалізації чи композиції враховувався «ширший малюнок», а не зосереджувався виключно на плитці під рукою, що призвело б до різких зіставлень під час зіставлення плиток, коли б дороги раптово змінювали колір та інші непотрібні елементи. - артефакти реалістичного відтворення.

Таким чином, SSS використовує масштабно-просторову ієрархію генераторних мереж для створення варіації вмісту в різних масштабах, і система може довільно оцінювати плитки в будь-якому проміжному масштабі, який може знадобитися глядачеві.

Розділ seam2cont архітектури використовує два перекриваються та незалежні шари виводу map2sat і обчислює відповідну межу в контексті ширшого зображення, яке має бути представлене:

Модуль seam2cont використовує одне зображення з плитковим швом і одне без швів із мережі map2sat, щоб обчислити безшовні межі між згенерованими плитками 256×256 пікселів.

Мережа map2sat є оптимізованою адаптацією повноцінної мережі SPADE, навченої виключно на 256×256 пікселів. Автори відзначають, що це легка та спритна реалізація, що призводить до ваги лише 31.5 МБ проти 436.9 МБ у повній мережі SPADE.

3000 реальних супутникових зображень були використані для навчання двох підмереж протягом 70 епох часу навчання; усі зображення містять еквівалентну семантичну інформацію (тобто низькорівневе концептуальне розуміння зображених об’єктів, таких як «дороги») та метадані географічного позиціонування.

Додаткові матеріали доступні на сторінці проекту, а також супровідне відео (вбудоване нижче).