Создание спутниковых снимков из векторных карт

Исследователи из Великобритании разработали систему синтеза изображений на основе искусственного интеллекта, которая может на лету преобразовывать векторные карты в спутниковые изображения.

Нейронная архитектура называется Бесшовный синтез спутниковых изображений (SSS) и предлагает перспективу реалистичных виртуальных сред и навигационных решений, которые имеют лучшее разрешение, чем могут предложить спутниковые изображения; более актуальны (поскольку картографические системы могут обновляться в режиме реального времени); и может обеспечить реалистичные орбитальные виды в областях, где разрешение спутникового датчика ограничено или недоступно по иным причинам.

Векторные данные без разрешения могут быть преобразованы в изображения гораздо большего размера, чем те, которые часто доступны на реальных спутниковых снимках, и могут быстро отражать обновления на сетевых картографических картах, такие как новые препятствия или изменения в дорожной сети. Источник: https://arxiv.org/pdf/2111.03384.pdf

Чтобы продемонстрировать мощь системы, исследователи создали интерактивную среду в стиле Google Earth, в которой зритель может увеличивать масштаб и просматривать сгенерированные спутниковые изображения в различных масштабах и деталях, при этом плитки обновляются в реальном времени почти так же. как обычные интерактивные системы спутниковой съемки:

Масштабирование созданной среды на основе картографической карты. Смотрите видео в конце статьи для лучшего разрешения и более подробной информации о процессе. Источник: https://www.youtube.com/watch?v=PqFySVpkZzg

Кроме того, поскольку система может генерировать спутниковые изображения из любой векторной карты, теоретически ее можно использовать для создания исторических, спроецированных или вымышленных миров для включения в авиасимуляторы и виртуальные среды. Кроме того, исследователи ожидают синтеза полностью трехмерных виртуальных сред из картографических данных с использованием преобразователей.

Авторы считают, что в ближайшем будущем их структура может быть использована для ряда реальных приложений, включая интерактивное городское планирование и процедурное моделирование, предполагая сценарий, в котором заинтересованные стороны могут редактировать карту в интерактивном режиме и просматривать изображения с высоты птичьего полета. проектируемой местности в течение нескольких секунд.

Новый бумаги исходит от двух исследователей из Университета Лидса и называется Бесшовный синтез спутниковых изображений.

Архитектура SSS воссоздает Лондон с проблеском базовой векторной структуры, которая питает реконструкцию. Врезка вверху слева, полное изображение, доступное в дополнительных материалах в разрешении 8k.

Архитектура и исходные обучающие данные

В новой системе используется UCL Berkeley 2017 года. Пикс2Пикс и NVIDIA ШПАГИ архитектура синтеза изображений. Фреймворк содержит две новые сверточные нейронные сети: карта2сат, который выполняет преобразование векторных изображений в пиксельные; и шов2конт, который не только вычисляет бесшовный метод для сборки плиток размером 256×256, но также обеспечивает интерактивную среду исследования.

Архитектура ССС.

Система учится синтезировать спутниковые изображения, обучаясь векторным видам и их реальным спутниковым эквивалентам, формируя общее понимание того, как интерпретировать векторные аспекты в фотореалистичных интерпретациях.

Векторные изображения, используемые в наборе данных, растеризованы из файлов GeoPackage (.geo), которые содержат до 13 меток классов, таких как трек, природной среды, building и Дорога, которые используются при принятии решения о том, какие изображения следует помещать в изображение со спутника.

Растрированные спутниковые изображения .geo также сохраняют метаданные локальной системы координат, которые используются для интерпретации их в контексте более широкой структуры карты и позволяют пользователю интерактивно перемещаться по созданным картам.

Бесшовные плитки при жестких ограничениях

Создание исследуемых картографических сред является сложной задачей, поскольку аппаратные ограничения в проекте ограничивают размер плитки размером всего 256 x 256 пикселей. Поэтому важно, чтобы процесс рендеринга или композиции учитывал «картину в целом», а не концентрировался исключительно на имеющейся плитке, что могло бы привести к резким сопоставлениям, когда плитки сопоставляются, с дорогами, внезапно меняющими цвет, и другими нестандартными вещами. -Реалистичные артефакты рендеринга.

Поэтому SSS использует иерархию генераторных сетей масштабного пространства для генерации вариаций контента в различных масштабах, и система может произвольно оценивать плитки в любом промежуточном масштабе, который может понадобиться зрителю.

Раздел архитектуры seam2cont использует два перекрывающихся и независимых слоя выходных данных map2sat и вычисляет соответствующую границу в контексте более широкого изображения, которое необходимо представить:

Модуль seam2cont использует одно изображение с мозаичным швом и одно без шва из сети map2sat, чтобы вычислить бесшовные границы между сгенерированными тайлами размером 256×256 пикселей.

Сеть map2sat — это оптимизированная адаптация полноценной сети SPADE, обученная исключительно для разрешения 256×256 пикселей. Авторы отмечают, что это легкая и быстрая реализация, в результате чего вес составляет всего 31.5 МБ против 436.9 МБ в полной сети SPADE.

3000 реальных спутниковых изображений использовались для обучения двух подсетей в течение 70 периодов времени обучения; все изображения содержат эквивалентную семантическую информацию (т. е. низкоуровневое концептуальное понимание изображенных объектов, таких как «дороги»), и метаданные позиционирования на основе географических данных.

Дополнительные материалы доступны на странице проекта, а также сопроводительное видео (встроено ниже).