Создание спутниковых изображений из векторных карт

Исследователи в Великобритании разработали систему синтеза изображений на основе искусственного интеллекта, которая может преобразовывать векторные карты в спутниковые изображения в режиме реального времени.

Нейронная архитектура называется Бесшовный синтез спутниковых изображений (SSS), и предлагает перспективу реалистичных виртуальных сред и навигационных решений, которые имеют лучшее разрешение, чем спутниковые изображения; являются более актуальными (поскольку картографические системы могут быть обновлены в режиме реального времени); и могут обеспечить реалистичные орбитальные виды в районах, где разрешение спутниковых датчиков ограничено или недоступно.

Разрешение-free векторные данные могут быть переведены в более высокие размеры изображений, чем часто доступны из реальных спутниковых изображений, и могут быстро отражать обновления в сетевых картографических картах, таких как новые препятствия или изменения в инфраструктуре дорожной сети. Источник: https://arxiv.org/pdf/2111.03384.pdf

Чтобы продемонстрировать мощность системы, исследователи создали интерактивную среду в стиле Google Earth, где зритель может увеличить масштаб и наблюдать сгенерированные спутниковые изображения в различных масштабах и деталях, с обновлением плиток в режиме реального времени, как и в обычных интерактивных системах для спутниковых изображений:

Увеличение созданной среды, основанной на картографической карте. Смотрите видео в конце статьи для лучшего разрешения и более подробной информации о процессе. Источник: https://www.youtube.com/watch?v=PqFySVpkZzg

Кроме того, поскольку система может генерировать спутниковые изображения из любой векторной карты, она может быть использована для создания исторических, проектированных или вымышленных миров, для включения в симуляторы полета и виртуальные среды. Кроме того, исследователи предвидят синтез полностью трёхмерных виртуальных сред из картографических данных с помощью трансформеров.

В ближайшем будущем авторы считают, что их框架 может быть использован для ряда реальных приложений, включая интерактивное планирование городов и процедурное моделирование, представляя сценарий, в котором заинтересованные стороны могут редактировать карту интерактивно и видеть изображения с высоты птичьего полета проектированной местности в течение нескольких секунд.

Новая статья来自 двух исследователей из Университета Лидса и называется Бесшовный синтез спутниковых изображений.

Архитектура SSS воссоздает Лондон, с взглядом на лежащую в основе векторную структуру, которая подает реконструкцию. Врезка в верхнем левом углу, все изображение, доступное в дополнительных материалах в разрешении 8k.

Архитектура и исходные данные для обучения

Новая система использует архитектуру синтеза изображений UCL Berkeley 2017 года Pix2Pix и архитектуру SPADE от NVIDIA. Фреймворк содержит две новые свёрточные нейронные сети – map2sat, которая выполняет преобразование из вектора в пиксельное изображение; и seam2cont, которая не только рассчитывает бесшовный метод сбора 256×256 плиток, но также обеспечивает интерактивную среду исследования.

Архитектура SSS.

Система учится синтезировать спутниковые виды, обучаясь на векторных видах и их реальных спутниковых аналогах, формируя обобщенное понимание о том, как интерпретировать векторные фасеты в фотореалистичные интерпретации.

Векторные изображения, использованные в наборе данных, растрируются из файлов GeoPackage (.geo), которые содержат до 13 меток классов, таких как трасса, природная среда, здание и дорога, которые используются для определения вида изображения, которое должно быть помещено в спутниковый вид.

Растрированные.geo спутниковые изображения также сохраняют метаданные локальной системы координат, которые используются для интерпретации их в контексте более широкой картографической основы, и для того, чтобы позволить пользователю интерактивно ориентироваться в созданных картах.

Бесшовные плитки под жёсткими ограничениями

Создание исследуемых сред карт является проблемой, поскольку ограничения аппаратного обеспечения проекта ограничивают размер плиток только 256 x 256 пикселей. Поэтому важно, чтобы либо процесс рендеринга, либо процесс композиции учитывал “большую картину”, а не сосредотачивался исключительно на плитке, что привело бы к резким контрастам при сборке плиток, с внезапным изменением цвета дорог и другими нереалистичными артефактами рендеринга.

Поэтому SSS использует иерархию генераторных сетей для генерации вариаций содержимого на различных масштабах, и система может произвольно оценивать плитки на любом промежуточном масштабе, который может понадобиться зрителю.

Раздел seam2cont архитектуры использует два перекрывающихся и независимых слоя выхода map2sat, и рассчитывает подходящую границу в контексте более широкого изображения, которое должно быть представлено:

Модуль Seam2Cont использует одно изображение с плиткой шва и одно без швов из сети map2sat, чтобы рассчитать бесшовные границы между сгенерированными 256×256 пиксельными плитками.

Сеть map2sat является оптимизированной адаптацией полноценной сети SPADE, исключительно обученной на 256×256 пикселях. Авторы отмечают, что это лёгкая и быстрая реализация, что приводит к весам только 31,5 МБ против 436,9 МБ в полной сети SPADE.

3000 реальных спутниковых изображений были использованы для обучения двух подсетей за 70 эпох обучения; все изображения содержат эквивалентную семантическую информацию (т.е. низкоуровневое концептуальное понимание изображаемых объектов, таких как “дороги”), и геобазированные метаданные позиционирования.

Дополнительные материалы доступны на странице проекта, а также сопровождающее видео (встроено ниже).