Създаване на сателитни изображения от векторни карти

Изследователи от Обединеното кралство са разработили базирана на изкуствен интелект система за синтез на изображения, която може да преобразува векторно базирани карти в изображения в сателитен стил в движение.

Невронната архитектура се нарича Безпроблемен синтез на сателитни изображения (SSS) и предлага перспектива за реалистични виртуални среди и навигационни решения, които имат по-добра разделителна способност от сателитните изображения, които могат да предложат; са по-актуални (тъй като системите за картографски карти могат да се актуализират на живо); и може да улесни реалистични изгледи в орбитален стил в области, където разделителната способност на сателитния сензор е ограничена или по друг начин недостъпна.

Векторните данни без разделителна способност могат да бъдат преведени в много по-големи размери на изображението, отколкото често са достъпни от реални сателитни изображения, и могат бързо да отразяват актуализации в базирани на мрежата картографски карти, като нови препятствия или промени в инфраструктурата на пътната мрежа. Източник: https://arxiv.org/pdf/2111.03384.pdf

За да демонстрират мощта на системата, изследователите са създали интерактивна среда в стил Google Earth, където зрителят може да увеличи мащаба и да наблюдава генерираните сателитни изображения в различни мащаби и детайли, като плочките се актуализират на живо почти по същия начин начин като конвенционалните интерактивни системи за сателитни изображения:

Приближаване на създадената среда, базирано на картографска карта. Вижте видеоклипа в края на статията за по-добра резолюция и повече подробности за процеса. Източник: https://www.youtube.com/watch?v=PqFySVpkZzg

Освен това, тъй като системата може да генерира изображения в сателитен стил от всяка векторно базирана карта, тя на теория може да се използва за изграждане на исторически, проектирани или фиктивни светове, за включване в симулатори на полети и виртуални среди. Освен това изследователите предвиждат синтезиране на напълно 3D виртуални среди от картографски данни с помощта на трансформатори.

В по-близък план авторите вярват, че тяхната рамка може да се използва за редица приложения от реалния свят, включително интерактивно градско планиране и процедурно моделиране, предвиждайки сценарий, при който заинтересованите страни могат да редактират карта интерактивно и да виждат изображения от птичи поглед на проектирания терен в рамките на секунди.

Новото хартия идва от двама изследователи от университета в Лийдс и е озаглавен Безпроблемен синтез на сателитни изображения.

Архитектурата на SSS пресъздава Лондон с поглед към основната векторна структура, която захранва реконструкцията. Вмъкване горе вляво, цялото изображение, достъпно в допълнителни материали с резолюция 8k.

Архитектура и изходни данни за обучение

Новата система използва UCL Berkeley's 2017 Pix2Pix и на NVIDIA МЕЧОВЕ архитектура за синтез на изображения. Рамката съдържа две нови конволюционни невронни мрежи – map2sat, който извършва преобразуването от векторни към базирани на пиксели изображения; и шев2конт, който не само изчислява безпроблемен метод за събиране на 256×256 плочки, но също така предоставя интерактивна среда за изследване.

Архитектурата на SSS.

Системата се научава да синтезира сателитни изгледи чрез обучение върху векторни изгледи и техните сателитни еквиваленти в реалния живот, като формира общо разбиране за това как да интерпретира векторните аспекти във фотореални интерпретации.

Векторно-базираните изображения, използвани в набора от данни, са растеризирани от GeoPackage (.geo) файлове, които съдържат до 13 етикета на класове, като напр. проследявам, естествена среда, сграда намлява път, които се използват при вземането на решение за вида изображения, които да се поставят в сателитния изглед.

Растеризираните .geo сателитни изображения също така запазват метаданни на местната координатна референтна система, които се използват за интерпретирането им в контекста на по-широката рамка на картата и за да позволят на потребителя да навигира интерактивно в създадените карти.

Безшевни плочки при твърди ограничения

Създаването на среди за карти с възможност за изследване е предизвикателство, тъй като хардуерните ограничения в проекта ограничават плочките до размер от само 256 x 256 пиксела. Следователно е важно или процесът на рендиране, или процесът на композиране да вземе под внимание „по-голямата картина“, вместо да се концентрира изключително върху плочката, която е под ръка, което би довело до смущаващи съпоставяния, когато плочките се съпоставят, с пътища, внезапно променящи цвета си, и други не - артефакти за реалистично изобразяване.

Следователно SSS използва йерархия на мащабно пространство от генераторни мрежи, за да генерира вариация на съдържание в различни мащаби и системата е в състояние произволно да оценява плочки във всеки междинен мащаб, от който зрителят може да се нуждае.

Разделът seam2cont на архитектурата използва два припокриващи се и независими слоя на изхода на map2sat и изчислява подходяща граница в контекста на по-широкото изображение, което трябва да бъде представено:

Модулът seam2cont използва едно изображение с плочки и едно без шевове от мрежата map2sat, за да изчисли безпроблемни граници между генерираните плочки с размери 256 × 256 пиксела.

Мрежата map2sat е оптимизирана адаптация на пълноценна мрежа SPADE, обучена изключително на 256 × 256 пиксела. Авторите отбелязват, че това е лека и бърза реализация, водеща до тегла от само 31.5mb срещу 436.9mb в пълна SPADE мрежа.

3000 реални сателитни изображения бяха използвани за обучение на двете подмрежи в продължение на 70 епохи от времето за обучение; всички изображения съдържат еквивалентна семантична информация (т.е. концептуално разбиране на ниско ниво на изобразени обекти като „пътища“) и геобазирани метаданни за позициониране.

Допълнителни материали са достъпни на страницата на проекта, както и придружаващо видео (вградено по-долу).