Creación de Imágenes de Satélite a Partir de Mapas Vectoriales

Investigadores en el Reino Unido han desarrollado un sistema de síntesis de imágenes basado en inteligencia artificial que puede convertir mapas vectoriales en imágenes de estilo satelital en tiempo real.

La arquitectura neural se llama Síntesis de Imágenes Satelitales Sin Costuras (SSS), y ofrece la perspectiva de entornos virtuales realistas y soluciones de navegación que tienen una mejor resolución que la que puede ofrecer la imagen satelital; están más actualizados (ya que los sistemas de mapas cartográficos se pueden actualizar en tiempo real); y pueden facilitar vistas orbitales realistas en áreas donde la resolución del sensor satelital es limitada o no está disponible.

Los datos vectoriales libres de resolución se pueden traducir a tamaños de imagen mucho más grandes de los que suelen estar disponibles en imágenes satelitales reales, y pueden reflejar rápidamente las actualizaciones en los mapas cartográficos basados en red, como nuevas obstrucciones o cambios en la infraestructura de la red de carreteras. Fuente: https://arxiv.org/pdf/2111.03384.pdf

Para demostrar el poder del sistema, los investigadores han creado un entorno interactivo de estilo Google Earth donde el espectador puede acercarse y observar las imágenes satelitales generadas a una variedad de escalas de renderizado y detalles, con las baldosas que se actualizan en vivo de manera similar a los sistemas interactivos convencionales para imágenes satelitales:

Acercándose al entorno creado, basado en un mapa cartográfico. Ver video al final del artículo para una mejor resolución y más detalles sobre el proceso. Fuente: https://www.youtube.com/watch?v=PqFySVpkZzg

Además, dado que el sistema puede generar imágenes satelitales de estilo desde cualquier mapa vectorial, podría ser utilizado en teoría para construir mundos históricos, proyectados o ficticios, para su incorporación en simuladores de vuelo y entornos virtuales. Además, los investigadores anticipan sintetizar entornos virtuales completamente tridimensionales a partir de datos cartográficos utilizando transformadores.

En el plazo más cercano, los autores creen que su marco podría ser utilizado para una serie de aplicaciones del mundo real, incluyendo la planificación urbana interactiva y la modelización procedural, visualizando un escenario en el que las partes interesadas puedan editar un mapa de manera interactiva y ver imágenes de vista de pájaro del terreno proyectado dentro de segundos.

El nuevo artículo proviene de dos investigadores de la Universidad de Leeds, y se titula Síntesis de Imágenes Satelitales Sin Costuras.

La arquitectura SSS recrea Londres, con un vistazo a la estructura vectorial subyacente que alimenta la reconstrucción. En el recuadro superior izquierdo, la imagen completa, disponible en materiales suplementarios a 8k de resolución.

Arquitectura y Datos de Entrenamiento de Fuente

El nuevo sistema utiliza la arquitectura de síntesis de imágenes Pix2Pix de UCL Berkeley de 2017 y la arquitectura SPADE de NVIDIA. El marco contiene dos redes neuronales convolucionales novedosas – map2sat, que realiza la conversión de vector a imagen basada en píxeles; y seam2cont, que no solo calcula un método sin costuras para reunir las baldosas de 256×256 píxeles, sino que también proporciona un entorno de exploración interactivo.

La arquitectura de SSS.

El sistema aprende a sintetizar vistas satelitales mediante el entrenamiento en vistas vectoriales y sus equivalentes satelitales reales, formando una comprensión generalizada sobre cómo interpretar facetas vectoriales en interpretaciones fotorealistas.

Las imágenes vectoriales utilizadas en el conjunto de datos se rasterizan a partir de archivos GeoPackage (.geo) que contienen hasta 13 etiquetas de clase, como pista, entorno natural, edificio y carretera, que se utilizan para decidir sobre el tipo de imagen que se debe incluir en la vista satelital.

Las imágenes satelitales rasterizadas.geo también conservan metadatos de sistema de referencia de coordenadas local, que se utilizan para interpretarlas en el contexto del marco de mapa más amplio, y para permitir al usuario navegar de manera interactiva los mapas creados.

Baldosas Sin Costuras Bajo Restricciones Difíciles

Crear entornos de mapas explorables es un desafío, ya que las limitaciones de hardware en el proyecto restringen las baldosas a un tamaño de solo 256 x 256 píxeles. Por lo tanto, es importante que el proceso de renderizado o composición tenga en cuenta la “imagen más grande”, en lugar de concentrarse exclusivamente en la baldosa en cuestión, lo que llevaría a yuxtaposiciones desagradables cuando se combinan las baldosas, con carreteras que cambian de color de repente y otros artefactos de renderizado no realistas.

Por lo tanto, SSS utiliza una jerarquía de espacio de escala de redes generadoras para generar variaciones de contenido a una variedad de escalas, y el sistema puede evaluar arbitrariamente las baldosas en cualquier escala intermedia que el espectador pueda necesitar.

La sección seam2cont de la arquitectura utiliza dos capas superpuestas e independientes de la salida de map2sat, y calcula un borde apropiado dentro del contexto de la imagen más amplia que se va a representar:

El módulo Seam2Cont utiliza una imagen con costura y otra sin costuras de la red map2sat, para calcular bordes sin costuras entre las baldosas generadas de 256×256 píxeles.

La red map2sat es una adaptación optimizada de una red SPADE completa, entrenada exclusivamente a 256×256 píxeles. Los autores señalan que esta es una implementación ligera y ágil, lo que lleva a pesos de solo 31,5 MB en comparación con los 436,9 MB de una red SPADE completa.

Se utilizaron 3000 imágenes satelitales reales para entrenar las dos subredes durante 70 épocas de tiempo de entrenamiento; todas las imágenes contienen información semántica equivalente (es decir, una comprensión conceptual de bajo nivel de los objetos representados, como “carreteras”), y metadatos de posición geográfica.

Materiales adicionales están disponibles en la página del proyecto, así como un video acompañante (incrustado a continuación).