Inteligencia artificial
Creación de imágenes satelitales a partir de mapas vectoriales
Investigadores del Reino Unido han desarrollado un sistema de síntesis de imágenes basado en IA que puede convertir mapas basados en vectores en imágenes de estilo satelital sobre la marcha.
La arquitectura neuronal se llama Síntesis perfecta de imágenes satelitales (SSS), y ofrece la perspectiva de entornos virtuales realistas y soluciones de navegación que tienen una mejor resolución que la que pueden ofrecer las imágenes satelitales; están más actualizados (ya que los sistemas de mapas cartográficos se pueden actualizar en tiempo real); y puede facilitar vistas realistas de estilo orbital en áreas donde la resolución del sensor satelital es limitada o no está disponible.
Los datos vectoriales sin resolución se pueden traducir a tamaños de imagen mucho mayores que los que suelen estar disponibles a partir de imágenes satelitales reales, y pueden reflejar rápidamente actualizaciones en mapas cartográficos basados en redes, como nuevas obstrucciones o cambios en la infraestructura de la red de carreteras. Fuente: https://arxiv.org/pdf/2111.03384.pdf
Para demostrar el poder del sistema, los investigadores han creado un entorno interactivo, al estilo de Google Earth, donde el espectador puede acercar y observar las imágenes satelitales generadas en una variedad de escalas de renderizado y detalles, con los mosaicos actualizándose en vivo en casi el mismo como los sistemas interactivos convencionales para imágenes satelitales:
Acercamiento al entorno creado, a partir de un mapa cartográfico. Vea el video al final del artículo para una mejor resolución y más detalles sobre el proceso. Fuente: https://www.youtube.com/watch?v=PqFySVpkZzg
Además, dado que el sistema puede generar imágenes de estilo satelital a partir de cualquier mapa basado en vectores, en teoría podría usarse para construir mundos históricos, proyectados o ficticios, para incorporarlos en simuladores de vuelo y entornos virtuales. Además, los investigadores prevén sintetizar entornos virtuales completamente en 3D a partir de datos cartográficos utilizando transformadores.
A más corto plazo, los autores creen que su marco podría usarse para una serie de aplicaciones del mundo real, incluida la planificación interactiva de ciudades y el modelado de procedimientos, imaginando un escenario en el que las partes interesadas pueden editar un mapa de forma interactiva y ver imágenes a vista de pájaro de el terreno proyectado en segundos.
El nuevo proviene de dos investigadores de la Universidad de Leeds, y se titula Síntesis perfecta de imágenes satelitales.
La arquitectura SSS recrea Londres, con un vistazo a la estructura vectorial subyacente que alimenta la reconstrucción. Recuadro superior izquierdo, la imagen completa, disponible en materiales complementarios a una resolución de 8k.
Arquitectura y fuente de datos de entrenamiento
El nuevo sistema hace uso de 2017 de UCL Berkeley pix2pix y NVIDIA PALA Arquitectura de síntesis de imágenes. El marco contiene dos nuevas redes neuronales convolucionales: mapa2sat, que realiza la conversión de imágenes vectoriales a imágenes basadas en píxeles; y costura2cont, que no solo calcula un método continuo para reunir los mosaicos de 256 × 256, sino que también proporciona un entorno de exploración interactivo.
La arquitectura de SSS.
El sistema aprende a sintetizar vistas satelitales entrenándose en vistas vectoriales y sus equivalentes satelitales de la vida real, formando una comprensión generalizada sobre cómo interpretar las facetas vectoriales en interpretaciones fotorrealistas.
Las imágenes basadas en vectores utilizadas en el conjunto de datos se rasterizan a partir de archivos GeoPackage (.geo) que contienen hasta 13 etiquetas de clase, como seguir, entorno natural, edificio y carretera, que se aprovechan para decidir el tipo de imágenes que se colocarán en la vista de satélite.
Las imágenes satelitales .geo rasterizadas también retienen los metadatos del sistema de referencia de coordenadas locales, que se utilizan para interpretarlos en contexto en el marco más amplio del mapa y para permitir que el usuario navegue de forma interactiva por los mapas creados.
Azulejos sin costura bajo restricciones estrictas
Crear entornos de mapas explorables es un desafío, ya que las limitaciones de hardware en el proyecto restringen las teselas a un tamaño de solo 256 x 256 píxeles. Por lo tanto, es importante que el proceso de representación o composición tenga en cuenta el "panorama general", en lugar de concentrarse exclusivamente en el mosaico en cuestión, lo que conduciría a yuxtaposiciones discordantes cuando se cotejan los mosaicos, con caminos que cambian repentinamente de color y otros no. -artefactos de renderizado realistas.
Por lo tanto, SSS utiliza una jerarquía de espacio de escala de redes de generadores para generar variaciones de contenido en una variedad de escalas, y el sistema puede evaluar arbitrariamente mosaicos en cualquier escala intermedia que el espectador pueda necesitar.
La sección seam2cont de la arquitectura utiliza dos capas superpuestas e independientes de la salida de map2sat y calcula un borde apropiado dentro del contexto de la imagen más amplia que se representará:
El módulo seam2cont utiliza una imagen con costura en mosaico y otra sin costuras de la red map2sat, para calcular bordes continuos entre los mosaicos generados de 256 × 256 píxeles.
La red map2sat es una adaptación optimizada de una red SPADE completa, entrenada exclusivamente en 256×256 píxeles. Los autores señalan que se trata de una implementación liviana y ágil, que genera pesos de solo 31.5 MB frente a 436.9 MB en una red SPADE completa.
Se utilizaron 3000 imágenes satelitales reales para entrenar las dos subredes durante 70 épocas de tiempo de entrenamiento; todas las imágenes contienen información semántica equivalente (es decir, una comprensión conceptual de bajo nivel de los objetos representados, como 'carreteras') y metadatos de posicionamiento basados en la ubicación geográfica.
Hay más materiales disponibles en la página del proyecto, así como un vídeo adjunto (incluido a continuación).
