Criação de Imagens de Satélite a Partir de Mapas Vetoriais

Pesquisadores no Reino Unido desenvolveram um sistema de síntese de imagens baseado em inteligência artificial que pode converter mapas vetoriais em imagens de satélite no estilo de satélite em tempo real.

A arquitetura neural é chamada de Síntese de Imagens de Satélite Sem Costuras (SSS), e oferece a perspectiva de ambientes virtuais realistas e soluções de navegação que têm melhor resolução do que as imagens de satélite podem oferecer; são mais atualizadas (já que os sistemas de mapas cartográficos podem ser atualizados em tempo real); e podem facilitar vistas orbitais realistas em áreas onde a resolução do sensor de satélite é limitada ou não está disponível.

Os dados vetoriais sem resolução podem ser traduzidos para tamanhos de imagem muito maiores do que os disponíveis em imagens de satélite reais, e podem refletir rapidamente as atualizações nos mapas cartográficos baseados em rede, como novas obstruções ou alterações na infraestrutura da rede de estradas. Fonte: https://arxiv.org/pdf/2111.03384.pdf

Para demonstrar o poder do sistema, os pesquisadores criaram um ambiente interativo, no estilo do Google Earth, onde o visualizador pode zoomar e observar as imagens de satélite geradas em uma variedade de escalas de renderização e detalhes, com as telhas atualizando em tempo real, da mesma forma que os sistemas interativos convencionais para imagens de satélite:

Zoomando no ambiente criado, com base em um mapa cartográfico. Veja o vídeo no final do artigo para melhor resolução e mais detalhes sobre o processo. Fonte: https://www.youtube.com/watch?v=PqFySVpkZzg

Além disso, como o sistema pode gerar imagens de satélite a partir de qualquer mapa vetorial, ele poderia, em teoria, ser usado para construir mundos históricos, projetados ou fictícios, para incorporação em simuladores de voo e ambientes virtuais. Além disso, os pesquisadores antecipam a síntese de ambientes virtuais 3D completos a partir de dados cartográficos usando transformadores.

No curto prazo, os autores acreditam que sua estrutura poderia ser usada para uma série de aplicações do mundo real, incluindo planejamento de cidades interativo e modelagem procedural, imaginando um cenário em que as partes interessadas possam editar um mapa interativamente e ver imagens de vista aérea do terreno projetado dentro de segundos.

O novo artigo vem de dois pesquisadores da Universidade de Leeds, e é intitulado Síntese de Imagens de Satélite Sem Costuras.

A arquitetura SSS recria Londres, com um vislumbre da estrutura vetorial subjacente que está alimentando a reconstrução. Inserção no canto superior esquerdo, a imagem completa, disponível em materiais suplementares em resolução 8k.

Arquitetura e Dados de Treinamento de Fonte

O novo sistema utiliza a arquitetura de síntese de imagens Pix2Pix da UCL Berkeley de 2017 e a arquitetura SPADE da NVIDIA. A estrutura contém duas redes neurais convolucionais novas – map2sat, que realiza a conversão de vetorial para imagem baseada em pixels; e seam2cont, que não apenas calcula um método sem costuras para reunir as telhas de 256×256 pixels, mas também fornece um ambiente de exploração interativo.

A arquitetura do SSS.

O sistema aprende a sintetizar vistas de satélite treinando em vistas vetoriais e seus equivalentes de satélite reais, formando uma compreensão generalizada sobre como interpretar facetas vetoriais em interpretações fotorealistas.

As imagens vetoriais usadas no conjunto de dados são rasterizadas a partir de arquivos GeoPackage (.geo) que contêm até 13 rótulos de classe, como trilha, ambiente natural, edifício e estrada, que são utilizados para decidir sobre o tipo de imagem a ser colocada na vista de satélite.

As imagens vetoriais rasterizadas.geo também retêm metadados de sistema de referência de coordenadas locais, que são usados para interpretá-las em contexto no quadro de mapa mais amplo e para permitir que o usuário navegue interativamente os mapas criados.

Telhas Sem Costuras Sob Restrições Rígidas

Criar ambientes de mapa exploráveis é um desafio, pois as limitações de hardware no projeto restringem as telhas a um tamanho de apenas 256 x 256 pixels. Portanto, é importante que o processo de renderização ou composição leve em consideração a “imagem maior”, em vez de se concentrar exclusivamente na telha em questão, o que levaria a justaposições desagradáveis quando as telhas são reunidas, com estradas mudando de cor abruptamente e outros artefatos de renderização não realistas.

Portanto, o SSS usa uma hierarquia de espaço de escala de redes geradoras para gerar variações de conteúdo em uma variedade de escalas, e o sistema é capaz de avaliar telhas arbitrariamente em qualquer escala intermediária que o visualizador possa precisar.

A seção seam2cont da arquitetura usa duas camadas sobrepostas e independentes da saída do map2sat, e calcula uma borda apropriada no contexto da imagem mais ampla a ser representada:

O módulo Seam2Cont usa uma imagem com costura em telha e outra sem costuras da rede map2sat, para calcular bordos sem costuras entre as telhas geradas de 256×256 pixels.

A rede map2sat é uma adaptação otimizada de uma rede SPADE completa, treinada exclusivamente em 256×256 pixels. Os autores observam que essa é uma implementação leve e ágil, levando a pesos de apenas 31,5 MB versus 436,9 MB em uma rede SPADE completa.

Foram usadas 3000 imagens de satélite reais para treinar as duas sub-redes durante 70 épocas de tempo de treinamento; todas as imagens contêm informações semânticas equivalentes (ou seja, uma compreensão conceitual de baixo nível dos objetos representados, como “estradas”), e metadados de posicionamento baseados em geo.

Materiais adicionais estão disponíveis na página do projeto, bem como um vídeo acompanhante (incorporado abaixo).