Criação de imagens de satélite a partir de mapas vetoriais

Pesquisadores no Reino Unido desenvolveram um sistema de síntese de imagens baseado em IA que pode converter mapas baseados em vetores em imagens de satélite em tempo real.

A arquitetura neural é chamada Síntese de imagem de satélite perfeita (SSS), e oferece a perspectiva de ambientes virtuais realistas e soluções de navegação com melhor resolução do que as imagens de satélite podem oferecer; estão mais atualizados (uma vez que os sistemas de mapas cartográficos podem ser atualizados em tempo real); e pode facilitar visualizações realistas em estilo orbital em áreas onde a resolução do sensor de satélite é limitada ou indisponível.

Os dados vetoriais sem resolução podem ser traduzidos para tamanhos de imagem muito maiores do que geralmente disponíveis em imagens de satélite reais e podem refletir rapidamente atualizações em mapas cartográficos baseados em rede, como novas obstruções ou mudanças na infraestrutura da rede rodoviária. Fonte: https://arxiv.org/pdf/2111.03384.pdf

Para demonstrar o poder do sistema, os pesquisadores criaram um ambiente interativo no estilo do Google Earth, onde o visualizador pode ampliar e observar as imagens de satélite geradas em uma variedade de escalas e detalhes de renderização, com a atualização dos blocos ao vivo praticamente da mesma forma. maneira como os sistemas interativos convencionais para imagens de satélite:

Zoom no ambiente criado, com base em um mapa cartográfico. Veja o vídeo no final do artigo para melhor resolução e mais detalhes sobre o processo. Fonte: https://www.youtube.com/watch?v=PqFySVpkZzg

Além disso, como o sistema pode gerar imagens de satélite a partir de qualquer mapa vetorial, ele poderia, em teoria, ser usado para construir mundos históricos, projetados ou fictícios, para incorporação em simuladores de voo e ambientes virtuais. Além disso, os pesquisadores antecipam a síntese de ambientes virtuais totalmente 3D a partir de dados cartográficos usando transformadores.

Em curto prazo, os autores acreditam que sua estrutura pode ser usada para várias aplicações do mundo real, incluindo planejamento urbano interativo e modelagem processual, prevendo um cenário em que as partes interessadas possam editar um mapa interativamente e ver imagens panorâmicas de o terreno projetado em segundos.

O novo papel vem de dois pesquisadores da Universidade de Leeds, e é intitulado Síntese de imagem de satélite perfeita.

A arquitetura SSS recria Londres, com um vislumbre da estrutura vetorial subjacente que está alimentando a reconstrução. Inserção superior esquerda, a imagem inteira, disponível em materiais complementares em resolução de 8k.

Arquitetura e dados de treinamento de origem

O novo sistema faz uso do UCL Berkeley's 2017 Pix2Pix e da NVIDIA PÁ arquitetura de síntese de imagem. A estrutura contém duas novas redes neurais convolucionais – map2sat, que realiza a conversão de imagens vetoriais para imagens baseadas em pixels; e costura2cont, que não apenas calcula um método contínuo para reunir os blocos de 256 × 256, mas também fornece um ambiente de exploração interativo.

A arquitetura do SSS.

O sistema aprende a sintetizar visualizações de satélite treinando em visualizações de vetor e seus equivalentes de satélite da vida real, formando um entendimento generalizado sobre como interpretar facetas de vetores em interpretações foto-reais.

As imagens baseadas em vetor usadas no conjunto de dados são rasterizadas de arquivos GeoPackage (.geo) que contêm até 13 rótulos de classe, como pista, ambiente natural, prédio e estrada, que são usados ​​para decidir sobre o tipo de imagem a ser colocada na visualização de satélite.

As imagens de satélite .geo rasterizadas também retêm os metadados do Sistema de Referência de Coordenadas locais, que são usados ​​para interpretá-los em contexto na estrutura de mapa mais ampla e para permitir que o usuário navegue interativamente nos mapas criados.

Ladrilhos Sem Costura Sob Restrições Difíceis

Criar ambientes de mapas exploráveis ​​é um desafio, pois as limitações de hardware no projeto restringem os blocos a um tamanho de apenas 256 x 256 pixels. Portanto, é importante que o processo de renderização ou composição leve em consideração o 'quadro geral', em vez de se concentrar exclusivamente no ladrilho em questão, o que levaria a justaposições dissonantes quando os ladrilhos são agrupados, com estradas mudando repentinamente de cor e outras não - artefatos de renderização realistas.

Portanto, o SSS usa uma hierarquia de espaço de escala de redes geradoras para gerar variação de conteúdo em uma variedade de escalas, e o sistema é capaz de avaliar arbitrariamente blocos em qualquer escala intermediária que o visualizador possa precisar.

A seção seam2cont da arquitetura usa duas camadas sobrepostas e independentes da saída map2sat e calcula uma borda apropriada dentro do contexto da imagem mais ampla a ser representada:

O módulo seam2cont usa uma imagem com emendas lado a lado e outra sem costuras da rede map2sat, a fim de calcular bordas contínuas entre as telhas geradas de 256×256 pixels.

A rede map2sat é uma adaptação otimizada de uma rede SPADE completa, treinada exclusivamente em 256×256 pixels. Os autores observam que esta é uma implementação leve e rápida, levando a pesos de apenas 31.5 MB contra 436.9 MB em uma rede SPADE completa.

3000 imagens reais de satélite foram usadas para treinar as duas sub-redes em 70 épocas de tempo de treinamento; todas as imagens contêm informações semânticas equivalentes (ou seja, uma compreensão conceitual de baixo nível de objetos representados, como 'estradas') e metadados de posicionamento com base geográfica.

Outros materiais estão disponíveis na página do projeto, bem como um vídeo que o acompanha (incorporado abaixo).