벡터 맵에서 위성 이미지 생성

영국 연구진은 벡터 기반 맵을 실시간으로 위성 스타일 이미지로 변환할 수 있는 AI 기반 이미지 합성 시스템을 개발했습니다.

신경 아키텍처는 무결점 위성 이미지 합성(SSS)이라고 불리며, 더 높은 해상도와 최신 데이터를 제공하는 가상 환경과 내비게이션 솔루션을 제공할 수 있습니다. 또한, 위성 센서 해상도가 제한적이거나 사용할 수 없는 지역에서 현실적인 궤도 스타일 뷰를 제공할 수 있습니다.

해상도 없는 벡터 데이터를 더 높은 이미지 크기로 변환할 수 있으며, 네트워크 기반의 카트 그래픽 맵에서 빠르게 업데이트를 반영할 수 있습니다. 출처: https://arxiv.org/pdf/2111.03384.pdf

시스템의 능력을展示하기 위해, 연구진은 사용자가 다양한 렌더링 스케일과 세부 사항으로 생성된 위성 이미지를 볼 수 있는 인터랙티브 환경을 만들었습니다.

카트 그래픽 맵을 기반으로 생성된 환경으로 줌인합니다. 자세한 내용과 프로세스는 아래의 비디오에서 확인할 수 있습니다. 출처: https://www.youtube.com/watch?v=PqFySVpkZzg

또한, 시스템은 벡터 기반 맵에서 위성 스타일 이미지를 생성할 수 있기 때문에, 역사적인, 예측된 또는 허구의 세계를 구축하여 비행 시뮬레이터와 가상 환경에 통합할 수 있습니다. 또한, 연구진은 트랜스포머를 사용하여 카트 그래픽 데이터에서 완전한 3D 가상 환경을 생성할 수 있을 것으로 기대합니다.

근미래에, 저자는 их 프레임워크가 인터랙티브 시티 플래닝과 프로시저 모델링과 같은 실제 응용 프로그램에 사용될 수 있을 것으로 믿습니다. 예를 들어, 이해 관계자는 맵을 인터랙티브로 편집하고 몇 초 내에 프로젝트된 지형의鸟瞰図 이미지를 볼 수 있습니다.

새로운 논문은 리즈 대학교의 두 연구진에 의해 작성되었으며, 무결점 위성 이미지 합성이라고 제목지어졌습니다.

SSS 아키텍처는 런던을 재현하며, 재구성에 사용되는 기본 벡터 구조를 보여줍니다. 왼쪽 상단에 있는 전체 이미지는 보충 자료에서 8K 해상도로 사용할 수 있습니다.

아키텍처 및 소스 훈련 데이터

새로운 시스템은 UCL 버클리의 2017년 Pix2Pix와 NVIDIA의 SPADE 이미지 합성 아키텍처를 사용합니다. 프레임워크에는 두 개의 새로운 컨볼루션 신경망이 있습니다. map2sat은 벡터에서 픽셀 기반 이미지로의 변환을 수행하며, seam2cont은 256×256 타일을 모으는 방법을 계산하며, 인터랙티브 탐색 환경을 제공합니다.

SSS 아키텍처

시스템은 벡터 뷰와 실제 위성 이미지를 사용하여 위성 뷰를 합성하는 방법에 대한 일반적인 이해를 얻기 위해 훈련됩니다.

데이터셋에 사용된 벡터 기반 이미지는 GeoPackage (.geo) 파일에서 래스터화되며, 최대 13개의 클래스 레이블을 포함합니다. 이러한 레이블은 트랙, 자연 환경, 건물, 도로 등입니다. 이러한 레이블은 위성 이미지를 생성할 때 사용됩니다.

래스터화된.geo 위성 이미지는 또한 로컬 좌표 참조 시스템 메타데이터를 유지하며, 사용자가 생성된 맵을 인터랙티브로 탐색할 수 있도록 합니다.

하드 제약 조건下的 무결점 타일

탐색 가능한 맵 환경을 생성하는 것은 어려운 일입니다. 하드웨어 제약으로 인해 타일의 크기는 256×256 픽셀로 제한됩니다. 따라서 렌더링이나 구성 프로세스는 타일을 모으는 방법을 고려해야 합니다.

따라서 SSS는 다양한 스케일에서 내용의 변화를 생성하기 위해 스케일 공간 계층 구조의 생성자 네트워크를 사용합니다. 시스템은 사용자가 필요로 하는 任意의 중간 스케일에서 타일을 평가할 수 있습니다.

seam2cont 섹션은 map2sat 출력의 두 개의 중첩된 독립적인 레이어를 사용하며, 더 넓은 이미지의 contexto에서 적절한 경계를 계산합니다.

Seam2Cont 모듈은 map2sat 네트워크에서 타일이 있는 이미지와 타일이 없는 이미지를 사용하여 256×256 픽셀의 생성된 타일 사이의 무결점 경계를 계산합니다.

map2sat 네트워크는 256×256 픽셀에서만 훈련된 SPADE 네트워크의 최적화된 버전입니다. 저자는 이것이 가볍고 빠른 구현이라고 말하며, 31.5MB의 가중치를 가지며, 전체 SPADE 네트워크의 436.9MB와 비교할 수 있습니다.

3000개의 실제 위성 이미지를 사용하여 두 개의 서브 네트워크를 70 에포크 동안 훈련했습니다. 모든 이미지에는 동일한 의미 정보(예: ‘도로’와 같은 개념적 이해)와 지리적 위치 메타데이터가 포함되어 있습니다.

추가 자료는 프로젝트 페이지에서 사용할 수 있으며, 아래에 첨부된 비디오도 있습니다.