벡터 맵에서 위성 이미지 생성

영국의 연구원들이 벡터 기반 지도를 위성 스타일 이미지로 즉석에서 변환할 수 있는 AI 기반 이미지 합성 시스템을 개발했습니다.

신경 구조는 원활한 위성 이미지 합성 (SSS), 위성 이미지가 제공할 수 있는 것보다 더 나은 해상도를 가진 현실적인 가상 환경 및 내비게이션 솔루션의 전망을 제공합니다. 최신 정보(지도 제작 지도 시스템이 실시간으로 업데이트될 수 있기 때문에) 위성 센서 해상도가 제한되거나 사용할 수 없는 지역에서 현실적인 궤도 스타일 보기를 용이하게 할 수 있습니다.

해상도가 없는 벡터 데이터는 종종 실제 위성 이미지에서 사용할 수 있는 것보다 훨씬 더 큰 이미지 크기로 변환될 수 있으며 새로운 장애물이나 도로 네트워크 인프라의 변경과 같은 네트워크 기반 지도 제작 지도의 업데이트를 신속하게 반영할 수 있습니다. 출처 : https://arxiv.org/pdf/2111.03384.pdf

시스템의 성능을 입증하기 위해 연구자들은 대화형 Google 어스 스타일 환경을 만들었습니다. 여기서 뷰어는 생성된 위성 이미지를 다양한 렌더링 배율 및 세부 정보로 확대하고 관찰할 수 있으며 타일은 실시간으로 거의 동일하게 업데이트됩니다. 위성 이미지를 위한 기존의 대화형 시스템과 같은 방식:

지도 제작 지도를 기반으로 생성된 환경을 확대합니다. 더 나은 해상도와 프로세스에 대한 자세한 내용은 기사 끝에 있는 비디오를 참조하십시오. 출처: https://www.youtube.com/watch?v=PqFySVpkZzg

또한 이 시스템은 모든 벡터 기반 지도에서 위성 스타일 이미지를 생성할 수 있기 때문에 이론적으로 비행 시뮬레이터 및 가상 환경에 통합하기 위해 역사적, 투영된 또는 가상 세계를 구축하는 데 사용할 수 있습니다. 또한 연구원들은 변압기를 사용하여 지도 제작 데이터에서 완전한 3D 가상 환경을 합성할 것으로 예상합니다.

단기적으로 저자는 그들의 프레임워크가 인터랙티브 도시 계획 및 절차적 모델링을 포함하여 이해 관계자가 맵을 인터랙티브하게 편집하고 조감도 이미지를 볼 수 있는 시나리오를 구상하는 여러 실제 응용 프로그램에 사용될 수 있다고 믿습니다. 몇 초 안에 투영된 지형.

새로운 종이 리즈 대학(University of Leeds)의 XNUMX명의 연구원이 제공하며 제목은 원활한 위성 이미지 합성.

SSS 아키텍처는 재구성을 제공하는 기본 벡터 구조를 엿볼 수 있도록 런던을 재현합니다. 왼쪽 상단 삽입, 전체 이미지, 8k 해상도의 보충 자료로 제공됩니다.

아키텍처 및 소스 교육 데이터

새로운 시스템은 UCL Berkeley의 2017을 사용합니다. 픽스투픽스 그리고 엔비디아의 스페이드 이미지 합성 아키텍처. 프레임워크에는 두 개의 새로운 컨볼루션 신경망이 포함되어 있습니다. map2sat, 벡터에서 픽셀 기반 이미지로의 변환을 수행합니다. 그리고 seam2cont256×256 타일을 함께 모으는 완벽한 방법을 계산할 뿐만 아니라 대화형 탐색 환경을 제공합니다.

SSS의 아키텍처.

이 시스템은 벡터 보기 및 실제 위성 등가물에 대한 교육을 통해 위성 보기를 합성하는 방법을 학습하여 벡터 패싯을 사진과 같은 해석으로 해석하는 방법에 대한 일반화된 이해를 형성합니다.

데이터 세트에 사용된 벡터 기반 이미지는 다음과 같은 최대 13개의 클래스 레이블을 포함하는 GeoPackage(.geo) 파일에서 래스터화됩니다. 선로, 자연 환 ​​경, 건물 와 도로, 위성 보기에 넣을 이미지 종류를 결정하는 데 활용됩니다.

래스터화된 .geo 위성 이미지는 또한 로컬 좌표 참조 시스템 메타데이터를 유지하여 더 넓은 지도 프레임워크의 컨텍스트로 해석하고 사용자가 생성된 지도를 대화식으로 탐색할 수 있도록 합니다.

엄격한 제약 조건에서 매끄러운 타일

프로젝트의 하드웨어 제한으로 인해 타일 크기가 256 x 256 픽셀로만 제한되기 때문에 탐색 가능한 지도 환경을 만드는 것은 어려운 일입니다. 따라서 렌더링 또는 컴포지션 프로세스에서 당면한 타일에만 집중하는 대신 '더 큰 그림'을 고려하는 것이 중요합니다. 그러면 타일이 조합될 때 병치 현상이 발생하고 도로가 갑자기 색상이 바뀌며 기타 다른 문제가 발생하지 않습니다. - 사실적인 렌더링 아티팩트.

따라서 SSS는 생성기 네트워크의 스케일 공간 계층 구조를 사용하여 다양한 스케일로 컨텐츠의 변형을 생성하고 시스템은 뷰어가 필요로 할 수 있는 중간 스케일에서 타일을 임의로 평가할 수 있습니다.

아키텍처의 seam2cont 섹션은 map2sat 출력의 두 개의 겹치고 독립적인 레이어를 사용하고 표현할 더 넓은 이미지의 컨텍스트 내에서 적절한 경계를 계산합니다.

seam2cont 모듈은 2×256 픽셀로 생성된 타일 사이의 이음매 없는 경계를 계산하기 위해 map256sat 네트워크에서 타일 이음새가 있는 이미지 하나와 이음새가 없는 이미지 하나를 사용합니다.

map2sat 네트워크는 256×256 픽셀에서 독점적으로 훈련된 본격적인 SPADE 네트워크의 최적화된 적응입니다. 저자는 이것이 가볍고 빠른 구현이며 전체 SPADE 네트워크에서 31.5mb에 비해 436.9mb의 가중치만 가져온다는 점에 주목합니다.

3000개의 실제 위성 이미지를 사용하여 70 에포크(epochs)의 훈련 시간 동안 두 개의 하위 네트워크를 훈련했습니다. 모든 이미지에는 동등한 의미론적 정보(예: '도로'와 같은 묘사된 객체에 대한 낮은 수준의 개념적 이해) 및 지리 기반 포지셔닝 메타데이터가 포함되어 있습니다.

추가 자료는 프로젝트 페이지와 함께 제공되는 비디오(아래에 포함됨)에서 확인할 수 있습니다.