UrbanScene3D: 자율 주행차 연구를 위한 의미적으로 레이블이 지정된 도시 풍경

중국 深圳 대학의 Visual Computing Research Center는 여러 주요 도시를 시뮬레이션하는 대규모 도시 장면 데이터 세트를 개발하여 자율 주행차, 드론 및 기타 기계 학습 환경 시뮬레이션 연구와 같은 연구를 위한 자원으로 제공하고 있습니다.

UrbanScene3D라는 시뮬레이터는 다양한 밀도와 세부적인 도시 재구성과 실제적인 텍스처를 특징으로 합니다. 많은 시나리오는 전문 모델러들이 공공적으로 이용 가능한 항공 데이터에서 작업하여, 현재 프로그래밍 방식의 이미지 합성과 RGB-D 캡처 시스템에서 어려운 또는 비싼 시뮬레이션을 제공하는 인간 주도 최적화를 특징으로 합니다.

이 프로젝트는 컴퓨터 비전 연구에서 주요 불균형을 해결하려고 합니다. 즉, 높은 품질의 모델 구조와 함께 풍부한 의미적으로 레이블이 지정된 도시 환경 데이터 세트의 부족입니다.

UrbanScene3D에서 실행되는 시뮬레이션은 자율 주행차와 드론을 포함한 후속 프로젝트에 대한 데이터 세트 생성을 위한 기준을 제공할 수 있습니다.

UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf

이 프로젝트의 소스 파일은 약 70GB로, 연구 및 교육용으로 무료로 공개되었습니다. 구현은 C++ 환경이나 Python에서 실행할 수 있으며, Unreal Engine 4(4.24 권장)를 필요로 합니다. 항공 프로젝트의 경우, 프로젝트는 Microsoft의 AirSim도 지원합니다.

UrbanScene3D는 전문 모델러들이 이미지 또는 위성 지도에서 작업하여 생성한 6개의 전문적으로 모델링된 CAD 환경과 5개의 실제 세계 환경을 특징으로 합니다. CAD 장면은 뉴욕, 시카고, 샌프란시스코, 深圳,蘇州, 上海의 도시를 재구성합니다. 이미지에서 파생된 데이터는 이들 도시의 5개 장면을 중심으로 합니다.

UrbanScene3D에 나타난 도시들.

UrbanScene3D의 원시 수집 데이터도 공개되며, 6000×4000 픽셀의 고해상도 항공 이미지와 4K 항공 비디오, 그리고 재구성된 3D 모델을 특징으로 합니다.

이 프로젝트는 기존의 도시 장면 데이터 세트의 제한을 해결하려고 합니다. 이는 높은 품질의 CAD 수준의 세부 사항과 함께 의미적으로 레이블이 지정된 도시 환경 데이터 세트를 제공하는 첫 번째 프로젝트입니다. 이전의 노력에는 다음이 포함됩니다:

COCO

2014年に 공개된 마이크로소프트의 COCO(COCO) 데이터 세트는 80개의 카테고리에서 150만 개의 객체 인스턴스와 함께 객체 인식 및 5개의 캡션을 특징으로 합니다. COCO에는 GT 메시와 포즈 또는 깊이 정보가 포함되어 있지 않습니다.

COCO 탐색기 아이콘 세트. Source: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

카를스루에 공과 대학과 시카고의 토요타 기술 연구소에서 제작한 KITTI는 깊이 정보를 제공하지만 인스턴스 마스크는 제공하지 않습니다.

CityScape

Cityscapes Dataset(도시 풍경 이해를 위한 시맨틱 도시 장면)은 2016년에 공개되었으며, 밀도 있는 시맨틱 분할과 사람 및 차량의 인스턴스 분할을 특징으로 합니다. 이는 자율 주행 시스템과 도시 모니터링의 개발을 지원하기 위한 것입니다.

이 데이터 세트는 8개의 클래스를 특징으로 하며, 평면, 인간, 차량, 건설, 객체, 자연, 하늘, 공백을 포함합니다. 또한 5000개의 이미지에 걸쳐 세밀한 주석을 제공합니다.

Source: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape는 2020년에 공개되었으며, UrbanScene3D와 비슷한 기능을 가지고 있지만 CAD 모델링이 포함되어 있지 않습니다.

ApolloCar3D

2018年に 공개된 ApolloCar3D는 바둑 연구소와 함께하는 협력 프로젝트로, 미국 캘리포니아 대학교 샌디에고, 호주 국립 대학교, 중국 시안의 북서공업대학을 포함한 여러 학술 연구 단위가 참여했습니다.

ApolloCar3D는 지상 수준의 자율 주행차 연구를 목표로 하며, 5,277개의 주행 이미지와 60,000개 이상의 차량 인스턴스를 특징으로 합니다. 이는 UrbanScene3D와 비교하여 부분적인 깊이 정보만을 제공합니다.

ApolloCar3D 데이터 세트의 CAD 증강 차량에 대해 66개의 키 포인트가 정의되어 있습니다. Source: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity는 ‘holistic 3D 구조 학습을 위한 도시 규모 플랫폼’으로 설명되며, 2021년 버클리 대학교, 스탠퍼드 대학교, USC, 그리고 팔로 알토의 바이트댄스 연구소 간의 협력 프로젝트입니다. 이는 도시 규모의 3D 데이터 세트를 특징으로 하며, 20제곱 킬로미터 이상의 지역을 다루는 6,300개의 실제 파노라마 장면을 제공합니다.

이 프로젝트는 현실 세계의 응용 프로그램을 목표로 하며, 위치 지정, 증강 현실, 매핑, 도시 규모 재구성을 포함합니다. UrbanScene3D와 비교하여 CAD 모델링의 세부 수준은 낮습니다.

Source: https://github.com/zhou13/holicity