UrbanScene3D: Semanticky označené městské scény pro výzkum autonomních vozidel

Výzkumné centrum Visual Computing Research Center na univerzitě v Šen-čenu v Číně vyvinulo rozsáhlou sadu městských scénářů, která nabízí různorodé, plně semanticky označené simulace mnoha významných měst po celém světě, jako zdroj pro výzkum autonomních vozidel, dronů a dalších typů strojového učení.

Jedná se o simulátor nazvaný UrbanScene3D, který nabízí různé husté a detailní, procházející městské rekonstrukce s realistickými texturami. Mnohé scénáře jsou vytvořeny profesionálními modeláři pracujícími s veřejně dostupnými leteckými daty a nabízejí úroveň lidské optimalizace, která je v současné době obtížná nebo drahá pro programatickou syntézu obrazu a RGB-D zachycení založenou na fotogrammetrii, jako je Neural Radiance Fields (NeRF).

Projekt řeší jednu z hlavních nerovností ve výzkumu počítačového vidění – nedostatek bohatých, semanticky označených městských prostředí s vysokou kvalitou modelové struktury, ve srovnání s velmi vysokou dostupností podobných semantických a modelových dat týkajících se vnitřních scén.

Simulace spuštěné v UrbanScene3D mohou poskytnout základ pro generování následujících projektově specifických dat souvisejících s autonomními vozidly a drony, mezi jinými možnostmi.

UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf

Zdrojové soubory projektu, kolem 70 GB, byly vydány zdarma pro účely výzkumu a vzdělávání. Implementace může běžet v C++ prostředí nebo v Pythonu a vyžaduje Unreal Engine 4 (s doporučenou verzí 4.24). Pro letecké projekty, jako je školení a simulace dronů, projekt také podporuje Microsoft AirSim.

UrbanScene3D nabízí šest profesionálně modelovaných CAD prostředí generovaných profesionálními umělci z obrázků nebo ze satelitních map, spolu s pěti rekonstruovanými skutečnými světy. CAD scény nabízejí rekonstrukce New Yorku, Chicaga, San Francisca, Šen-čenu, Su-čou a Šanghaje. Obrázky odvozené z dat se soustředí na pět konkrétních scén z těchto měst, včetně nemocnice a univerzitního kampusu.

Města reprezentovaná v UrbanScene3D.

Surová akviziční data pro UrbanScene3D jsou také k dispozici, nabízející vysoké rozlišení leteckých obrázků o velikosti 6000×4000 pixelů a 4K leteckých videí, spolu s polohami a rekonstruovanými 3D modely.

Cílem projektu je řešit omezení stávajících městských scénářů a je prvním, který nabízí vysokou kvalitu CAD-level detailů spolu se semantickým označením a informacemi o hloubce. Předchozí úsilí zahrnuje:

COCO

Společnost Microsoft vydala v roce 2014 dataset COCO, který nabízí 1,5 milionu objektových instancí napříč 80 kategoriemi, spolu s rozpoznáním objektů v kontextu a pěti popisky na obrázek. COCO neobsahuje GT mesh s polohou nebo informacemi o hloubce.

The COCO explorer icon set. Source: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Produkovaný Karlsruhe Institute of Technology a Toyota Technological Institute at Chicago, KITTI poskytuje informace o hloubce, ale ne instance masky.

CityScape

Dataset Cityscapes Dataset pro Semantic Urban Scene Understanding (aka CityScape) byl vydán v roce 2016 a nabízí hustou semantickou segmentaci a instanci segmentaci lidí a vozidel. Jeho primárním cílem je pomoci při vývoji autonomních vozidel a souvisejících sektorů městského monitoringu.

Nabízí osm tříd, včetně flat, human, vehicle, construction, object, nature, sky a void, a nabízí jemné anotace napříč 5000 obrázky.

Source: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape byl vydán v roce 2020 a je podobný funkcím UrbanScene3D, kromě toho, že postrádá CAD modelování.

ApolloCar3D

Spuštěn v roce 2018 a vedený Baidu Research, ApolloCar3D je spolupráce mezi několika akademickými výzkumnými jednotkami na západě a v Asii, včetně University of California at San Diego, Australian National University a Northwestern Polytechnical University at Xi’an, Čína.

ApolloCar3D je specificky zaměřen na výzkum autonomních vozidel na úrovni terénu a nabízí 5 277 jízdních obrázků a více než 60 000 vozidel s podrobnými 3D CAD modely vykreslenými v absolutních velikostech a označenými pro semantické klíčové body. Dataset je více než 20krát větší než KITTI, ale na rozdíl od UrbanScene3D nabízí pouze částečné informace o hloubce.

66 key-points are defined for each CAD-augmented vehicle in the ApolloCar3D dataset. Source: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, popsán jako ‘A City-Scale Data Platform for Learning Holistic 3D Structures’, je spolupráce z roku 2021 mezi UC Berkeley, Stanford, USC a Bytedance Research at Palo Alto. Skládá se z městského datasetu s vysokou úrovní strukturálních detailů a nabízí 6 300 reálných panoramatických scén pokrývajících oblast přesahující 20 čtverečních kilometrů.

Projekt je zaměřen na reálné aplikace, jako je lokalizace, rozšířená realita, mapování a městská rekonstrukce. Ačkoli nabízí CAD modelování, úroveň detailů je nižší než u UrbanScene3D.

Source: https://github.com/zhou13/holicity

Projekt je zaměřen na reálné aplikace, jako je lokalizace, rozšířená realita, mapování a městská rekonstrukce. Ačkoli nabízí CAD modelování, úroveň detailů je nižší než u UrbanScene3D.