Andersonův úhel

UrbanScene3D: Semanticky označené městské scény pro výzkum autonomních vozidel

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyUrbanScene3D nabízí 70 GB volně dostupných městských datových sad na úrovni CAD…
Zobrazit více
  • UrbanScene3D nabízí 70 GB volně dostupných městských datových sad na úrovni CAD sémantickými štítky a hloubkovými mapami.
  • Datová sada řeší nedostatek bohatě označených venkovních scén ve srovnání s hojnými daty z interiérových scén.
  • UrbanScene3D kombinuje profesionální modelování CAD s rekonstrukcemi reálného světa pro výzkum autonomních vozidel a dronů.

Výzkumné centrum Visual Computing Research Center na univerzitě v Šen-čenu v Číně vyvinulo rozsáhlou sadu městských scénářů, která nabízí různorodé, plně semanticky označené simulace mnoha významných měst po celém světě, jako zdroj pro výzkum autonomních vozidel, dronů a dalších typů strojového učení.

Jedná se o simulátor nazvaný UrbanScene3D, který nabízí různé husté a detailní, procházející městské rekonstrukce s realistickými texturami. Mnohé scénáře jsou vytvořeny profesionálními modeláři pracujícími s veřejně dostupnými leteckými daty a nabízejí úroveň lidské optimalizace, která je v současné době obtížná nebo drahá pro programatickou syntézu obrazu a RGB-D zachycení založenou na fotogrammetrii, jako je Neural Radiance Fields (NeRF).

 

Projekt řeší jednu z hlavních nerovností ve výzkumu počítačového vidění – nedostatek bohatých, semanticky označených městských prostředí s vysokou kvalitou modelové struktury, ve srovnání s velmi vysokou dostupností podobných semantických a modelových dat týkajících se vnitřních scén.

Simulace spuštěné v UrbanScene3D mohou poskytnout základ pro generování následujících projektově specifických dat souvisejících s autonomními vozidly a drony, mezi jinými možnostmi.

UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf

UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf

Zdrojové soubory projektu, kolem 70 GB, byly vydány zdarma pro účely výzkumu a vzdělávání. Implementace může běžet v C++ prostředí nebo v Pythonu a vyžaduje Unreal Engine 4 (s doporučenou verzí 4.24). Pro letecké projekty, jako je školení a simulace dronů, projekt také podporuje Microsoft AirSim.

UrbanScene3D nabízí šest profesionálně modelovaných CAD prostředí generovaných profesionálními umělci z obrázků nebo ze satelitních map, spolu s pěti rekonstruovanými skutečnými světy. CAD scény nabízejí rekonstrukce New Yorku, Chicaga, San Francisca, Šen-čenu, Su-čou a Šanghaje. Obrázky odvozené z dat se soustředí na pět konkrétních scén z těchto měst, včetně nemocnice a univerzitního kampusu.

Města reprezentovaná v UrbanScene3D.

Města reprezentovaná v UrbanScene3D.

Surová akviziční data pro UrbanScene3D jsou také k dispozici, nabízející vysoké rozlišení leteckých obrázků o velikosti 6000×4000 pixelů a 4K leteckých videí, spolu s polohami a rekonstruovanými 3D modely.

Cílem projektu je řešit omezení stávajících městských scénářů a je prvním, který nabízí vysokou kvalitu CAD-level detailů spolu se semantickým označením a informacemi o hloubce. Předchozí úsilí zahrnuje:

COCO

Společnost Microsoft vydala v roce 2014 dataset COCO, který nabízí 1,5 milionu objektových instancí napříč 80 kategoriemi, spolu s rozpoznáním objektů v kontextu a pěti popisky na obrázek. COCO neobsahuje GT mesh s polohou nebo informacemi o hloubce.

The COCO explorer icon set.

The COCO explorer icon set. Source: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Produkovaný Karlsruhe Institute of Technology a Toyota Technological Institute at Chicago, KITTI poskytuje informace o hloubce, ale ne instance masky.

CityScape

Dataset Cityscapes Dataset pro Semantic Urban Scene Understanding (aka CityScape) byl vydán v roce 2016 a nabízí hustou semantickou segmentaci a instanci segmentaci lidí a vozidel. Jeho primárním cílem je pomoci při vývoji autonomních vozidel a souvisejících sektorů městského monitoringu.

Nabízí osm tříd, včetně flat, human, vehicle, construction, object, nature, sky a void, a nabízí jemné anotace napříč 5000 obrázky.

Source: https://www.cityscapes-dataset.com/examples/#fine-annotations

Source: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape byl vydán v roce 2020 a je podobný funkcím UrbanScene3D, kromě toho, že postrádá CAD modelování.

ApolloCar3D

Spuštěn v roce 2018 a vedený Baidu Research, ApolloCar3D je spolupráce mezi několika akademickými výzkumnými jednotkami na západě a v Asii, včetně University of California at San Diego, Australian National University a Northwestern Polytechnical University at Xi’an, Čína.

ApolloCar3D je specificky zaměřen na výzkum autonomních vozidel na úrovni terénu a nabízí 5 277 jízdních obrázků a více než 60 000 vozidel s podrobnými 3D CAD modely vykreslenými v absolutních velikostech a označenými pro semantické klíčové body. Dataset je více než 20krát větší než KITTI, ale na rozdíl od UrbanScene3D nabízí pouze částečné informace o hloubce.

66 key-points are definied for each CAD-augmented vehicle in the ApolloCar3D dataset. Source: https://arxiv.org/pdf/1811.12222.pdf

66 key-points are defined for each CAD-augmented vehicle in the ApolloCar3D dataset. Source: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, popsán jako ‘A City-Scale Data Platform for Learning Holistic 3D Structures’, je spolupráce z roku 2021 mezi UC Berkeley, Stanford, USC a Bytedance Research at Palo Alto. Skládá se z městského datasetu s vysokou úrovní strukturálních detailů a nabízí 6 300 reálných panoramatických scén pokrývajících oblast přesahující 20 čtverečních kilometrů.

Projekt je zaměřen na reálné aplikace, jako je lokalizace, rozšířená realita, mapování a městská rekonstrukce. Ačkoli nabízí CAD modelování, úroveň detailů je nižší než u UrbanScene3D.

Source: https://github.com/zhou13/holicity

Source: https://github.com/zhou13/holicity

Projekt je zaměřen na reálné aplikace, jako je lokalizace, rozšířená realita, mapování a městská rekonstrukce. Ačkoli nabízí CAD modelování, úroveň detailů je nižší než u UrbanScene3D.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai