UrbanScene3D: Semantisk merket bylandskap for forskning på autonome kjøretøy

Visual Computing Research Center ved Shenzhen University i Kina har utviklet en stor skala byscene datamengde som tilbyr mangfoldige, fullstendig semantisk merket simuleringer av en rekke større byer rundt om i verden, som en ressurs for kjøring, drone og andre typer maskinlæringsmiljøsimuleringsforskningsinitiativer.

Betegnet UrbanScene3D, simulatorn har en rekke tette og detaljerte, navigerbare bygjenrekonstruksjoner med realistiske teksturer. Mange av scenariene er skapt av profesjonelle modellører som arbeider fra offentlig tilgjengelige luftdata, og har et nivå av menneskeledet optimalisering som for tiden er vanskelig eller dyrt å simulere i helt programmatisk bilde syntese og RGB-D-opptakssystemer basert på fotogrammetri, som Neural Radiance Fields (NeRF).

Prosjektet løser ett av de største ubalansene i datavisjonsforskning – en mangel på rike, semantisk merkte bymiljødatamengder med høy kvalitet modellstruktur, sammenlignet med det svært høye nivået av tilgjengelighet av lignende semantisk og modelleringdata relatert til interiørscener.

Simuleringer som kjøres i UrbanScene3D kan gi grunntruth for generering av påfølgende prosjektspesifikke datamengder relatert til autonome kjøretøy og droner, blant andre muligheter.

UrbanScene3D kjører AirSim, og produserer dybdekart. Kilde: https://arxiv.org/pdf/2107.04286.pdf

Prosjektets kildefiler, rundt 70gb, har blitt gjort tilgjengelige gratis for forsknings- og utdanningsformål. Implementering kan kjøres i en C++-miljø eller i Python, og krever Unreal Engine 4 (med 4.24 anbefalt). For luftprosjekter, som drone-trening og simulering, støtter prosjektet også Microsofts AirSim.

UrbanScene3D har seks profesjonelt modellerte CAD-miljøer generert av profesjonelle kunstnere fra bilder eller fra satellittkarter, sammen med fem rekonstruerte virkelige verden-miljøer. CAD-scenene har rekonstruksjoner av New York City, Chicago, San Francisco, Shenzhen, Suzhou og Shanghai. Bildedervierte data sentrerer seg på fem spesifikke scener fra disse byene, inkludert et sykehus og et universitetscampus.

Byer representert i UrbanScene3D.

De rå akseringsdataene for UrbanScene3D gjøres også tilgjengelige, med høyoppløselige luftbilder på 6000×4000 piksler, og 4K luftvideoer, sammen med posisjoner og de rekonstruerte 3D-modellene.

Prosjektet har som mål å løse begrensningene i eksisterende byscene datamengder, og er den første som tilbyr høykvalitets CAD-nivådetalj sammen med semantisk merking og dybdekartinformasjon. Tidligere forsøk inkluderer:

COCO

Utgitt i 2014, Microsofts Common Objects in Context (COCO) datamengde har 1,5 millioner objektinstanser over 80 kategorier, sammen med objektgjenkjenning i kontekst, og fem undertekster per bilde. COCO har ikke GT-mesh med posisjon eller dybdeinformasjon.

COCO-ikonsettet. Kilde: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Produsert av Karlsruhe Institute of Technology og Toyota Technological Institute at Chicago, KITTI tilbyr dybdeinformasjon, men ikke instansmasker.

CityScape

Cityscapes Dataset for Semantic Urban Scene Understanding (aka CityScape) ble utgitt i 2016, og har tett semantisk segmentering, og instanssegmentering av mennesker og kjøretøy. Som sådan er dens primære mål å hjelpe med utviklingen av autonome kjøretøyssystemer og tilstøtende sektorer av byovervåking.

Det har åtte klasser, inkludert flat, menneske, kjøretøy, konstruksjon, objekt, natur, himmel og tom, og tilbyr fine annotasjoner over 5000 bilder.

Kilde: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape ble utgitt i 2020, og er lignende i funksjoner til UrbanScene3D, bortsett fra at det mangler CAD-modellering.

ApolloCar3D

Lansert i 2018 og ledet av Baidu Research, ApolloCar3D er et samarbeid mellom en rekke akademiske forskningsenheter over hele verden, inkludert University of California at San Diego, Australian National University og Northwestern Polytechnical University at Xi’an, Kina.

ApolloCar3D er spesifikt rettet mot bakke-nivå autonome kjøretøyforskning, og har 5 277 kjørebilder, og over 60 000 kjøretøyinstanser drevet av detaljerte 3D CAD-modeller rendrede i absolutte størrelser, og merket for semantiske nøkkel-punkter. Datamengden er over 20 ganger større enn KITTI, men, i motsetning til UrbanScene3D, har den bare delvis dybdeinformasjon.

66 nøkkel-punkter er definert for hver CAD-forbedret kjøretøy i ApolloCar3D-datasettet. Kilde: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, beskrevet som ‘En by-skala data-plattform for læring av helhetlige 3D-strukturer’, er et samarbeid fra 2021 mellom UC Berkeley, Stanford, USC og Bytedance Research at Palo Alto. Det består av en by-skala 3D-dataset med høyt nivå av strukturell detalj, og tilbyr 6 300 virkelige verden-panorama-scener som dekker et område på over 20 kvadratkilometer.

Prosjektet er rettet mot virkelige anvendelser som lokaliserings-, forbedret virkelighet-, kartlegging og by-skala rekonstruksjon. Selv om det har CAD-modellering, er detaljnivået lavere enn UrbanScene3D.

Kilde: https://github.com/zhou13/holicity