UrbanScene3D: Semanttisesti merkityt kaupunkimaisemat itseohjautuvien ajoneuvojen tutkimukseen

Shenzhenin yliopiston Visual Computing Research Center Kiinassa on kehittänyt suuren mittakaavan kaupunkimaiseman tietokannan, joka tarjoaa monipuolisia, täysin semanttisesti merkittyjä simulaatioita useista maailman suurista kaupungeista, voimassa olevana resurssina ajo-, drone- ja muiden koneoppimisen ympäristösimulaatiotutkimushankkeiden tarpeisiin.

UrbanScene3D-simulaattorin nimellä, simulaattori sisältää monia tiheitä ja yksityiskohtaisia, navigoituja kaupunkien uudelleenjärjestelyjä realistisilla tekstuureilla. Monet skenaarioista on luotu ammattimaisesti mallintenemmistä, jotka työskentelevät julkisesti saatavilla olevista ilmakuvista, ja niissä on inhimillisen johdonmukaisuuden taso, joka on tällä hetkellä vaikea tai kallis simuloida täysin ohjelmallisissa kuvansynteesi- ja RGB-D-kaappausjärjestelmissä, jotka perustuvat fotogrammetriaan, kuten Neuraalinen säteilykenttä (NeRF).

Hanke käsittelee yhtä tietokoneen näön tutkimuksen suurista epätasapainoista – puutetta rikkaista, semanttisesti merkityistä kaupunkimaisemien tietokannoista, joilla on korkealaatuinen mallirakenne, verrattuna sisätilojen kaltaisten semanttisten ja mallinnusdatan erittäin korkeaan saatavuuteen.

UrbanScene3D:ssä suoritettavat simulaatiot voivat tarjota perusviittauksen myöhempien projektikohtaisiden tietokantojen luomiseen, jotka liittyvät itseohjautuviin ajoneuvoihin ja droneihin, muun muassa.

UrbanScene3D suorittaa AirSimiä ja tuottaa syvyyden karttoja. Lähde: https://arxiv.org/pdf/2107.04286.pdf

Hankkeen lähdekoodit, noin 70 Gt, on julkaistu ilmaiseksi tutkimuksen ja koulutuksen tarkoituksiin. Sen toteutus voidaan suorittaa C++-ympäristössä tai Pythonissa, ja se vaatii Unreal Engine 4 (suositellaan 4.24). Ilmailuhankkeiden, kuten dronekoulutuksen ja simulaation, osalta hanke tukee myös Microsoftin AirSimiä.

UrbanScene3D sisältää kuusi ammattimaisesti mallinnettua CAD-ympäristöä, jotka on luotu ammattimaisesti taiteilijoilta kuvista tai satelliittikartoista, sekä viisi uudelleenrakennettua todellista maailman ympäristöä. CAD-kohtaukset sisältävät New Yorkin, Chicagon, San Franciscon, Shenzhenin, Suzoun ja Shanghain kaupunkien uudelleenjärjestelyjä. Kuvista johdetut tiedot keskittyvät viiteen tarkkaan kohtaukseen näistä kaupungeista, mukaan lukien sairaala ja yliopiston kampus.

Kaupungit, jotka ovat edustettuina UrbanScene3D:ssä.

UrbanScene3D:n raakadatankerääminen on myös saatavilla, ja se sisältää korkearesoluutioisia ilmakuvia 6000×4000 pikseliä, ja 4K-ilma-videoita, sekä asennoita ja uudelleenrakennettuja 3D-malleja.

Hanke pyrkii korjaamaan olemassa olevien kaupunkimaisemien tietokantojen rajoituksia, ja se on ensimmäinen, joka tarjoaa korkealaatuisen CAD-tason yksityiskohtaisuuden yhdessä semanttisen merkitsemisen ja syvyydenkartoitusinformaation kanssa. Aikaisemmat pyrkimykset ovat:

COCO

Microsoftin Common Objects in Context (COCO) tietokanta, joka julkaistiin vuonna 2014, sisältää 1,5 miljoonaa objektin esiintymää 80 luokassa, sekä objektin tunnistamisen kontekstissa, ja viisi kuvaa kussakin kuvassa. COCO ei sisällä GT-meshiä asennolla tai syvyyden tiedolla.

COCO-explorer-ikoni. Lähde: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Karlsruhen teknillisen korkeakoulun ja Chicagon Toyota-tekniikan instituutin tuottama KITTI tarjoaa syvyyden tiedon, mutta ei instanssimaskia.

CityScape

Cityscapes Dataset for Semantic Urban Scene Understanding (myös CityScape) julkaistiin vuonna 2016, ja se sisältää tiheän semanttisen segmentoinnin ja instanssien segmentoinnin ihmisistä ja ajoneuvoista. Sen ensisijainen tavoite on auttaa itseohjautuvien ajoneuvojen kehityksessä ja sen lähialoilla olevissa kaupunkien valvontajärjestelmissä.

Se sisältää kahdeksan luokkaa, mukaan lukien flat, human, vehicle, construction, object, nature, sky ja void, ja tarjoaa hienot merkinnät 5000 kuvassa.

Lähde: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape julkaistiin vuonna 2020, ja se on samankaltainen kuin UrbanScene3D, mutta se ei sisällä CAD-mallinnusta.

ApolloCar3D

Vuonna 2018 julkaistu ja Baidu Researchin johtama ApolloCar3D on yhteistyö useiden akateemisten tutkimusyksiköiden välillä länsimaissa ja Aasiassa, mukaan lukien Kalifornian yliopisto San Diegossa, Australian kansallinen yliopisto ja Northwestern Polytechnical University Xi’anissa, Kiinassa.

ApolloCar3D on tarkoitettu erityisesti maanpinnan tasolla olevien itseohjautuvien ajoneuvojen tutkimukseen, ja se sisältää 5 277 ajokuvaa ja yli 60 000 ajoneuvon esiintymää, jotka on voimakkaasti yksityiskohtaisilla 3D-CAD-malleilla, ja ne on merkitty semanttisille avainpisteille. Tietokanta on yli 20 kertaa suurempi kuin KITTI, mutta toisin kuin UrbanScene3D, se sisältää vain osittaisen syvyyden tiedon.

66 avainkohtaa on määritelty kullekin CAD-lisätylle ajoneuvolle ApolloCar3D-tietokannassa. Lähde: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, jota kuvaillaan “kaupunkimittakaavan tietopohjaksi holistisen 3D-rakenteen oppimiseen”, on vuoden 2021 yhteistyö UC Berkeley, Stanford, USC ja Bytedance Research at Palo Alton välillä. Se koostuu kaupunkimittakaavan 3D-tietokannasta, jossa on korkea tason yksityiskohtaisuus, ja se tarjoaa 6 300 todellista panoramaa, jotka kattavat yli 20 neliökilometrin alueen.

Hanke on tarkoitettu todellisen maailman sovelluksiin, kuten paikannukseen, lisättyyn todellisuuteen, kartoittamiseen ja kaupunkimittakaavan uudelleenjärjestelyyn. Vaikka se sisältää CAD-mallinnuksen, yksityiskohtaisuuden taso on alempi kuin UrbanScene3D:ssä.

Lähde: https://github.com/zhou13/holicity