UrbanScene3D: Peisaje urbane semantice etichetate pentru cercetarea vehiculelor autonome

Centrul de Cercetare în Calcul Visual de la Universitatea Shenzhen din China a dezvoltat un set de date de scenarii urbane la scară largă care oferă simulări diverse, complet etichetate semantic, ale unor orașe majore din întreaga lume, ca resursă pentru inițiativele de cercetare ale mediului de învățare a mașinilor, precum conducerea, dronele și alte tipuri de simulări ale mediului.

Denumiți UrbanScene3D, simulatorul prezintă o varietate de reconstrucții urbane dense și detaliate, cu texturi realiste. Multe dintre scenarii sunt create de modelatori profesioniști care lucrează cu date aeriene disponibile public, și prezintă un nivel de optimizare condusă de oameni, care este în prezent dificil sau scump de simulat în sisteme de sinteză de imagine programatică și captură RGB-D bazate pe fotogrammetrie, cum ar fi Câmpurile de Radianță Neurală (NeRF).

Proiectul abordează una dintre principalele dezechilibre din cercetarea viziunii calculate – lipsa unor seturi de date bogate, etichetate semantic, ale mediului urban, cu structură de model de înaltă calitate, comparativ cu nivelul foarte ridicat de disponibilitate a datelor semantice și de modelare referitoare la scenele interioare.

Simulările rulate în UrbanScene3D pot furniza adevărul de bază pentru generarea unor seturi de date specifice proiectului referitoare la vehicule autonome și drone, printre alte posibilități.

UrbanScene3D rulează AirSim și produce hărți de adâncime. Sursă: https://arxiv.org/pdf/2107.04286.pdf

Fisierele sursă ale proiectului, de aproximativ 70gb, au fost lansate gratuit pentru scopuri de cercetare și utilizare educațională. Implementarea poate rula într-un mediu C++ sau în Python și necesită Unreal Engine 4 (cu 4.24 recomandat). Pentru proiecte aeriene, cum ar fi antrenamentul și simularea dronelor, proiectul susține și AirSim de la Microsoft.

UrbanScene3D prezintă șase medii CAD profesionist modelate, generate de artiști profesioniști din imagini sau hărți satelitare, împreună cu cinci medii reale reconstruite. Scenele CAD prezintă reconstrucții ale orașelor New York, Chicago, San Francisco, Shenzhen, Suzhou și Shanghai. Datele derivate din imagini se concentrează pe cinci scene specifice din aceste orașe, inclusiv un spital și un campus universitar.

Orașele reprezentate în UrbanScene3D.

Datele brute de achiziție pentru UrbanScene3D sunt de asemenea puse la dispoziție, prezentând imagini aeriene de înaltă rezoluție de 6000×4000 de pixeli și videouri aeriene 4K, împreună cu poziții și modelele 3D reconstruite.

Proiectul își propune să abordeze limitările seturilor de date urbane existente și este primul care oferă detalii de nivel CAD de înaltă calitate, împreună cu etichetare semantică și informații de hartă de adâncime. Eforturile anterioare includ:

COCO

Lansat în 2014, setul de date Common Objects in Context (COCO) al Microsoft dataset prezintă 1,5 milioane de instanțe de obiecte din 80 de categorii, împreună cu recunoașterea obiectelor în context și cinci subtitrări pentru fiecare imagine. COCO nu prezintă mesh GT cu poziție sau informații de adâncime.

Setul de icone al explorer-ului COCO. Sursă: https://arxiv.org/pdf/1405.0312.pdf

Suita de benchmark-uri de viziune KITTI

Producția Institutului de Tehnologie Karlsruhe și a Institutului Tehnologic Toyota din Chicago, KITTI oferă informații de adâncime, dar nu și măști de instanțe.

CityScape

Setul de date Cityscapes Dataset pentru înțelegerea semantică a scenelor urbane (cunoscut și sub numele de CityScape) a fost lansat în 2016 și prezintă segmentare semantică densă și segmentare de instanțe a oamenilor și vehiculelor. Prin urmare, obiectivul său principal este de a ajuta la dezvoltarea sistemelor de conducere autonomă și a sectoarelor adiacente de monitorizare urbană.

Prezintă opt clase, incluzând plat, om, vehicul, construcție, obiect, natură, cer și vid, și oferă anotări fine anotări pe 5000 de imagini.

Sursă: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape a fost lansat în 2020 și este similar în caracteristici cu UrbanScene3D, cu excepția faptului că lipsește modelarea CAD.

ApolloCar3D

Lansat în 2018 și condus de Baidu Research, ApolloCar3D este o colaborare între mai multe unități de cercetare academică din vest și Asia, incluzând Universitatea California din San Diego, Universitatea Națională Australiană și Universitatea Politehnică Northwestern din Xi’an, China.

ApolloCar3D se axează în mod special pe cercetarea vehiculelor autonome la nivelul solului și prezintă 5.277 de imagini de conducere și peste 60.000 de instanțe de vehicule, alimentate de modele 3D CAD detaliate, renderizate la dimensiuni absolute și etichetate pentru puncte cheie semantice. Setul de date este de peste 20 de ori mai mare decât KITTI, dar, în contrast cu UrbanScene3D, prezintă doar informații parțiale de adâncime.

Sunt definite 66 de puncte cheie pentru fiecare vehicul îmbunătățit cu CAD din setul de date ApolloCar3D. Sursă: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, descris ca “O platformă de date la scară de oraș pentru învățarea structurilor 3D holistice”, este o colaborare din 2021 colaborare între UC Berkeley, Stanford, USC și Bytedance Research din Palo Alto. Acesta cuprinde un set de date 3D la scară de oraș, cu un nivel ridicat de detalii structurale, și oferă 6.300 de scene panoramice din lumea reală, care acoperă o suprafață ce depășește 20 de kilometri pătrați.

Proiectul se axează pe aplicații din lumea reală, cum ar fi localizarea, realitatea augmentată, cartografierea și reconstrucția la scară de oraș. Deși prezintă modelare CAD, nivelul de detaliu este sub cel al UrbanScene3D.

Sursă: https://github.com/zhou13/holicity