UrbanScene3D: Paesaggi urbani etichettati semanticamente per la ricerca su veicoli autonomi

Il Visual Computing Research Center dell’Università di Shenzhen in Cina ha sviluppato un grande insieme di dati di scene urbane che offre simulazioni diverse e completamente etichettate semanticamente di numerose città importanti in tutto il mondo, come risorsa per iniziative di ricerca relative all’apprendimento automatico di ambienti di guida, drone e altri tipi di ambienti di simulazione.

Intitolato UrbanScene3D, il simulatore presenta una varietà di ricostruzioni urbane dense e dettagliate con texture realistiche. Molti degli scenari sono stati creati da modellisti professionisti che lavorano con dati aerei disponibili pubblicamente e presentano un livello di ottimizzazione guidata dall’uomo che attualmente è difficile o costoso da simulare in sistemi di sintesi di immagini completamente programmatici e di cattura RGB-D basati sulla fotogrammetria, come i Campi di Radianza Neurale (NeRF).

Il progetto affronta una delle principali disparità nella ricerca sulla visione artificiale – la mancanza di insiemi di dati di ambienti urbani ricchi ed etichettati semanticamente con una struttura di modello di alta qualità, rispetto al livello molto alto di disponibilità di dati semantici e di modellazione relativi a scene interne.

Le simulazioni eseguite in UrbanScene3D possono fornire la verità di base per la generazione di insiemi di dati specifici del progetto relativi a veicoli autonomi e drone, tra le altre possibilità.

UrbanScene3D in esecuzione con AirSim e produzione di mappe di profondità. Fonte: https://arxiv.org/pdf/2107.04286.pdf

I file sorgente del progetto, di circa 70gb, sono stati rilasciati gratuitamente per scopi di ricerca e utilizzo didattico. L’implementazione può essere eseguita in un ambiente C++ o in Python e richiede Unreal Engine 4 (con 4.24 consigliato). Per progetti aerei, come addestramento e simulazione di droni, il progetto supporta anche AirSim di Microsoft.

UrbanScene3D presenta sei ambienti CAD professionisti generati da artisti professionisti da immagini o mappe satellitari, insieme a cinque ambienti del mondo reale ricostruiti. Le scene CAD presentano ricostruzioni di New York, Chicago, San Francisco, Shenzhen, Suzhou e Shanghai. I dati derivati dalle immagini si concentrano su cinque scenari specifici di queste città, tra cui un ospedale e un campus universitario.

Città rappresentate in UrbanScene3D.

I dati di acquisizione grezza per UrbanScene3D sono resi disponibili anche, con immagini aeree ad alta risoluzione da 6000×4000 pixel e video aerei 4K, insieme alle pose e ai modelli 3D ricostruiti.

Il progetto mira ad affrontare le limitazioni degli insiemi di dati di scene urbane esistenti e rappresenta il primo a fornire dettagli di livello CAD di alta qualità insieme a etichettatura semantica e informazioni sulla mappa di profondità. Gli sforzi precedenti includono:

COCO

Rilasciato nel 2014, il set di dati Common Objects in Context (COCO) di Microsoft dataset presenta 1,5 milioni di istanze di oggetti in 80 categorie, insieme al riconoscimento di oggetti in contesto e cinque didascalie per immagine. COCO non presenta mesh GT con informazioni sulla posa o sulla profondità.

L’icona del set di icone di COCO Explorer. Fonte: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Prodotto dal Karlsruhe Institute of Technology e dal Toyota Technological Institute di Chicago, KITTI fornisce informazioni sulla profondità, ma non maschere di istanza.

CityScape

Il Cityscapes Dataset per la comprensione delle scene urbane semantiche (noto anche come CityScape) è stato rilasciato nel 2016 e presenta una segmentazione semantica densa e una segmentazione di istanza di persone e veicoli. Pertanto, il suo obiettivo principale è aiutare lo sviluppo di sistemi di guida autonoma e settori adiacenti di monitoraggio urbano.

Presenta otto classi, tra cui piatto, umano, veicolo, costruzione, oggetto, natura, cielo e vuoto, e offre annotazioni fini in 5000 immagini.

Fonte: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape è stato rilasciato nel 2020 e presenta caratteristiche simili a quelle di UrbanScene3D, tranne che per la mancanza di modellazione CAD.

ApolloCar3D

Lanciato nel 2018 e guidato da Baidu Research, ApolloCar3D è una collaborazione tra diverse unità di ricerca accademiche in Occidente e in Asia, tra cui l’Università della California a San Diego, l’Università Nazionale Australiana e l’Università Politecnica del Nord-Ovest a Xi’an, Cina.

ApolloCar3D è specificamente rivolto alla ricerca su veicoli autonomi a livello del suolo e presenta 5.277 immagini di guida e oltre 60.000 istanze di veicoli alimentate da modelli 3D CAD dettagliati e etichettati per punti chiave semantici. L’insieme di dati è più di 20 volte più grande di KITTI, ma, a differenza di UrbanScene3D, presenta solo informazioni di profondità parziale.

66 punti chiave sono definiti per ogni veicolo aumentato con CAD nel set di dati ApolloCar3D. Fonte: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, descritto come ‘Una piattaforma di dati a scala di città per l’apprendimento di strutture 3D olistiche’, è una collaborazione del 2021 collaborazione tra UC Berkeley, Stanford, USC e Bytedance Research a Palo Alto. Comprende un insieme di dati 3D a scala di città con un alto livello di dettaglio strutturale e offre 6.300 scene panoramiche del mondo reale che coprono un’area superiore a 20 chilometri quadrati.

Il progetto è rivolto ad applicazioni nel mondo reale come la localizzazione, la realtà aumentata, la mappatura e la ricostruzione a scala di città. Sebbene presenti modellazione CAD, il livello di dettaglio è inferiore a quello di UrbanScene3D.

Fonte: https://github.com/zhou13/holicity