UrbanScene3D: Semantycznie Oznaczone Krajobrazy Miejskie dla Badań nad Autonomicznymi Pojazdami

Centrum Badań Komputerowych na Uniwersytecie w Shenzhen w Chinach opracowało duży zestaw danych scen miejskich, który oferuje zróżnicowane, w pełni semantycznie oznaczone symulacje wielu dużych miast na świecie, jako zasób dla inicjatyw badawczych związanych z prowadzeniem pojazdów, dronów i innych rodzajów środowisk symulowanych przez maszyny.

Zatytułowany UrbanScene3D, symulator oferuje różnorodne, szczegółowe i nawigowalne odtworzenia miast z realistycznymi teksturami. Wiele scenariuszy zostało stworzonych przez profesjonalnych modelerów pracujących na podstawie publicznie dostępnych danych lotniczych, i posiada poziom optymalizacji prowadzonej przez ludzi, który obecnie jest trudny lub drogi do symulacji w całkowicie programowych systemach syntezy obrazu i przechwytywania RGB-D opartych na fotogrametrii, takich jak Neural Radiance Fields (NeRF).

Projekt rozwiązuje jeden z głównych problemów w badaniach nad widzeniem komputerowym – brak bogatych, semantycznie oznaczonych zestawów danych środowisk miejskich o wysokiej jakości modelu, w porównaniu z bardzo wysokim poziomem dostępności podobnych danych semantycznych i modelowych dotyczących wnętrz.

Symulacje uruchomione w UrbanScene3D mogą dostarczyć danych odniesienia do generowania kolejnych zestawów danych specyficznych dla projektu, związanych z autonomicznymi pojazdami i dronami, między innymi.

UrbanScene3D uruchamia AirSim i tworzy mapy głębi. Źródło: https://arxiv.org/pdf/2107.04286.pdf

Pliki źródłowe projektu, około 70 GB, zostały opublikowane bezpłatnie do celów badań i edukacji. Implementacja może działać w środowisku C++ lub Python, i wymaga Unreal Engine 4 (z zalecanym 4.24). Dla projektów powietrznych, takich jak szkolenie i symulacja dronów, projekt obsługuje również AirSim firmy Microsoft.

UrbanScene3D oferuje sześć profesjonalnie opracowanych środowisk CAD, wygenerowanych przez profesjonalnych artystów z obrazów lub map satelitarnych, wraz z pięcioma odtworzonymi środowiskami rzeczywistymi. Sceny CAD obejmują odtworzenia Nowego Jorku, Chicago, San Francisco, Shenzhen, Suzhou i Szanghaju. Dane pochodzące z obrazów koncentrują się na pięciu konkretnych scenach z tych miast, w tym szpitala i kampusu uniwersyteckiego.

Miasta reprezentowane w UrbanScene3D.

Surowe dane pozyskiwania dla UrbanScene3D są również udostępniane, zawierające zdjęcia lotnicze o wysokiej rozdzielczości 6000×4000 pikseli, oraz filmy lotnicze 4K, wraz z pozycjami i odtworzonymi modelami 3D.

Celem projektu jest rozwiązanie ograniczeń istniejących zestawów danych scen miejskich i jest pierwszym, który oferuje szczegółowe dane CAD wraz z oznaczeniami semantycznymi i informacjami o głębi. Poprzednie próby obejmują:

COCO

Opublikowany w 2014 roku, zestaw danych Common Objects in Context (COCO) firmy Microsoft zestaw danych zawiera 1,5 miliona instancji obiektów w 80 kategoriach, wraz z rozpoznawaniem obiektów w kontekście, oraz pięcioma podpisami na obrazie. COCO nie zawiera siatki z pozycją ani informacji o głębi.

Zestaw ikon COCO explorer. Źródło: https://arxiv.org/pdf/1405.0312.pdf

Zestaw benchmarkowy KITTI

Wyprodukowany przez Instytut Technologiczny w Karlsruhe i Instytut Technologiczny Toyoty w Chicago, KITTI oferuje informacje o głębi, ale nie maski instancji.

CityScape

Zestaw danych Cityscapes dla zrozumienia semantycznego scen miejskich (znany również jako CityScape) został opublikowany w 2016 roku i zawiera gęste segmentowanie semantyczne oraz segmentowanie instancji ludzi i pojazdów. Jego głównym celem jest wspomaganie rozwoju systemów jazdy autonomicznej i sąsiednich sektorów monitorowania miejskiego.

Zawiera osiem klas, w tym flat, ludzie, pojazd, budowla, obiekt, przyroda, niebo i pusta przestrzeń, oraz oferuje szczegółowe adnotacje na 5000 obrazach.

Źródło: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape został opublikowany w 2020 roku i jest podobny do UrbanScene3D, z wyjątkiem braku modelowania CAD.

ApolloCar3D

Zainicjowany w 2018 roku i kierowany przez Baidu Research, ApolloCar3D jest współpracą między kilkoma jednostkami badawczymi na Zachodzie i w Azji, w tym Uniwersytetem Kalifornijskim w San Diego, Australijskim Uniwersytetem Narodowym i Northwestern Polytechnical University w Xi’an, Chiny.

ApolloCar3D jest skierowany specjalnie do badań nad pojazdami autonomicznymi na poziomie gruntowym i zawiera 5 277 obrazów z jazdy, oraz ponad 60 000 instancji pojazdów zasilanych przez szczegółowe modele 3D CAD, renderowane w rozmiarach absolutnych, i oznaczone dla punktów kluczowych semantycznych. Zestaw danych jest ponad 20 razy większy niż KITTI, ale, w przeciwieństwie do UrbanScene3D, zawiera tylko częściowe informacje o głębi.

66 punktów kluczowych jest zdefiniowanych dla każdego pojazdu z modelem CAD w zestawie danych ApolloCar3D. Źródło: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, opisany jako ‘platforma danych o skali miasta do nauki całościowych struktur 3D’, jest współpracą z 2021 roku między UC Berkeley, Stanford, USC i Bytedance Research w Palo Alto. Składa się z zestawu danych o skali miasta z wysokim poziomem szczegółów strukturalnych, i oferuje 6 300 scen panoramicznych z prawdziwego świata, pokrywających obszar przekraczający 20 kilometrów kwadratowych.

Projekt jest skierowany do aplikacji w świecie rzeczywistym, takich jak lokalizacja, rzeczywistość rozszerzona, mapowanie i rekonstrukcja na skalę miasta. Chociaż zawiera modelowanie CAD, poziom szczegółów jest poniżej poziomu UrbanScene3D.

Źródło: https://github.com/zhou13/holicity

Projekt jest skierowany do aplikacji w świecie rzeczywistym, takich jak lokalizacja, rzeczywistość rozszerzona, mapowanie i rekonstrukcja na skalę miasta. Chociaż zawiera modelowanie CAD, poziom szczegółów jest poniżej poziomu UrbanScene3D.