UrbanScene3D: Otonom Araç Araştırması için Anlamsal Etiketli Şehir Manzaraları

Çin’deki Shenzhen Üniversitesi’ndeki Görsel Bilgisayar Araştırma Merkezi, sürüş, drone ve diğer türdeki makine öğrenimi çevre simülasyon araştırma girişimlerinin bir kaynağı olarak, dünyanın dört bir yanındaki birçok büyük şehrin çeşitli, tamamen anlamsal olarak etiketlenmiş simülasyonlarını sunan büyük ölçekli bir kentsel sahne veri seti geliştirdi.

UrbanScene3D olarak adlandırılan simülatör, gerçekçi dokularla birlikte yoğun ve ayrıntılı, gezilebilir kentsel yeniden yapılandırmalar sunar. Senaryoların çoğu, profesyonel modelleyiciler tarafından halka açık havadan veri kullanılarak oluşturulur ve fotogrametri gibi programatik görüntü sentezi ve RGB-D yakalama sistemlerine kıyasla şu anda zor veya pahalı olan bir düzeyde insan tarafından yönlendirilen optimizasyonu içerir.

Proje, bilgisayar görüşü araştırmasındaki büyük dengesizliklerden birini ele alır – yüksek kaliteli model yapısı ile birlikte zengin, anlamsal olarak etiketlenmiş kentsel çevre veri setlerinin eksikliği.

UrbanScene3D’de çalışan simülasyonlar, otonom araçlar ve dronlar da dahil olmak üzere çeşitli olasılıklar için proje özel veri setlerinin oluşturulması için temel gerçeklik sağlayabilir.

UrbanScene3D, AirSim’i çalıştırıyor ve derinlik haritaları üretiyor. Kaynak: https://arxiv.org/pdf/2107.04286.pdf

Projenin kaynak dosyaları, yaklaşık 70 GB, araştırma ve eğitim amaçları için ücretsiz olarak yayınlandı. Uygulama, C++ ortamında veya Python’da çalışabilir ve Unreal Engine 4 (4.24 önerilir) gerektirir. Havadan projeler için, chẳng hạn như drone eğitimi ve simülasyonu, proje ayrıca Microsoft’un AirSim’ini destekler.

UrbanScene3D, profesyonel sanatçılar tarafından görüntülerden veya uydu haritalarından oluşturulan altı profesyonel olarak modellenmiş CAD ortamı ve beş yeniden oluşturulmuş gerçek dünya ortamı sunar. CAD sahneleri, New York, Chicago, San Francisco, Shenzhen, Suzhou ve Shanghai şehirlerinin yeniden yapılandırmalarını içerir. Görüntü türetilen veriler, bu şehirlerin beş özel sahnesine odaklanır, bunlar arasında bir hastane ve bir üniversite kampüsü bulunur.

UrbanScene3D’de temsil edilen şehirler.

UrbanScene3D için ham edinme verileri de sunuluyor, 6000×4000 piksel yüksek çözünürlüklü havadan görüntüler ve 4K havadan videolar, ayrıca pozlar ve yeniden oluşturulmuş 3D modeller içeriyor.

Proje, mevcut kentsel sahne veri setlerinin sınırlamalarını ele almaya yönelik bir girişimdir ve yüksek kaliteli CAD düzeyindeki ayrıntı ile birlikte anlamsal etiketleme ve derinlik harita bilgilerini sunan ilk veri setidir. Önceki çabalar arasında:

COCO

2014 yılında yayınlanan Microsoft’un Common Objects in Context (COCO) veri seti, 80 kategoride 1,5 milyon nesne örneği, nesne tanıma ve beş kaptan oluşan görüntüleri sunar. COCO, GT mesh ile poz veya derinlik bilgilerini içermez.

COCO gezgin simgesi kümesi. Kaynak: https://arxiv.org/pdf/1405.0312.pdf

KITTI Görsel Benchmark Suite

Karlsruhe Teknoloji Enstitüsü ve Chicago’daki Toyota Teknolojik Enstitüsü tarafından üretilen KITTI, derinlik bilgilerini sunar, ancak örnek maskelerini içermez.

CityScape

Cityscapes Dataset for Semantic Urban Scene Understanding (aka CityScape), 2016 yılında yayınlandı ve yoğun anlamsal segmentasyonu ve insanların ve araçların örnek segmentasyonunu içerir. Bu nedenle, birincil amacı otonom sürüş sistemlerinin ve kentsel izlemenin ilgili sektörlerinin geliştirilmesine yardımcı olmaktır.

Sekiz sınıf içerir: flat, insan, araç, inşaat, nesne, doğa, gök ve boşluk, ve 5000 görüntü üzerinde ince etiketler sunar.

Kaynak: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape, 2020 yılında yayınlandı ve özellikleri UrbanScene3D’ye benzer, ancak CAD modellemesi içermez.

ApolloCar3D

2018 yılında başlatılan ve Baidu Research tarafından liderliğindeki ApolloCar3D, California Üniversitesi, San Diego, Avustralya Ulusal Üniversitesi ve Çin’in Xi’an şehrindeki Northwestern Polytechnical Üniversitesi gibi akademik araştırma birimlerinin işbirliğidir.

ApolloCar3D, özellikle zemin düzeyinde otonom araç araştırması için tasarlandı ve 5.277 sürüş görüntüsü ve 60.000’den fazla araç örneği içerir. Veri seti, KITTI’den 20 kat daha büyük, ancak UrbanScene3D’nin aksine yalnızca kısmi derinlik bilgilerini içerir.

ApolloCar3D veri setindeki her bir CAD destekli araç için 66 anahtar nokta tanımlanmıştır. Kaynak: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, ‘Holistik 3D Yapıları Öğrenmek için Şehir Ölçeğinde Bir Veri Platformu’ olarak tanımlanan, 2021 yılında UC Berkeley, Stanford, USC ve Bytedance Research at Palo Alto arasında bir işbirliğidir. Şehir ölçekli bir 3D veri setini içerir ve yüksek düzeyde yapısal ayrıntı sunar. 6.300 gerçek dünya panoramik sahne sunar ve 20 kilometrekarelik bir alanı kapsar.

Proje, yerelleştirme, artırılmış gerçeklik, haritalama ve şehir ölçekli yeniden yapılandırma gibi gerçek dünya uygulamalarına yöneliktir. CAD modellemesi içerir, ancak ayrıntı düzeyi UrbanScene3D’nin altındadır.

Kaynak: https://github.com/zhou13/holicity