UrbanScene3D: Otonom Araç Araştırması için Semantik Etiketli Şehir Manzaraları

Çin’deki Shenzhen Üniversitesi’ndeki Görsel Bilgisayar Araştırma Merkezi, dünyanın dört bir yanındaki birçok büyük şehrin çeşitli, tam olarak semantik olarak etiketlenmiş simülasyonlarını sunan büyük ölçekli bir kentsel sahne veri seti geliştirdi. Bu, sürüş, drone ve diğer türdeki makine öğrenimi çevre simülasyon araştırma girişimlerine bir kaynak olarak hizmet vermektedir.

UrbanScene3D olarak adlandırılan simülatör, gerçekçi dokularla birlikte yoğun ve ayrıntılı, navigasyonlu kentsel yeniden yapılandırmalar sunar. manyetik senaryolar, profesyonel modelleyiciler tarafından kamuoyuna açık havadan veri kullanılarak oluşturulur ve programatik görüntü sentezi ve RGB-D yakalama sistemlerine kıyasla daha yüksek bir insan tarafından optimize edilmiş düzey sunar. fotogrametri gibi sistemler.

Proje, bilgisayarlı görme araştırmalarındaki önemli bir dengesizliği ele alır – yüksek kaliteli model yapısı ve semantik etiketleme ile birlikte zengin, semantik olarak etiketlenmiş kentsel çevre veri setlerinin eksikliği. İç mekan sahnelerine ilişkin benzer veri setlerinin çok yüksek düzeyde kullanılabilirliğine kıyasla.

UrbanScene3D’de çalışan simülasyonlar, otonom araçlar ve dronlar da dahil olmak üzere çeşitli olasılıklar için proje özel veri setlerinin oluşturulması için temel gerçeklik sağlayabilir.

UrbanScene3D, AirSim’i çalıştırıyor ve derinlik haritaları üretiyor. Kaynak: https://arxiv.org/pdf/2107.04286.pdf

Projenin kaynak dosyaları, yaklaşık 70gb, araştırma ve eğitim amaçları için ücretsiz olarak yayınlandı. Uygulama, C++ ortamında veya Python’da çalışabilir ve Unreal Engine 4 (4.24 önerilir) gerektirir. Havada çalışan projeler için, seperti dron eğitim ve simülasyon, proje ayrıca Microsoft’un AirSim‘ini destekler.

UrbanScene3D, profesyonel sanatçılar tarafından görüntülerden veya uydu haritalarından oluşturulan altı profesyonel olarak modellenmiş CAD ortamı ve beş yeniden oluşturulmuş gerçek dünya ortamı sunar. CAD sahneleri, New York, Chicago, San Francisco, Shenzhen, Suzhou ve Shanghai şehirlerinin yeniden yapılandırmalarını içerir. Görüntüden türetilen veriler, bu şehirlerin beş özel sahnesine odaklanır, bunlar arasında bir hastane ve bir üniversite kampüsü bulunur.

UrbanScene3D’de temsil edilen şehirler.

UrbanScene3D için ham edinme verileri de yayınlandı, bunlar 6000×4000 piksel yüksek çözünürlüklü havadan görüntüler ve 4K havadan videolar, ayrıca pozlar ve yeniden oluşturulmuş 3D modeller içerir.

Proje, mevcut kentsel sahne veri setlerinin sınırlarını ele almaya yöneliktir ve yüksek kaliteli CAD düzeyindeki ayrıntı ile birlikte semantik etiketleme ve derinlik haritası bilgileri sunan ilk veri setidir. Önceki çabalar arasında:

COCO

2014 yılında yayınlanan Microsoft’un Common Objects in Context (COCO) veri seti, 80 kategoriye ait 1,5 milyon nesne örneği, nesne tanıma ve her görüntüye beş kaptır içerir. COCO, GT mesh ile poz veya derinlik bilgisi içermez.

COCO gezgin simgesi kümesi. Kaynak: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Karlsruhe Teknoloji Enstitüsü ve Chicago’daki Toyota Teknolojik Enstitüsü tarafından üretilen KITTI, derinlik bilgisi sunar, ancak örnek maskeleri içermez.

CityScape

Cityscapes Dataset için Semantic Urban Scene Understanding (aka CityScape), 2016 yılında yayınlandı ve yoğun semantik segmentasyon, insan ve araçların örnek segmentasyonu sunar. Bu nedenle, birincil amacı, otonom sürüş sistemleri ve kentsel izleme alanındaki komşu sektörlerin geliştirilmesine yardımcı olmaktır.

Bu, sekiz sınıf içerir, bunlar arasında düz, insan, araç, inşaat, nesne, doğa, gök ve boşluk bulunur ve 5000 görüntüde ince annotasyonlar sunar.

Kaynak: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape, 2020 yılında yayınlandı ve UrbanScene3D’ye benzer özelliklere sahiptir, ancak CAD modelleme içermez.

ApolloCar3D

2018 yılında başlatılan ve Baidu Araştırma tarafından yürütülen ApolloCar3D, Batı ve Asya’daki çeşitli akademik araştırma birimlerinin bir işbirliğidir, bunlar arasında Kaliforniya Üniversitesi, San Diego, Avustralya Ulusal Üniversitesi ve Xi’an, Çin’deki Northwestern Polytechnical Üniversitesi bulunur.

ApolloCar3D, zemin seviyesindeki otonom araç araştırmalarına özel olarak yöneliktir ve 5,277 sürüş görüntüsü ve 60,000’den fazla araç örneği sunar, bunlar ayrıntılı 3D CAD modelleri ile güçlendirilir ve semantik anahtar noktaları için etiketlenir. Veri seti, KITTI’den 20 kat daha büyüktür, ancak UrbanScene3D’nin aksine, yalnızca kısmi derinlik bilgisi içerir.

ApolloCar3D veri setindeki her bir CAD destekli araç için 66 ana nokta tanımlanır. Kaynak: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, ‘A City-Scale Data Platform for Learning Holistic 3D Structures’ olarak tanımlanır ve 2021 işbirliği UC Berkeley, Stanford, USC ve Bytedance Araştırma tarafından Palo Alto’da yapılmıştır. Şehir ölçekli bir 3D veri seti sunar ve 6,300 gerçek dünya panoramik sahnesi içerir, bunlar 20 kilometrekareden fazla bir alanı kapsar.

Proje, yerelleştirme, artırılmış gerçeklik, haritalama ve şehir ölçekli yeniden yapılandırma gibi gerçek dünya uygulamalarına yöneliktir. CAD modelleme içerir, ancak ayrıntı düzeyi UrbanScene3D’nin altında kalır.

Kaynak: https://github.com/zhou13/holicity