अर्बनसीन3डी: स्वायत्त वाहन अनुसंधान के लिए सेमेंटिक रूप से लेबल वाले शहरी परिदृश्य

चीन में शेन्ज़ेन विश्वविद्यालय के विज़ुअल कंप्यूटिंग रिसर्च सेंटर ने एक बड़े पैमाने पर शहरी दृश्य डेटा सेट विकसित किया है जो दुनिया भर के कई प्रमुख शहरों के विविध, पूरी तरह से सेमेंटिक रूप से लेबल वाले सिमुलेशन प्रदान करता है, जो ड्राइविंग, ड्रोन और अन्य प्रकार के मशीन लर्निंग वातावरण-सिमुलेटिंग अनुसंधान पहलों के लिए एक संसाधन के रूप में है।

अर्बनसीन3डी नामक इस सिम्युलेटर में वास्तविक बनावट के साथ घने और विस्तृत, नेविगेबल शहरी पुनर्निर्माण की विविधता है। कई दृश्यों को पेशेवर मॉडलर्स द्वारा सार्वजनिक रूप से उपलब्ध हवाई डेटा से बनाया गया है, और इसमें मानव-नेतृत्व वाला अनुकूलन का स्तर है जो वर्तमान में पूरी तरह से प्रोग्राममैटिक इमेज सिंथेसिस और आरजीबी-डी कैप्चर सिस्टम में महंगा या कठिन है।

परियोजना कंप्यूटर विजन अनुसंधान में एक प्रमुख असंतुलन को संबोधित करती है – उच्च गुणवत्ता वाले मॉडल संरचना के साथ समृद्ध, सेमेंटिक रूप से लेबल वाले शहरी पर्यावरण डेटासेट की कमी, आंतरिक दृश्यों से संबंधित समान और मॉडलिंग डेटा की बहुत उच्च उपलब्धता की तुलना में।

अर्बनसीन3डी में चलने वाले सिमुलेशन स्वायत्त वाहनों और ड्रोनों से संबंधित परियोजना-विशिष्ट डेटासेट के जनरेशन के लिए ग्राउंड ट्रुथ प्रदान कर सकते हैं।

UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf

परियोजना के स्रोत फ़ाइलें, लगभग 70gb, मुक्त शोध और शिक्षा उपयोग के उद्देश्यों के लिए जारी किए गए हैं। कार्यान्वयन सी++ वातावरण में या पाइथन में चल सकता है, और अनरियल इंजन 4 (4.24 की सिफारिश के साथ) की आवश्यकता है। हवाई परियोजनाओं के लिए, जैसे कि ड्रोन प्रशिक्षण और सिमुलेशन, परियोजना माइक्रोसॉफ्ट के एयरसिम का भी समर्थन करती है।

अर्बनसीन3डी में छह पेशेवर रूप से मॉडल किए गए सीएडी वातावरण हैं जो पेशेवर कलाकारों द्वारा छवियों से या उपग्रह मानचित्रों से बनाए गए हैं, साथ ही पांच पुनर्निर्मित वास्तविक दुनिया के वातावरण हैं। सीएडी दृश्य न्यूयॉर्क सिटी, शिकागो, सैन फ्रांसिस्को, शेन्ज़ेन, सूज़ौ और शंघाई के पुनर्निर्माण की विशेषता है। छवि-व्युत्पन्न डेटा इन शहरों के पांच विशिष्ट दृश्यों पर केंद्रित है, जिनमें एक अस्पताल और एक विश्वविद्यालय परिसर शामिल हैं।

Cities represented in UrbanScene3D.

अर्बनसीन3डी के लिए कच्चा अधिग्रहण डेटा भी उपलब्ध कराया जा रहा है, जिसमें 6000×4000 पिक्सेल पर उच्च रिज़ॉल्यूशन वाली हवाई छवियां और 4K हवाई वीडियो शामिल हैं, साथ ही मुद्राएं और पुनर्निर्मित 3D मॉडल भी शामिल हैं।

परियोजना मौजूदा शहरी दृश्य डेटासेट की सीमाओं को संबोधित करने का उद्देश्य है, और यह पहली बार उच्च गुणवत्ता वाले सीएडी-स्तर के विवरण के साथ-साथ सेमेंटिक लेबलिंग और डेप्थ-मैप जानकारी प्रदान करती है। पिछले प्रयासों में शामिल हैं:

सीओसीओ

2014 में जारी किए गए माइक्रोसॉफ्ट के कॉमन ऑब्जेक्ट्स इन कॉन्टेक्स्ट (सीओसीओ) डेटासेट में 1.5 मिलियन ऑब्जेक्ट इंस्टेंस शामिल हैं जो 80 श्रेणियों में फैले हुए हैं, साथ ही ऑब्जेक्ट रिकग्निशन इन कॉन्टेक्स्ट और प्रति छवि पांच कैप्शन शामिल हैं। सीओसीओ में जीटी मेश के साथ पोज़ या डेप्थ जानकारी नहीं है।

The COCO explorer icon set. Source: https://arxiv.org/pdf/1405.0312.pdf

द किट्टी विजन बेंचमार्क सूट

कर्ल्सरुहे इंस्टीट्यूट ऑफ टेक्नोलॉजी और टोयोटा टेक्नोलॉजिकल इंस्टीट्यूट एट चिकागो द्वारा उत्पादित, किट्टी गहराई जानकारी प्रदान करता है, लेकिन इंस्टेंस मास्क नहीं है।

सिटीस्केप

सिटीस्केप्स डेटासेट फॉर सेमेंटिक अर्बन सीन अंडरस्टैंडिंग (आका सिटीस्केप) 2016 में जारी किया गया था, और इसमें घने सेमेंटिक सेगमेंटेशन और लोगों और वाहनों के इंस्टेंस सेगमेंटेशन शामिल हैं। इसका प्राथमिक उद्देश्य स्वायत्त ड्राइविंग सिस्टम और शहरी निगरानी के संबंधित क्षेत्रों में मदद करना है।

इसमें आठ वर्ग शामिल हैं, जिनमें फ्लैट, मानव, वाहन, निर्माण, वस्तु, प्रकृति, आकाश और शून्य शामिल हैं, और 5000 छवियों में महीने annotations प्रदान करता है।

Source: https://www.cityscapes-dataset.com/examples/#fine-annotations

सिटीस्केप 2020 में जारी किया गया था, और इसकी विशेषताएं अर्बनसीन3डी के समान हैं, सिवाय इसके कि इसमें सीएडी मॉडलिंग नहीं है।

अपोलोकार3डी

2018 में लॉन्च किया गया और बaidu रिसर्च द्वारा नेतृत्व किया गया, अपोलोकार3डी एक सहयोग है जो पश्चिम और एशिया में कई शैक्षणिक अनुसंधान इकाइयों के बीच है, जिनमें कैलिफोर्निया विश्वविद्यालय सैन डिएगो, ऑस्ट्रेलियाई राष्ट्रीय विश्वविद्यालय और चीन के शियान में नॉर्थवेस्ट पॉलिटेक्निकल यूनिवर्सिटी शामिल हैं।

अपोलोकार3डी विशेष रूप से जमीन स्तर के स्वायत्त वाहन अनुसंधान के लिए है, और इसमें 5,277 ड्राइविंग छवियां और 60,000 से अधिक वाहन इंस्टेंस शामिल हैं जो विस्तृत 3डी सीएडी मॉडल द्वारा संचालित होते हैं और सेमेंटिक कुंजी बिंदुओं के लिए लेबल किए जाते हैं। डेटासेट किट्टी की तुलना में 20 गुना बड़ा है, लेकिन अर्बनसीन3डी के विपरीत, इसमें केवल आंशिक गहराई जानकारी है।

66 key-points are defined for each CAD-augmented vehicle in the ApolloCar3D dataset. Source: https://arxiv.org/pdf/1811.12222.pdf

होलिसिटी

होलिसिटी, जिसे ‘ए सिटी-स्केल डेटा प्लेटफ़ॉर्म फॉर लर्निंग होलिस्टिक 3डी स्ट्रक्चर’ के रूप में वर्णित किया गया है, 2021 में सहयोग है जो यूसी बर्कले, स्टैनफोर्ड, यूएससी और बाइटडांस रिसर्च पालो अल्टो के बीच है। इसमें एक शहर-स्तर का 3डी डेटासेट शामिल है जिसमें उच्च स्तर का संरचनात्मक विवरण है, और 6,300 वास्तविक दुनिया के पैनोरमा दृश्य शामिल हैं जो 20 वर्ग किलोमीटर से अधिक के क्षेत्र को कवर करते हैं।

परियोजना का उद्देश्य वास्तविक दुनिया के अनुप्रयोगों जैसे कि स्थानीयकरण, बढ़ी हुई वास्तविकता, मैपिंग और शहर-स्तर के पुनर्निर्माण के लिए है। हालांकि इसमें सीएडी मॉडलिंग है, लेकिन अर्बनसीन3डी की तुलना में विवरण का स्तर नीचे है।

Source: https://github.com/zhou13/holicity