UrbanScene3D: सेमेन्टिक रूप से लेबल किए गए शहरी परिदृश्य स्वायत्त वाहन अनुसंधान के लिए

चीन में शेन्ज़ेन विश्वविद्यालय के विज़ुअल कंप्यूटिंग रिसर्च सेंटर ने एक बड़े पैमाने पर शहरी दृश्य डेटा सेट विकसित किया है जो दुनिया भर के कई प्रमुख शहरों के विविध, पूरी तरह से सेमेन्टिक रूप से लेबल वाले सिमुलेशन प्रदान करता है, जो ड्राइविंग, ड्रोन और अन्य प्रकार के मशीन लर्निंग वातावरण-सिमुलेटिंग अनुसंधान पहलों के लिए एक संसाधन के रूप में है।

उर्बनसीन3डी नामक सिम्युलेटर में वास्तविक बनावट वाले घने और विस्तृत, नेविगेबल शहरी पुनर्निर्माण की विविधता है, जो पेशेवर मॉडलर्स द्वारा सार्वजनिक रूप से उपलब्ध हवाई डेटा से बनाई गई है, और इसमें मानव-नेतृत्व वाले अनुकूलन का स्तर है जो वर्तमान में पूरी तरह से प्रोग्राममैटिक इमेज सिंथेसिस और आरजीबी-डी कैप्चर सिस्टम में कठिन या महंगा है।

परियोजना कंप्यूटर विजन अनुसंधान में एक प्रमुख असंतुलन को संबोधित करती है – उच्च गुणवत्ता वाले मॉडल संरचना के साथ समृद्ध, सेमेन्टिक-लेबल वाले शहरी वातावरण डेटासेट की कमी, आंतरिक दृश्यों से संबंधित समान सेमेन्टिक और मॉडलिंग डेटा की बहुत उच्च स्तर की उपलब्धता की तुलना में।

उर्बनसीन3डी में चलने वाले सिमुलेशन स्वायत्त वाहनों और ड्रोनों से संबंधित परियोजना-विशिष्ट डेटासेट के निर्माण के लिए ग्राउंड ट्रुथ प्रदान कर सकते हैं।

उर्बनसीन3डी एयरसिम चला रहा है, और गहराई मानचित्र का उत्पादन कर रहा है। स्रोत: https://arxiv.org/pdf/2107.04286.pdf

परियोजना के स्रोत फ़ाइलें, लगभग 70 जीबी, अनुसंधान और शिक्षा उपयोग के उद्देश्यों के लिए जारी किए गए हैं। कार्यान्वयन सी++ वातावरण में या पाइथन में चल सकता है, और अनरियल इंजन 4 (4.24 की सिफारिश की जाती है) की आवश्यकता होती है। हवाई परियोजनाओं के लिए, जैसे कि ड्रोन प्रशिक्षण और सिमुलेशन, परियोजना माइक्रोसॉफ्ट के एयरसिम का भी समर्थन करती है।

उर्बनसीन3डी में छह पेशेवर रूप से मॉडल किए गए सीएडी वातावरण हैं जो पेशेवर कलाकारों द्वारा छवियों या उपग्रह मानचित्रों से बनाए गए हैं, साथ ही पांच पुनर्निर्मित वास्तविक दुनिया के वातावरण हैं। सीएडी दृश्य न्यूयॉर्क शहर, शिकागो, सैन फ्रांसिस्को, शेन्ज़ेन, सूज़ौ और शंघाई के पुनर्निर्माण की विशेषता है। छवि-व्युत्पन्न डेटा इन शहरों के पांच विशिष्ट दृश्यों पर केंद्रित है, जिसमें एक अस्पताल और एक विश्वविद्यालय परिसर शामिल है।

उर्बनसीन3डी में प्रतिनिधित्व किए गए शहर।

उर्बनसीन3डी के लिए कच्चा अधिग्रहण डेटा भी उपलब्ध कराया जा रहा है, जिसमें 6000×4000 पिक्सेल पर उच्च रिज़ॉल्यूशन वाली हवाई छवियां और 4K हवाई वीडियो शामिल हैं, साथ ही मुद्राएं और पुनर्निर्मित 3डी मॉडल भी शामिल हैं।

परियोजना का उद्देश्य मौजूदा शहरी दृश्य डेटासेट की सीमाओं को संबोधित करना है, और यह पहली बार उच्च गुणवत्ता वाले सीएडी-स्तर के विवरण के साथ-साथ सेमेन्टिक लेबलिंग और गहराई-मानचित्र जानकारी प्रदान करती है। पिछले प्रयासों में शामिल हैं:

सीओसीओ

2014 में जारी किए गए माइक्रोसॉफ्ट के कॉमन ऑब्जेक्ट्स इन कॉन्टेक्स्ट (सीओसीओ) डेटासेट में 80 श्रेणियों में 1.5 मिलियन ऑब्जेक्ट इंस्टेंस और पांच कैप्शन प्रति छवि की विशेषता है, साथ ही संदर्भ में ऑब्जेक्ट मान्यता भी है। सीओसीओ में जीटी मेश के साथ-साथ गहराई जानकारी नहीं है।

सीओसीओ एक्सप्लोरर आइकन सेट। स्रोत: https://arxiv.org/pdf/1405.0312.pdf

द किट्टी विजन बेंचमार्क सूट

कर्ल्सरुहे इंस्टीट्यूट ऑफ टेक्नोलॉजी और शिकागो में टोयोटा टेक्नोलॉजिकल इंस्टीट्यूट द्वारा उत्पादित, किट्टी गहराई जानकारी प्रदान करता है, लेकिन इंस्टेंस मास्क नहीं है।

सिटीस्केप

सेमेन्टिक अर्बन सीन अंडरस्टैंडिंग (आका सिटीस्केप) के लिए सिटीस्केप्स डेटासेट 2016 में जारी किया गया था, और इसमें घने सेमेन्टिक सेगमेंटेशन और लोगों और वाहनों का इंस्टेंस सेगमेंटेशन शामिल है। इसका प्राथमिक उद्देश्य स्वायत्त ड्राइविंग प्रणालियों और शहरी निगरानी के संबंधित क्षेत्रों के विकास में सहायता करना है।

यह आठ वर्गों की विशेषता है, जिसमें फ्लैट, मानव, वाहन, निर्माण, वस्तु, प्रकृति, आकाश और शून्य शामिल हैं, और 5000 छवियों में महीन annotations प्रदान करता है।

स्रोत: https://www.cityscapes-dataset.com/examples/#fine-annotations

सिटीस्केप 2020 में जारी किया गया था, और इसकी विशेषताएं उर्बनसीन3डी के समान हैं, सिवाय इसके कि यह सीएडी मॉडलिंग की कमी है।

अपोलोकार3डी

2018 में लॉन्च किया गया और बaidu रिसर्च द्वारा नेतृत्व किया गया, अपोलोकार3डी एक संयुक्त परियोजना है जिसमें पश्चिम और एशिया में कई अकादमिक अनुसंधान इकाइयां शामिल हैं, जिनमें कैलिफोर्निया विश्वविद्यालय, सैन डिएगो, ऑस्ट्रेलियाई राष्ट्रीय विश्वविद्यालय और चीन के शियान में नॉर्थवेस्टर्न पॉलिटेक्निकल यूनिवर्सिटी शामिल हैं।

अपोलोकार3डी विशेष रूप से जमीनी स्तर पर स्वायत्त वाहन अनुसंधान के लिए है, और इसमें 5,277 ड्राइविंग छवियां और 60,000 से अधिक वाहन इंस्टेंस शामिल हैं, जो विस्तृत 3डी सीएडी मॉडल द्वारा संचालित होते हैं और सेमेन्टिक कुंजी बिंदुओं के लिए लेबल किए जाते हैं। डेटासेट किट्टी से 20 गुना बड़ा है, लेकिन उर्बनसीन3डी के विपरीत, इसमें केवल आंशिक गहराई जानकारी है।

अपोलोकार3डी डेटासेट में प्रत्येक सीएडी-अग्रिम वाहन के लिए 66 कुंजी बिंदु परिभाषित किए गए हैं। स्रोत: https://arxiv.org/pdf/1811.12222.pdf

होलिसिटीसिटी

होलिसिटीसिटी, जिसे ‘होलिस्टिक 3डी संरचनाओं के लिए सीखने के लिए एक शहर-स्तर का डेटा प्लेटफ़ॉर्म’ के रूप में वर्णित किया गया है, 2021 में सहयोग है जिसमें यूसी बर्कले, स्टैनफोर्ड, यूसीएस और पालो अल्टो में बाइटडांस रिसर्च शामिल हैं। इसमें एक शहर-स्तर का 3डी डेटासेट शामिल है जिसमें एक उच्च स्तर का संरचनात्मक विवरण है, और यह 20 वर्ग किलोमीटर से अधिक के क्षेत्र में 6,300 वास्तविक दुनिया के पैनोरमा दृश्य प्रदान करता है।

परियोजना का उद्देश्य वास्तविक दुनिया के अनुप्रयोगों जैसे स्थानीयकरण, ऑगमेंटेड रियलिटी, मैपिंग और शहर-स्तर के पुनर्निर्माण में मदद करना है। हालांकि इसमें सीएडी मॉडलिंग है, लेकिन विवरण का स्तर उर्बनसीन3डी से नीचे है।

स्रोत: https://github.com/zhou13/holicity