सिंथेटिक डेटा क्या है?

सिंथेटिक डेटा क्या है?

डेटा विज्ञान के क्षेत्र में सिंथेटिक डेटा एक तेजी से बढ़ने वाला चलन और उभरता हुआ उपकरण है। वास्तव में सिंथेटिक डेटा क्या है? संक्षिप्त उत्तर यह है कि सिंथेटिक डेटा का समावेश होता है वह डेटा जो वास्तविक दुनिया की किसी भी घटना या घटना पर आधारित नहीं है, बल्कि यह एक कंप्यूटर प्रोग्राम के माध्यम से उत्पन्न होता है। फिर भी डेटा विज्ञान के लिए सिंथेटिक डेटा इतना महत्वपूर्ण क्यों होता जा रहा है? सिंथेटिक डेटा कैसे बनाया जाता है? आइए इन सवालों के जवाब तलाशें।

सिंथेटिक डेटासेट क्या है?

जैसा कि शब्द "सिंथेटिक" से पता चलता है, सिंथेटिक डेटासेट वास्तविक दुनिया की घटनाओं के दस्तावेज़ीकरण के माध्यम से तैयार होने के बजाय, कंप्यूटर प्रोग्राम के माध्यम से उत्पन्न होते हैं। सिंथेटिक डेटासेट का प्राथमिक उद्देश्य मशीन लर्निंग मॉडल के प्रशिक्षण के लिए उपयोगी होने के लिए बहुमुखी और मजबूत होना है।

मशीन लर्निंग क्लासिफायर के लिए उपयोगी होने के लिए, सिंथेटिक डेटा में कुछ खास गुण होने चाहिए। जबकि डेटा श्रेणीबद्ध, बाइनरी या संख्यात्मक हो सकता है, डेटासेट की लंबाई मनमानी होनी चाहिए और डेटा को यादृच्छिक रूप से जनरेट किया जाना चाहिए। डेटा जनरेट करने के लिए इस्तेमाल की जाने वाली यादृच्छिक प्रक्रियाएँ नियंत्रणीय होनी चाहिए और विभिन्न सांख्यिकीय वितरणों पर आधारित होनी चाहिए। डेटासेट में यादृच्छिक शोर भी रखा जा सकता है।

यदि वर्गीकरण एल्गोरिथ्म के लिए सिंथेटिक डेटा का उपयोग किया जा रहा है, तो वर्ग पृथक्करण की मात्रा अनुकूलन योग्य होनी चाहिए, ताकि समस्या की आवश्यकताओं के अनुसार वर्गीकरण समस्या को आसान या कठिन बनाया जा सके। इस बीच, एक प्रतिगमन कार्य के लिए, डेटा उत्पन्न करने के लिए गैर-रेखीय जेनरेटिव प्रक्रियाओं को नियोजित किया जा सकता है।

सिंथेटिक डेटा का उपयोग क्यों करें?

चूँकि TensorfFlow और PyTorch जैसे मशीन लर्निंग फ्रेमवर्क का उपयोग करना आसान हो गया है और कंप्यूटर विज़न और प्राकृतिक भाषा प्रसंस्करण के लिए पूर्व-डिज़ाइन किए गए मॉडल अधिक सर्वव्यापी और शक्तिशाली हो गए हैं, डेटा वैज्ञानिकों को जिस प्राथमिक समस्या का सामना करना पड़ता है वह डेटा का संग्रह और प्रबंधन है। किसी निश्चित समय सीमा के भीतर एक सटीक मॉडल को प्रशिक्षित करने के लिए कंपनियों को अक्सर बड़ी मात्रा में डेटा प्राप्त करने में कठिनाई होती है। डेटा को हाथ से लेबल करना डेटा प्राप्त करने का एक महंगा, धीमा तरीका है। हालाँकि, सिंथेटिक डेटा उत्पन्न करने और उपयोग करने से डेटा वैज्ञानिकों और कंपनियों को इन बाधाओं को दूर करने और विश्वसनीय मशीन लर्निंग मॉडल को तेजी से विकसित करने में मदद मिल सकती है।

सिंथेटिक डेटा का उपयोग करने के कई फायदे हैं। सिंथेटिक डेटा के उपयोग से डेटा विज्ञान को लाभ होने का सबसे स्पष्ट तरीका यह है कि यह वास्तविक दुनिया की घटनाओं से डेटा कैप्चर करने की आवश्यकता को कम कर देता है, और इस कारण से डेटा उत्पन्न करना और डेटासेट पर निर्भर डेटासेट की तुलना में कहीं अधिक तेज़ी से डेटासेट बनाना संभव हो जाता है। वास्तविक दुनिया की घटनाएँ। इसका मतलब है कि कम समय सीमा में बड़ी मात्रा में डेटा तैयार किया जा सकता है। यह विशेष रूप से उन घटनाओं के लिए सच है जो शायद ही कभी घटित होती हैं, जैसे कि यदि कोई घटना जंगल में शायद ही कभी घटित होती है, तो कुछ वास्तविक डेटा नमूनों से अधिक डेटा का मज़ाक उड़ाया जा सकता है। इसके अलावा, डेटा को उत्पन्न होते ही स्वचालित रूप से लेबल किया जा सकता है, जिससे डेटा को लेबल करने के लिए आवश्यक समय की मात्रा काफी कम हो जाती है।

सिंथेटिक डेटा किनारे के मामलों के लिए प्रशिक्षण डेटा प्राप्त करने के लिए भी उपयोगी हो सकता है, जो ऐसे उदाहरण हैं जो कभी-कभार घटित हो सकते हैं लेकिन आपके एआई की सफलता के लिए महत्वपूर्ण हैं। एज केस ऐसी घटनाएं हैं जो एआई के प्राथमिक लक्ष्य के समान हैं लेकिन महत्वपूर्ण तरीकों से भिन्न हैं। उदाहरण के लिए, छवि वर्गीकरणकर्ता को डिज़ाइन करते समय जो वस्तुएं केवल आंशिक रूप से दृश्य में होती हैं उन्हें किनारे के मामले माना जा सकता है।

अंत में, सिंथेटिक डेटासेट गोपनीयता संबंधी चिंताओं को कम कर सकते हैं। डेटा को अज्ञात करने के प्रयास अप्रभावी हो सकते हैं, भले ही संवेदनशील/पहचान वाले चर को डेटासेट से हटा दिया जाए, अन्य चर संयुक्त होने पर पहचानकर्ता के रूप में कार्य कर सकते हैं। यह सिंथेटिक डेटा के साथ कोई समस्या नहीं है, क्योंकि यह पहले कभी भी किसी वास्तविक व्यक्ति या वास्तविक घटना पर आधारित नहीं था।

सिंथेटिक डेटा के लिए केस का उपयोग करता है

सिंथेटिक डेटा की एक विस्तृत विविधता है का उपयोग करता है, क्योंकि इसे लगभग किसी भी मशीन सीखने के कार्य पर लागू किया जा सकता है। सामान्य उपयोग के मामले सिंथेटिक डेटा के लिए स्व-चालित वाहन, सुरक्षा, रोबोटिक्स, धोखाधड़ी संरक्षण और स्वास्थ्य सेवा शामिल हैं।

सिंथेटिक डेटा के शुरुआती उपयोग के मामलों में से एक स्व-चालित कारें थीं, क्योंकि सिंथेटिक डेटा का उपयोग उन स्थितियों में कारों के लिए प्रशिक्षण डेटा बनाने के लिए किया जाता है जहां वास्तविक, ऑन-द-रोड प्रशिक्षण डेटा प्राप्त करना मुश्किल या खतरनाक होता है। सिंथेटिक डेटा छवि पहचान प्रणालियों को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा के निर्माण के लिए भी उपयोगी है, जैसे कि निगरानी प्रणाली, प्रशिक्षण डेटा के एक समूह को मैन्युअल रूप से एकत्र करने और लेबल करने की तुलना में कहीं अधिक कुशलता से। पारंपरिक डेटा संग्रह और प्रशिक्षण विधियों के साथ रोबोटिक्स सिस्टम को प्रशिक्षित और विकसित करना धीमा हो सकता है। सिंथेटिक डेटा रोबोटिक्स कंपनियों को सिमुलेशन के माध्यम से रोबोटिक्स सिस्टम का परीक्षण और इंजीनियर करने की अनुमति देता है। धोखाधड़ी सुरक्षा प्रणालियाँ सिंथेटिक डेटा से लाभान्वित हो सकती हैं, और नए धोखाधड़ी का पता लगाने के तरीकों को उस डेटा के साथ प्रशिक्षित और परीक्षण किया जा सकता है जो सिंथेटिक डेटा का उपयोग होने पर लगातार नया होता है। स्वास्थ्य सेवा क्षेत्र में, सिंथेटिक डेटा का उपयोग स्वास्थ्य वर्गीकरणकर्ताओं को डिजाइन करने के लिए किया जा सकता है जो सटीक हैं, फिर भी लोगों की गोपनीयता को सुरक्षित रखते हैं, क्योंकि डेटा वास्तविक लोगों पर आधारित नहीं होगा।

सिंथेटिक डेटा चुनौतियां

सिंथेटिक डेटा का उपयोग जहां अपने साथ कई फायदे लाता है, वहीं यह कई चुनौतियां भी लाता है।

जब सिंथेटिक डेटा बनाया जाता है, तो इसमें अक्सर आउटलेर्स का अभाव होता है। डेटा में आउटलेयर स्वाभाविक रूप से होते हैं, और जबकि अक्सर प्रशिक्षण डेटासेट से हटा दिए जाते हैं, उनका अस्तित्व वास्तव में विश्वसनीय मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए आवश्यक हो सकता है। इसके अलावा, सिंथेटिक डेटा की गुणवत्ता अत्यधिक परिवर्तनशील हो सकती है। सिंथेटिक डेटा अक्सर इनपुट, या बीज, डेटा के साथ उत्पन्न होता है, और इसलिए डेटा की गुणवत्ता इनपुट डेटा की गुणवत्ता पर निर्भर हो सकती है। यदि सिंथेटिक डेटा उत्पन्न करने के लिए उपयोग किया जाने वाला डेटा पक्षपाती है, तो उत्पन्न डेटा उस पूर्वाग्रह को कायम रख सकता है। सिंथेटिक डेटा को कुछ प्रकार के आउटपुट/गुणवत्ता नियंत्रण की भी आवश्यकता होती है। इसे मानव-एनोटेटेड डेटा के विरुद्ध जांचने की आवश्यकता है, अन्यथा प्रामाणिक डेटा किसी प्रकार का है।

सिंथेटिक डेटा कैसे बनाया जाता है?

सिंथेटिक डेटा मशीन लर्निंग तकनीकों के साथ प्रोग्रामेटिक रूप से बनाया जाता है। निर्णय वृक्ष जैसी शास्त्रीय मशीन सीखने की तकनीकों का उपयोग किया जा सकता है, जैसा कि गहन शिक्षण तकनीकें हो सकती हैं. सिंथेटिक डेटा की आवश्यकताएं इस बात पर निर्भर करेंगी कि डेटा उत्पन्न करने के लिए किस प्रकार के एल्गोरिदम का उपयोग किया जाता है। निर्णय वृक्ष और समान मशीन लर्निंग मॉडल कंपनियों को गैर-शास्त्रीय, मल्टी-मोडल डेटा वितरण बनाने देते हैं, जो वास्तविक दुनिया के डेटा के उदाहरणों पर प्रशिक्षित होते हैं। इन एल्गोरिदम के साथ डेटा उत्पन्न करने से वह डेटा मिलेगा जो मूल प्रशिक्षण डेटा के साथ अत्यधिक सहसंबद्ध है। ऐसे उदाहरणों के लिए जहां डेटा का विशिष्ट वितरण ज्ञात है, एक कंपनी मोंटे कार्लो विधि के उपयोग के माध्यम से सिंथेटिक डेटा उत्पन्न कर सकती है।

सिंथेटिक डेटा उत्पन्न करने की गहन शिक्षा-आधारित विधियाँ आमतौर पर या तो वेरिएशनल ऑटोएनकोडर (VAE) या एक जनरेटिव एडवरसैरियल नेटवर्क (जीएएन). वीएई अप्रशिक्षित मशीन लर्निंग मॉडल हैं जो एनकोडर और डिकोडर का उपयोग करते हैं। वीएई का एनकोडर भाग डेटा को मूल डेटासेट के एक सरल, कॉम्पैक्ट संस्करण में संपीड़ित करने के लिए जिम्मेदार है, जिसे डिकोडर फिर विश्लेषण करता है और आधार डेटा का प्रतिनिधित्व उत्पन्न करने के लिए उपयोग करता है। एक वीएई को इनपुट डेटा और आउटपुट के बीच एक इष्टतम संबंध रखने के लक्ष्य के साथ प्रशिक्षित किया जाता है, जहां इनपुट डेटा और आउटपुट डेटा दोनों बेहद समान होते हैं।

जब GAN मॉडल की बात आती है, तो उन्हें इस तथ्य के कारण "प्रतिकूल" नेटवर्क कहा जाता है कि GAN वास्तव में दो नेटवर्क हैं जो एक दूसरे के साथ प्रतिस्पर्धा करते हैं। जनरेटर सिंथेटिक डेटा उत्पन्न करने के लिए जिम्मेदार है, जबकि दूसरा नेटवर्क (विवेचक) वास्तविक डेटासेट के साथ उत्पन्न डेटा की तुलना करके संचालित होता है और यह निर्धारित करने का प्रयास करता है कि कौन सा डेटा नकली है। जब विवेचक नकली डेटा पकड़ता है, तो जनरेटर को इसकी सूचना दी जाती है और यह विवेचक द्वारा डेटा का एक नया बैच प्राप्त करने का प्रयास करने के लिए परिवर्तन करता है। बदले में, विवेचक नकली चीजों का पता लगाने में बेहतर से बेहतर होता जाता है। दोनों नेटवर्कों को एक-दूसरे के विरुद्ध प्रशिक्षित किया जाता है, नकली उत्पाद हर समय अधिक जीवंत होते जा रहे हैं।