सिंथेटिक डेटा क्या है?

सिंथेटिक डेटा क्या है?

सिंथेटिक डेटा डेटा साइंस के क्षेत्र में एक तेजी से बढ़ता हुआ रुझान और उभरता हुआ औजार है। सिंथेटिक डेटा वास्तव में क्या है? इसका संक्षिप्त उत्तर यह है कि सिंथेटिक डेटा वास्तविक दुनिया की घटनाओं या घटनाओं पर आधारित नहीं है, बल्कि यह एक कंप्यूटर प्रोग्राम द्वारा उत्पन्न किया जाता है। फिर भी, सिंथेटिक डेटा डेटा साइंस के लिए इतना महत्वपूर्ण क्यों हो रहा है? सिंथेटिक डेटा कैसे बनाया जाता है? आइए इन प्रश्नों के उत्तरों का अन्वेषण करें।

सिंथेटिक डेटासेट क्या है?

“सिंथेटिक” शब्द के अर्थ के अनुसार, सिंथेटिक डेटासेट कंप्यूटर प्रोग्राम के माध्यम से उत्पन्न किए जाते हैं, वास्तविक दुनिया की घटनाओं के दस्तावेजीकरण के बजाय। सिंथेटिक डेटासेट का प्राथमिक उद्देश्य मशीन लर्निंग मॉडल के प्रशिक्षण के लिए पर्याप्त लचीला और मजबूत होना है।

एक मशीन लर्निंग क्लासिफायर के लिए उपयोगी होने के लिए, सिंथेटिक डेटा में कुछ गुण होने चाहिए। जबकि डेटा श्रेणीबद्ध, द्विआधारी, या संख्यात्मक हो सकता है, डेटासेट की लंबाई मनमानी होनी चाहिए और डेटा यादृच्छिक रूप से उत्पन्न किया जाना चाहिए। डेटा को उत्पन्न करने के लिए उपयोग किए जाने वाले यादृच्छिक प्रक्रियाएं नियंत्रित की जानी चाहिए और विभिन्न सांख्यिकीय वितरण पर आधारित होनी चाहिए। डेटासेट में यादृच्छिक शोर भी रखा जा सकता है।

यदि सिंथेटिक डेटा एक वर्गीकरण अल्गोरिदम के लिए उपयोग किया जा रहा है, तो वर्ग अलगाव की मात्रा अनुकूलन योग्य होनी चाहिए, ताकि वर्गीकरण समस्या को आवश्यकतानुसार आसान या कठिन बनाया जा सके। इसके अलावा, एक प्रतिगमन कार्य के लिए, गैर-रेखीय उत्पन्न प्रक्रियाओं का उपयोग डेटा को उत्पन्न करने के लिए किया जा सकता है।

सिंथेटिक डेटा का उपयोग क्यों करें?

जबकि टेंसोरफ्लो और पायटोर्च जैसे मशीन लर्निंग फ्रेमवर्क उपयोग करने में आसान हो जाते हैं और कंप्यूटर विजन और प्राकृतिक भाषा प्रसंस्करण के लिए पूर्व-डिज़ाइन किए गए मॉडल अधिक सामान्य और शक्तिशाली हो जाते हैं, डेटा साइंटिस्टों को जो मुख्य समस्या का सामना करना पड़ता है वह डेटा का संग्रह और प्रबंधन है। कंपनियों को एक निश्चित समय सीमा के भीतर सटीक मॉडल को प्रशिक्षित करने के लिए बड़ी मात्रा में डेटा प्राप्त करने में अक्सर कठिनाई होती है। डेटा को हाथ से लेबल करना एक महंगा और धीमा तरीका है। हालांकि, सिंथेटिक डेटा का उत्पादन और उपयोग करके डेटा वैज्ञानिक और कंपनियां इन बाधाओं को पार कर सकती हैं और एक तेज़ तरीके से विश्वसनीय मशीन लर्निंग मॉडल विकसित कर सकती हैं।

सिंथेटिक डेटा का उपयोग करने के कई फायदे हैं। सिंथेटिक डेटा का उपयोग करने से डेटा साइंस को लाभ पहुंचाने का सबसे स्पष्ट तरीका यह है कि यह वास्तविक दुनिया की घटनाओं से डेटा को पकड़ने की आवश्यकता को कम करता है, और इसलिए यह संभव हो जाता है कि डेटा को बहुत तेजी से उत्पन्न किया जाए और एक डेटासेट का निर्माण किया जाए जो वास्तविक दुनिया की घटनाओं पर निर्भर नहीं है। इसका अर्थ है कि बड़ी मात्रा में डेटा एक छोटे समय के भीतर उत्पन्न किया जा सकता है। यह विशेष रूप से सच है दुर्लभ घटनाओं के लिए, क्योंकि यदि एक घटना जंगल में दुर्लभ होती है, तो अधिक डेटा कुछ वास्तविक डेटा नमूनों से नकल किया जा सकता है। इसके अलावा, डेटा स्वचालित रूप से लेबल किया जा सकता है क्योंकि यह उत्पन्न किया जाता है, जो डेटा को लेबल करने के लिए आवश्यक समय को काफी कम कर देता है।

सिंथेटिक डेटा एज केस के लिए प्रशिक्षण डेटा प्राप्त करने के लिए भी उपयोगी हो सकता है, जो ऐसे उदाहरण हैं जो शायद ही कभी होते हैं लेकिन आपके एआई की सफलता के लिए महत्वपूर्ण हैं। एज केस ऐसी घटनाएं हैं जो आपके एआई के प्राथमिक लक्ष्य के समान हैं लेकिन महत्वपूर्ण तरीकों से भिन्न हैं। उदाहरण के लिए, आंशिक रूप से दृश्य में वस्तुएं एक छवि वर्गीकरणकर्ता को डिज़ाइन करते समय एज केस मानी जा सकती हैं।

अंत में, सिंथेटिक डेटासेट गोपनीयता चिंताओं को कम कर सकते हैं। डेटा को नाममात्र करने के प्रयास अक्सर अप्रभावी हो सकते हैं, क्योंकि यदि संवेदनशील/पहचान करने वाले चर को डेटासेट से हटा दिया जाता है, तो अन्य चर संयुक्त होने पर पहचानकर्ता के रूप में कार्य कर सकते हैं। सिंथेटिक डेटा के साथ यह समस्या नहीं है, क्योंकि यह पहले से ही एक वास्तविक व्यक्ति या वास्तविक घटना पर आधारित नहीं था।

सिंथेटिक डेटा के उपयोग के मामले

सिंथेटिक डेटा के विभिन्न उपयोग हैं, क्योंकि यह लगभग किसी भी मशीन लर्निंग कार्य पर लागू किया जा सकता है। सिंथेटिक डेटा के सामान्य उपयोग के मामले में स्व-ड्राइविंग वाहन, सुरक्षा, रोबोटिक्स, धोखाधड़ी संरक्षण और स्वास्थ्य सेवा शामिल हैं।

सिंथेटिक डेटा के लिए शुरुआती उपयोग के मामलों में से एक स्व-ड्राइविंग कारें थीं, क्योंकि सिंथेटिक डेटा का उपयोग कारों के लिए प्रशिक्षण डेटा बनाने के लिए किया जाता है जो वास्तविक, सड़क पर प्रशिक्षण डेटा प्राप्त करने में कठिन या खतरनाक होता है। सिंथेटिक डेटा छवि पहचान प्रणालियों के लिए प्रशिक्षण डेटा बनाने के लिए भी उपयोगी है, जैसे कि निगरानी प्रणालियां, मैनुअल रूप से प्रशिक्षण डेटा एकत्र करने और लेबल करने की तुलना में बहुत अधिक कुशलता से। रोबोटिक्स प्रणालियों को पारंपरिक डेटा संग्रह और प्रशिक्षण विधियों के साथ धीमी गति से प्रशिक्षित और विकसित किया जा सकता है। सिंथेटिक डेटा रोबोटिक्स कंपनियों को सिमुलेशन के माध्यम से रोबोटिक्स प्रणालियों का परीक्षण और इंजीनियरिंग करने की अनुमति देता है। धोखाधड़ी संरक्षण प्रणालियों को सिंथेटिक डेटा का लाभ मिल सकता है, और नए धोखाधड़ी का पता लगाने वाले तरीकों को सिंथेटिक डेटा का उपयोग करके प्रशिक्षित और परीक्षण किया जा सकता है। स्वास्थ्य सेवा क्षेत्र में, सिंथेटिक डेटा का उपयोग स्वास्थ्य वर्गीकरणकर्ताओं को डिज़ाइन करने के लिए किया जा सकता है जो सटीक हैं लेकिन लोगों की गोपनीयता का सम्मान करते हैं, क्योंकि डेटा वास्तविक लोगों पर आधारित नहीं होगा।

सिंथेटिक डेटा चुनौतियाँ

सिंथेटिक डेटा का उपयोग करने से कई फायदे मिलते हैं, लेकिन यह कई चुनौतियाँ भी लाता है।

जब सिंथेटिक डेटा बनाया जाता है, तो यह अक्सर आउटलियर की कमी होती है। आउटलियर डेटा में प्राकृतिक रूप से होते हैं, और जबकि अक्सर प्रशिक्षण डेटासेट से हटा दिए जाते हैं, उनका अस्तित्व वास्तव में विश्वसनीय मशीन लर्निंग मॉडल को प्रशिक्षित करने के लिए आवश्यक हो सकता है। इसके अलावा, सिंथेटिक डेटा की गुणवत्ता बहुत परिवर्तनशील हो सकती है। सिंथेटिक डेटा अक्सर एक इनपुट, या बीज, डेटा के साथ उत्पन्न किया जाता है, और इसलिए डेटा की गुणवत्ता इनपुट डेटा की गुणवत्ता पर निर्भर हो सकती है। यदि डेटा जो सिंथेटिक डेटा को उत्पन्न करने के लिए उपयोग किया जाता है पूर्वाग्रहपूर्ण है, तो उत्पन्न डेटा उस पूर्वाग्रह को बढ़ावा दे सकता है। सिंथेटिक डेटा को आउटपुट/गुणवत्ता नियंत्रण की आवश्यकता होती है। इसे मानव-लेबल वाले डेटा के खिलाफ, या किसी अन्य प्रामाणिक डेटा के खिलाफ जांच की जानी चाहिए।

सिंथेटिक डेटा कैसे बनाया जाता है?

सिंथेटिक डेटा मशीन लर्निंग तकनीकों के साथ प्रोग्राममैटिक रूप से बनाया जाता है। क्लासिकल मशीन लर्निंग तकनीकों जैसे निर्णय पेड़ का उपयोग किया जा सकता है, जैसे कि गहरे शिक्षण तकनीक। सिंथेटिक डेटा की आवश्यकताएं यह निर्धारित करेंगी कि डेटा को उत्पन्न करने के लिए किस प्रकार के अल्गोरिदम का उपयोग किया जाएगा। निर्णय पेड़ और समान मशीन लर्निंग मॉडल कंपनियों को गैर-शास्त्रीय, बहु-मोडल डेटा वितरण बनाने की अनुमति देते हैं, जो वास्तविक दुनिया के डेटा के उदाहरणों पर प्रशिक्षित होते हैं। इन अल्गोरिदम के साथ डेटा को उत्पन्न करने से डेटा मिलेगा जो मूल प्रशिक्षण डेटा के साथ उच्च संबंधित होगा। जहां डेटा का सामान्य वितरण जाना जाता है, एक कंपनी मोंटे कार्लो विधि का उपयोग करके सिंथेटिक डेटा को उत्पन्न कर सकती है।

सिंथेटिक डेटा को उत्पन्न करने के लिए गहरे शिक्षण-आधारित तरीकों में आमतौर पर एक वैरिएशनल ऑटोएनकोडर (वीएई) या एक जनरेटिव एडवर्सेरियल नेटवर्क (जीएएन) का उपयोग किया जाता है। वीएई अनुप्रवेशित मशीन लर्निंग मॉडल हैं जो एनकोडर और डिकोडर का उपयोग करते हैं। वीएई के एनकोडर भाग का उपयोग डेटा को एक सरल, कॉम्पैक्ट संस्करण में संकुचित करने के लिए किया जाता है जो मूल डेटासेट का एक प्रतिनिधित्व है, जिसे डिकोडर तब विश्लेषण करता है और मूल डेटा का एक प्रतिनिधित्व बनाने के लिए उपयोग किया जाता है। वीएई को इनपुट डेटा और आउटपुट के बीच एक इष्टतम संबंध होने के लक्ष्य के साथ प्रशिक्षित किया जाता है, जहां दोनों इनपुट डेटा और आउटपुट डेटा बेहद समान होते हैं।

जीएएन मॉडल के लिए, उन्हें “विरोधी” नेटवर्क कहा जाता है क्योंकि जीएएन वास्तव में दो नेटवर्क हैं जो एक दूसरे के साथ प्रतिस्पर्धा करते हैं। जनरेटर सिंथेटिक डेटा को उत्पन्न करने के लिए जिम्मेदार है, जबकि दूसरा नेटवर्क (विरोधीभाव) एक वास्तविक डेटासेट के साथ उत्पन्न डेटा की तुलना करके और यह निर्धारित करने की कोशिश करके काम करता है कि कौन सा डेटा नकली है। जब विरोधीभाव नकली डेटा को पकड़ता है, तो जनरेटर को इसकी सूचना दी जाती है और यह विरोधीभाव द्वारा एक नए बैच के डेटा को प्राप्त करने के लिए बदलाव करता है। बदले में, विरोधीभाव नकली डेटा का पता लगाने में बेहतर और बेहतर होता जाता है। दोनों नेटवर्क एक दूसरे के खिलाफ प्रशिक्षित होते हैं, नकली डेटा अधिक जीवन के अनुरूप होता जाता है। जब विरोधीभाव नकली डेटा को पकड़ता है, तो जनरेटर को इसकी सूचना दी जाती है और यह विरोधीभाव द्वारा एक नए बैच के डेटा को प्राप्त करने के लिए बदलाव करता है। इस प्रकार, दोनों नेटवर्क एक दूसरे के खिलाफ प्रशिक्षित होते हैं, नकली डेटा अधिक जीवन के अनुरूप होता जाता है।