एआई 101

ईटीएल क्या है? (निकालें, रूपांतरित करें, लोड करें) कार्यप्रणाली और उपयोग के मामले

प्रकाशित जनवरी ७,२०२१

Updated जनवरी ७,२०२१

हाज़िका साजिद

ईटीएल का मतलब है "एक्सट्रैक्ट, ट्रांसफॉर्म, लोड"। यह एक ऐसी प्रक्रिया है जो विभिन्न स्रोतों से डेटा को एक ही भंडार में एकीकृत करती है ताकि इसे संसाधित किया जा सके और फिर विश्लेषण किया जा सके ताकि इससे उपयोगी जानकारी का अनुमान लगाया जा सके। यह उपयोगी जानकारी व्यवसायों को डेटा-संचालित निर्णय लेने और बढ़ने में मदद करती है।

"डेटा नया तेल है।"

क्लाइव हंबी, गणितज्ञ

वैश्विक डेटा निर्माण में तेजी से वृद्धि हुई है, फोर्ब्स के अनुसार, वर्तमान दर पर, मनुष्य हर दो साल में डेटा निर्माण को दोगुना कर रहा है। परिणामस्वरूप, आधुनिक डेटा स्टैक विकसित हुआ है। डेटा मार्ट को डेटा वेयरहाउस में बदल दिया गया है, और जब यह पर्याप्त नहीं रहा, तो डेटा झीलें बनाई गई हैं। हालाँकि इन सभी विभिन्न बुनियादी ढाँचों में, एक प्रक्रिया समान रही, ईटीएल प्रक्रिया।

इस लेख में, हम ईटीएल की कार्यप्रणाली, इसके उपयोग के मामलों, इसके लाभों और इस प्रक्रिया ने आधुनिक डेटा परिदृश्य को बनाने में कैसे मदद की है, इस पर गौर करेंगे।

ईटीएल की पद्धति

ईटीएल विभिन्न स्रोतों से डेटा को एक ही स्थान पर एकीकृत करना संभव बनाता है ताकि इसे संसाधित किया जा सके, विश्लेषण किया जा सके और फिर व्यवसायों के हितधारकों के साथ साझा किया जा सके। यह उस डेटा की अखंडता सुनिश्चित करता है जिसका उपयोग मशीन लर्निंग मॉडल के साथ रिपोर्टिंग, विश्लेषण और भविष्यवाणी के लिए किया जाना है। यह तीन चरणों वाली प्रक्रिया है जो कई स्रोतों से डेटा निकालती है, उसे रूपांतरित करती है और फिर उसे व्यावसायिक खुफिया टूल में लोड करती है। इन व्यावसायिक खुफिया उपकरणों का उपयोग व्यवसायों द्वारा डेटा-संचालित निर्णय लेने के लिए किया जाता है।

निकालने का चरण

इस चरण में, SQL क्वेरीज़, पायथन कोड, DBMS (डेटाबेस प्रबंधन सिस्टम), या ETL टूल का उपयोग करके कई स्रोतों से डेटा निकाला जाता है। सबसे आम स्रोत हैं:

सीआरएम (ग्राहक संबंध प्रबंधन) सॉफ्टवेयर
विश्लेषिकी उपकरण
डेटा वेयरहाउस
डाटाबेस
क्लाउड स्टोरेज प्लेटफॉर्म
बिक्री और विपणन उपकरण
मोबाइल क्षुधा

ये स्रोत या तो संरचित या असंरचित हैं, यही कारण है कि इस स्तर पर डेटा का प्रारूप एक समान नहीं है।

परिवर्तन चरण

परिवर्तन चरण में, निकाले गए कच्चे डेटा को एक प्रारूप में परिवर्तित और संकलित किया जाता है जो लक्ष्य प्रणाली के लिए उपयुक्त है। इसके लिए, कच्चा डेटा कुछ परिवर्तन उप-प्रक्रियाओं से गुजरता है, जैसे:

सफ़ाई-असंगत और गायब डेटा को पूरा किया जाता है।
मानकीकरण-समान स्वरूपण सभी जगह लागू किया जाता है।
दोहराव हटाना—अनावश्यक डेटा हटा दिया जाता है।
आउटलेर्स को पहचानना-आउटलेर्स को देखा जाता है और सामान्यीकृत किया जाता है।
सॉर्टिंग-डेटा को इस तरह से व्यवस्थित किया जाता है जिससे दक्षता बढ़ती है।

डेटा को पुन: स्वरूपित करने के अलावा, डेटा के परिवर्तन की आवश्यकता के अन्य कारण भी हैं। यदि डेटा में शून्य मान मौजूद हैं, तो उन्हें हटा दिया जाना चाहिए; इसके अलावा, डेटा में अक्सर आउटलेयर मौजूद होते हैं, जो विश्लेषण को नकारात्मक रूप से प्रभावित करते हैं; परिवर्तन चरण में उनसे निपटा जाना चाहिए। कई बार हमारे सामने ऐसे डेटा आते हैं जो अनावश्यक होते हैं और व्यवसाय के लिए कोई मूल्य नहीं लाते; सिस्टम के भंडारण स्थान को बचाने के लिए ऐसे डेटा को परिवर्तन चरण में हटा दिया जाता है। ये वे समस्याएं हैं जिनका समाधान परिवर्तन चरण में किया जाता है।

लोड चरण

एक बार जब कच्चा डेटा निकाला जाता है और परिवर्तन प्रक्रियाओं के अनुरूप बनाया जाता है, तो इसे लक्ष्य प्रणाली में लोड किया जाता है, जो आमतौर पर या तो डेटा वेयरहाउस या डेटा लेक होता है। लोड चरण को पूरा करने के दो अलग-अलग तरीके हैं।

पूर्ण लोडिंग: लक्ष्य प्रणाली में पहली बार सभी डेटा एक साथ लोड किया जाता है। यह तकनीकी रूप से कम जटिल है लेकिन इसमें अधिक समय लगता है। यह उस स्थिति में आदर्श है जब डेटा का आकार बहुत बड़ा न हो।
वृद्धिशील लोडिंग: जैसा कि नाम से पता चलता है, वृद्धिशील लोडिंग वृद्धिशील रूप से की जाती है। इसकी दो उपश्रेणियाँ हैं।

स्ट्रीम वृद्धिशील लोडिंग: डेटा अंतराल में लोड किया जाता है, आमतौर पर दैनिक। इस प्रकार की लोडिंग तब सर्वोत्तम होती है जब डेटा कम मात्रा में हो।
बैच वृद्धिशील लोडिंग: बैच प्रकार की वृद्धिशील लोडिंग में, डेटा को दो बैचों के बीच अंतराल के साथ बैचों में लोड किया जाता है। जब डेटा बहुत बड़ा हो तो यह आदर्श है। यह तेज़ है लेकिन तकनीकी रूप से अधिक जटिल है।

ईटीएल उपकरण के प्रकार

ईटीएल दो तरीकों से किया जाता है, मैनुअल ईटीएल या नो-कोड ईटीएल। मैनुअल ईटीएल में, स्वचालन बहुत कम या बिल्कुल नहीं होता है। सब कुछ डेटा वैज्ञानिक, डेटा विश्लेषक और डेटा इंजीनियर की एक टीम द्वारा कोडित किया जाता है। निकालने, बदलने और लोड करने की सभी पाइपलाइनें सभी डेटा सेटों के लिए मैन्युअल रूप से डिज़ाइन की गई हैं। यह सब भारी उत्पादकता और संसाधन हानि का कारण बनता है।

विकल्प नो-कोड ईटीएल है; इन उपकरणों में आमतौर पर ड्रैग-एंड-ड्रॉप फ़ंक्शन होते हैं। ये उपकरण कोडिंग की आवश्यकता को पूरी तरह से हटा देते हैं, इस प्रकार गैर-तकनीकी श्रमिकों को भी ईटीएल निष्पादित करने की अनुमति देते हैं। अपने इंटरैक्टिव डिज़ाइन और समावेशी दृष्टिकोण के लिए, अधिकांश व्यवसाय अपने ETL संचालन के लिए Informatica, Integrate.io, IBM स्टोरेज, Hadoop, Azure, Google Cloud Dataflow और Oracle डेटा इंटीग्रेटर का उपयोग करते हैं।

डेटा उद्योग में चार प्रकार के नो-कोड ईटीएल उपकरण मौजूद हैं।

वाणिज्यिक ईटीएल उपकरण
ओपन सोर्स ईटीएल उपकरण
कस्टम ईटीएल उपकरण
क्लाउड-आधारित ईटीएल उपकरण

ईटीएल के लिए सर्वोत्तम अभ्यास

कुछ प्रथाएं और प्रोटोकॉल हैं जिनका एक अनुकूलित ईटीएल पाइपलाइन सुनिश्चित करने के लिए पालन किया जाना चाहिए। सर्वोत्तम प्रथाओं पर नीचे चर्चा की गई है:

डेटा के संदर्भ को समझना: डेटा कैसे एकत्र किया जाता है और मेट्रिक्स का क्या मतलब है, इसे ठीक से समझना चाहिए। इससे यह पहचानने में मदद मिलेगी कि कौन सी विशेषताएँ अनावश्यक हैं और उन्हें हटा दिया जाना चाहिए।
पुनर्प्राप्ति जांच बिंदु: यदि पाइपलाइन टूट गई है और डेटा लीक हो गया है, तो लीक हुए डेटा को पुनर्प्राप्त करने के लिए प्रोटोकॉल होना चाहिए।
ईटीएल लॉगबुक: एक ईटीएल लॉगबुक बनाए रखा जाना चाहिए जिसमें ईटीएल चक्र से पहले, उसके दौरान और बाद में डेटा के साथ की गई प्रत्येक प्रक्रिया का रिकॉर्ड हो।
ऑडिटिंग: यह सुनिश्चित करने के लिए कि डेटा उसी स्थिति में है जैसा आप चाहते थे, एक अंतराल के बाद डेटा पर नज़र रखना।
डेटा का छोटा आकार: डेटाबेस और उनकी तालिकाओं का आकार इस तरह छोटा रखा जाना चाहिए कि डेटा लंबवत की तुलना में क्षैतिज रूप से अधिक फैला हो। यह अभ्यास प्रसंस्करण गति में वृद्धि सुनिश्चित करता है और, विस्तार से, ईटीएल प्रक्रिया को गति देता है।
कैश लेयर बनाना: कैश लेयर एक हाई-स्पीड डेटा स्टोरेज लेयर है जो हाल ही में उपयोग किए गए डेटा को एक डिस्क पर संग्रहीत करता है जहां इसे जल्दी से एक्सेस किया जा सकता है। यह अभ्यास समय बचाने में मदद करता है जब कैश्ड डेटा सिस्टम द्वारा अनुरोधित होता है।
समानांतर प्रसंस्करण: ईटीएल को एक क्रमिक प्रक्रिया के रूप में मानने से व्यवसाय के समय और संसाधनों का एक बड़ा हिस्सा बर्बाद हो जाता है, जिससे पूरी प्रक्रिया बेहद अक्षम हो जाती है। समाधान एक साथ समानांतर प्रसंस्करण और एकाधिक ईटीएल एकीकरण करना है।

ईटीएल उपयोग के मामले

ईटीएल कई तरीकों से व्यवसायों के लिए परिचालन को सुचारू और कुशल बनाता है, लेकिन हम यहां तीन सबसे लोकप्रिय उपयोग के मामलों पर चर्चा करेंगे।

क्लाउड पर अपलोड करना:

स्थानीय स्तर पर डेटा संग्रहीत करना एक महंगा विकल्प है जिसमें व्यवसायों को सर्वर खरीदने, रखने, चलाने और बनाए रखने पर संसाधन खर्च करने पड़ते हैं। इस सारी परेशानी से बचने के लिए, व्यवसाय सीधे डेटा को क्लाउड पर अपलोड कर सकते हैं। इससे मूल्यवान संसाधनों और समय की बचत होती है, जिसे ईटीएल प्रक्रिया के अन्य पहलुओं को बेहतर बनाने के लिए निवेश किया जा सकता है।

विभिन्न स्रोतों से डेटा मर्ज करना:

किसी संगठन में डेटा अक्सर विभिन्न प्रणालियों में बिखरा हुआ होता है। विभिन्न स्रोतों से डेटा को एक स्थान पर विलय करना ताकि इसे संसाधित किया जा सके और फिर बाद में हितधारकों के साथ साझा करने के लिए विश्लेषण किया जा सके, ईटीएल प्रक्रिया का उपयोग करके किया जाता है। ईटीएल यह सुनिश्चित करता है कि विभिन्न स्रोतों से डेटा को समान रूप से स्वरूपित किया जाए जबकि डेटा की अखंडता बरकरार रहे।

भविष्य कहनेवाला मॉडलिंग:

डेटा-संचालित निर्णय लेना एक सफल व्यावसायिक रणनीति की आधारशिला है। ईटीएल व्यवसायों को डेटा निकालने, उसे बदलने और फिर उसे मशीन लर्निंग मॉडल से जुड़े डेटाबेस में लोड करने में मदद करता है। ये मशीन लर्निंग मॉडल ईटीएल प्रक्रिया से गुजरने के बाद डेटा का विश्लेषण करते हैं और फिर उस डेटा के आधार पर भविष्यवाणियां करते हैं।

डेटा लैंडस्केप में ईटीएल का भविष्य

ईटीएल निश्चित रूप से डेटा आर्किटेक्चर के लिए रीढ़ की हड्डी की भूमिका निभाता है; यह उसी तरह रहेगा या नहीं, यह अभी देखा जाना बाकी है, क्योंकि तकनीकी उद्योग में जीरो ईटीएल की शुरुआत के साथ, बड़े बदलाव आसन्न हैं। जीरो ईटीएल के साथ, पारंपरिक एक्सट्रैक्ट, ट्रांसफॉर्म और लोड प्रक्रियाओं की कोई आवश्यकता नहीं होगी, लेकिन डेटा लगभग वास्तविक समय में सीधे लक्ष्य प्रणाली में स्थानांतरित कर दिया जाएगा।

डेटा इकोसिस्टम में कई उभरते रुझान हैं। चेक आउट एकजुट.एआई तकनीकी रुझानों के बारे में अपना ज्ञान बढ़ाने के लिए।

संबंधित विषय:कृत्रिम बुद्धिमत्ता ईटीएल मशीन लर्निंग