एन्सेम्बल लर्निंग क्या है?

सबसे शक्तिशाली मशीन लर्निंग तकनीकों में से एक है एन्सेम्बल लर्निंग। एक साथ सीख रहा हूँ भविष्यवाणियों की विश्वसनीयता और सटीकता में सुधार के लिए कई मशीन लर्निंग मॉडल का उपयोग है। फिर भी एकाधिक मशीन लर्निंग मॉडल के उपयोग से अधिक सटीक भविष्यवाणियाँ कैसे होती हैं? सामूहिक शिक्षण मॉडल बनाने के लिए किस प्रकार की तकनीकों का उपयोग किया जाता है? हम इन सवालों के जवाब का पता लगाएंगे, पहनावा मॉडल का उपयोग करने के पीछे के तर्क और पहनावा मॉडल बनाने के प्राथमिक तरीकों पर एक नज़र डालेंगे।

एन्सेम्बल लर्निंग क्या है?

सीधे शब्दों में कहें तो, एसेम्बल लर्निंग कई मशीन लर्निंग मॉडल को प्रशिक्षित करने और उनके आउटपुट को एक साथ संयोजित करने की प्रक्रिया है। एक इष्टतम पूर्वानुमान मॉडल बनाने के लिए विभिन्न मॉडलों को आधार के रूप में उपयोग किया जाता है। अलग-अलग मशीन लर्निंग मॉडल के विविध सेट के संयोजन से समग्र मॉडल की स्थिरता में सुधार हो सकता है, जिससे अधिक सटीक भविष्यवाणियां हो सकती हैं। एन्सेम्बल लर्निंग मॉडल अक्सर व्यक्तिगत मॉडल की तुलना में अधिक विश्वसनीय होते हैं, और परिणामस्वरूप, वे अक्सर कई मशीन लर्निंग प्रतियोगिताओं में प्रथम स्थान पर रहते हैं।

ऐसी विभिन्न तकनीकें हैं जिनका उपयोग एक इंजीनियर एक सामूहिक शिक्षण मॉडल बनाने के लिए कर सकता है। सरल सामूहिक शिक्षण तकनीकों में विभिन्न मॉडलों के आउटपुट का औसत निकालने जैसी चीजें शामिल हैं, जबकि विशेष रूप से कई आधार शिक्षार्थियों/मॉडलों की भविष्यवाणियों को एक साथ संयोजित करने के लिए अधिक जटिल तरीके और एल्गोरिदम भी विकसित किए गए हैं।

सामूहिक प्रशिक्षण विधियों का उपयोग क्यों करें?

मशीन लर्निंग मॉडल कई कारणों से एक दूसरे से भिन्न हो सकते हैं। विभिन्न मशीन लर्निंग मॉडल जनसंख्या डेटा के विभिन्न नमूनों पर काम कर सकते हैं, विभिन्न मॉडलिंग तकनीकों का उपयोग किया जा सकता है, और एक अलग परिकल्पना का उपयोग किया जा सकता है।

कल्पना कीजिए कि आप लोगों के एक बड़े समूह के साथ एक सामान्य ज्ञान का खेल खेल रहे हैं। यदि आप स्वयं किसी टीम में हैं, तो निश्चित रूप से कुछ विषय ऐसे होंगे जिनके बारे में आपको जानकारी है और कई विषय ऐसे होंगे जिनके बारे में आपको कोई जानकारी नहीं है। अब मान लीजिए कि आप अन्य लोगों के साथ एक टीम में खेल रहे हैं। आपकी ही तरह, उन्हें भी अपनी विशेषताओं के बारे में कुछ ज्ञान होगा और अन्य विषयों के बारे में कोई ज्ञान नहीं होगा। फिर भी जब आपका ज्ञान संयुक्त होता है, तो आपके पास अधिक क्षेत्रों के लिए अधिक सटीक अनुमान होते हैं, और आपकी टीम के पास उन विषयों की संख्या कम हो जाती है जिनके बारे में जानकारी नहीं है। यह वही सिद्धांत है जो सटीकता में सुधार और त्रुटियों को कम करने के लिए विभिन्न टीम के सदस्यों (व्यक्तिगत मॉडल) की भविष्यवाणियों को संयोजित करके सीखने को रेखांकित करता है।

सांख्यिकीविदों ने साबित किया है जब लोगों की भीड़ को संभावित उत्तरों की एक श्रृंखला के साथ दिए गए प्रश्न के सही उत्तर का अनुमान लगाने के लिए कहा जाता है, तो उनके सभी उत्तर एक संभाव्यता वितरण बनाते हैं। जो लोग वास्तव में सही उत्तर जानते हैं वे आत्मविश्वास के साथ सही उत्तर चुनेंगे, जबकि जो लोग गलत उत्तर चुनते हैं वे अपने अनुमानों को संभावित गलत उत्तरों की श्रेणी में वितरित करेंगे। एक सामान्य ज्ञान खेल के उदाहरण पर वापस जाएं, यदि आप और आपके दो दोस्त जानते हैं कि सही उत्तर ए है, तो आप तीनों ए को वोट देंगे, जबकि आपकी टीम के तीन अन्य लोग जो उत्तर नहीं जानते हैं, उनके गलत उत्तर देने की संभावना है। बी, सी, डी, या ई का अनुमान लगाएं। परिणाम यह है कि ए के पास तीन वोट हैं और अन्य उत्तरों के लिए अधिकतम एक या दो वोट ही मिलने की संभावना है।

सभी मॉडलों में कुछ मात्रा में त्रुटि है। एक मॉडल की त्रुटियाँ दूसरे मॉडल द्वारा उत्पन्न त्रुटियों से भिन्न होंगी, क्योंकि ऊपर वर्णित कारणों से मॉडल स्वयं भिन्न हैं। जब सभी त्रुटियों की जांच की जाती है, तो उन्हें एक उत्तर या दूसरे के आसपास एकत्रित नहीं किया जाएगा, बल्कि वे चारों ओर बिखरी हुई होंगी। गलत अनुमान अनिवार्य रूप से सभी संभावित गलत उत्तरों में फैले हुए हैं, एक दूसरे को रद्द कर रहे हैं। इस बीच, विभिन्न मॉडलों के सही अनुमानों को सही, सही उत्तर के आसपास एकत्रित किया जाएगा। जब सामूहिक प्रशिक्षण विधियों का उपयोग किया जाता है, सही उत्तर अधिक विश्वसनीयता के साथ पाया जा सकता है.

सरल समूह प्रशिक्षण विधियाँ

सरल पहनावा प्रशिक्षण विधियों में आम तौर पर केवल इसका अनुप्रयोग शामिल होता है सांख्यिकीय सारांश तकनीकएस, जैसे भविष्यवाणियों के एक सेट का मोड, माध्य या भारित औसत निर्धारित करना।

मोड संख्याओं के एक सेट के भीतर सबसे अधिक बार होने वाले तत्व को संदर्भित करता है। मोड प्राप्त करने के लिए, व्यक्तिगत शिक्षण मॉडल अपनी भविष्यवाणियाँ लौटाते हैं और इन भविष्यवाणियों को अंतिम भविष्यवाणी के लिए वोट माना जाता है। पूर्वानुमानों का माध्य निर्धारित करना केवल निकटतम पूर्णांक तक पूर्णांकित, पूर्वानुमानों के अंकगणितीय माध्य की गणना करके किया जाता है। अंत में, एक भारित औसत की गणना पूर्वानुमान बनाने के लिए उपयोग किए जाने वाले मॉडलों को अलग-अलग भार निर्दिष्ट करके की जा सकती है, जिसमें भार उस मॉडल के अनुमानित महत्व का प्रतिनिधित्व करते हैं। वर्ग भविष्यवाणी के संख्यात्मक प्रतिनिधित्व को 0 से 1.0 तक के भार के साथ गुणा किया जाता है, फिर व्यक्तिगत भारित भविष्यवाणियों को एक साथ जोड़ दिया जाता है और परिणाम को निकटतम पूर्णांक तक पूर्णांकित किया जाता है।

उन्नत समूह प्रशिक्षण विधियाँ

तीन प्राथमिक उन्नत समूह प्रशिक्षण तकनीकें हैं, जिनमें से प्रत्येक को एक विशिष्ट प्रकार की मशीन सीखने की समस्या से निपटने के लिए डिज़ाइन किया गया है। "बैगिंग" तकनीक किसी मॉडल की भविष्यवाणियों के विचरण को कम करने के लिए उपयोग किया जाता है, विचरण का संदर्भ यह होता है कि एक ही अवलोकन के आधार पर भविष्यवाणियों के परिणाम कितने भिन्न होते हैं। "बूस्टिंग" तकनीकें मॉडलों के पूर्वाग्रह से निपटने के लिए उपयोग किया जाता है। अंत में, "स्टैकिंग" सामान्यतः भविष्यवाणियों को बेहतर बनाने के लिए उपयोग किया जाता है।

सामूहिक शिक्षण विधियों को आम तौर पर दो अलग-अलग समूहों में विभाजित किया जा सकता है: अनुक्रमिक विधियाँ और समानांतर समुच्चय विधियाँ।

अनुक्रमिक संयोजन विधियों को "अनुक्रमिक" नाम मिलता है क्योंकि आधार शिक्षार्थी/मॉडल क्रमिक रूप से उत्पन्न होते हैं। अनुक्रमिक तरीकों के मामले में, आवश्यक विचार यह है कि अधिक सटीक भविष्यवाणियां प्राप्त करने के लिए आधार शिक्षार्थियों के बीच निर्भरता का फायदा उठाया जाता है। गलत लेबल वाले उदाहरणों का वजन समायोजित किया जाता है जबकि उचित लेबल वाले उदाहरणों का वजन समान रहता है। हर बार जब कोई नया शिक्षार्थी उत्पन्न होता है तो वजन बदल जाता है और सटीकता (उम्मीद है) में सुधार होता है।

अनुक्रमिक संयोजन मॉडल के विपरीत, समानांतर संयोजन विधियां समानांतर में आधार शिक्षार्थियों को उत्पन्न करती हैं। समानांतर सामूहिक शिक्षण करते समय, विचार इस तथ्य का फायदा उठाना है कि आधार शिक्षार्थियों के पास स्वतंत्रता है, क्योंकि व्यक्तिगत शिक्षार्थियों की भविष्यवाणियों के औसत से सामान्य त्रुटि दर को कम किया जा सकता है।

सामूहिक प्रशिक्षण विधियाँ प्रकृति में या तो समरूप या विषम हो सकती हैं। अधिकांश सामूहिक शिक्षण विधियाँ सजातीय हैं, जिसका अर्थ है कि वे एक ही प्रकार के आधार शिक्षण मॉडल/एल्गोरिदम का उपयोग करते हैं। इसके विपरीत, विषम समूह अलग-अलग शिक्षण एल्गोरिदम का उपयोग करते हैं, शिक्षार्थियों में विविधता लाते हैं और विविधता लाते हैं ताकि यह सुनिश्चित किया जा सके कि सटीकता यथासंभव अधिक हो।

एन्सेम्बल लर्निंग एल्गोरिदम के उदाहरण

पहनावे को बढ़ावा देने का दृश्य। फोटो: विकीमीडिया कॉमन्स के माध्यम से सिराकोर्न, सीसी बाय एसए 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

अनुक्रमिक संयोजन विधियों के उदाहरणों में शामिल हैं एडा बूस्ट, एक्सजीबूस्ट, तथा ग्रेडिएंट ट्री बूस्टिंग. ये सभी बूस्टिंग मॉडल हैं। इन बूस्टिंग मॉडलों के लिए, लक्ष्य कमजोर, कम प्रदर्शन करने वाले शिक्षार्थियों को अधिक शक्तिशाली शिक्षार्थियों में परिवर्तित करना है। AdaBoost और XGBoost जैसे मॉडल कई कमजोर शिक्षार्थियों के साथ शुरू होते हैं जो यादृच्छिक अनुमान लगाने की तुलना में थोड़ा बेहतर प्रदर्शन करते हैं। जैसे-जैसे प्रशिक्षण जारी रहता है, डेटा पर भार लागू किया जाता है और समायोजित किया जाता है। ऐसे उदाहरण जिन्हें प्रशिक्षण के पहले दौर में शिक्षार्थियों द्वारा गलत तरीके से वर्गीकृत किया गया था, उन्हें अधिक महत्व दिया गया है। प्रशिक्षण दौरों की वांछित संख्या के लिए इस प्रक्रिया को दोहराए जाने के बाद, भविष्यवाणियों को एक भारित योग (प्रतिगमन कार्यों के लिए) और एक भारित वोट (वर्गीकरण कार्यों के लिए) के माध्यम से एक साथ जोड़ा जाता है।

बैगिंग सीखने की प्रक्रिया. फोटो: विकिमीडिया कॉमन्स के माध्यम से सिएटलडेटागाइ, सीसी बाय एसए 4.0 (https://commons.wikimedia.org/wiki/File:Blogging.png)

समानांतर संयोजन मॉडल का एक उदाहरण है a बेतरतीब जंगल क्लासिफायर, और रैंडम फ़ॉरेस्ट भी बैगिंग तकनीक का एक उदाहरण है। "बैगिंग" शब्द "बूटस्ट्रैप एग्रीगेशन" से आया है। "बूटस्ट्रैप सैंपलिंग" नामक नमूना तकनीक का उपयोग करके कुल डेटासेट से नमूने लिए जाते हैं, जिनका उपयोग आधार शिक्षार्थियों द्वारा भविष्यवाणियां करने के लिए किया जाता है। वर्गीकरण कार्यों के लिए, आधार मॉडल के आउटपुट को वोटिंग का उपयोग करके एकत्रित किया जाता है, जबकि प्रतिगमन कार्यों के लिए उन्हें एक साथ औसत किया जाता है। रैंडम फ़ॉरेस्ट अपने आधार शिक्षार्थियों के रूप में व्यक्तिगत निर्णय पेड़ों का उपयोग करता है, और समूह में प्रत्येक पेड़ डेटासेट से एक अलग नमूने का उपयोग करके बनाया गया है। पेड़ को उत्पन्न करने के लिए सुविधाओं के एक यादृच्छिक उपसमूह का भी उपयोग किया जाता है। अत्यधिक यादृच्छिक व्यक्तिगत निर्णय पेड़ों की ओर अग्रसर, जो विश्वसनीय भविष्यवाणियां प्रदान करने के लिए सभी को एक साथ जोड़ दिया जाता है।

पहनावा स्टैकिंग का विज़ुअलाइज़ेशन। फोटो: विकिमीडिया कॉमन्स के माध्यम से सुपुन सेतुंगा, सीसी बाय एसए 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

स्टैकिंग एन्सेम्बल तकनीकों के संदर्भ में, एकाधिक प्रतिगमन या वर्गीकरण मॉडल को उच्च स्तर, मेटा-मॉडल के माध्यम से एक साथ जोड़ा जाता है। निचले स्तर, बेस मॉडल को संपूर्ण डेटासेट खिलाकर प्रशिक्षण दिया जा रहा है। बेस मॉडल के आउटपुट को मेटा-मॉडल को प्रशिक्षित करने के लिए सुविधाओं के रूप में उपयोग किया जाता है। स्टैकिंग पहनावा मॉडल अक्सर प्रकृति में विषम होते हैं।