एन्सेम्बल लर्निंग क्या है?

मशीन लर्निंग की सबसे शक्तिशाली तकनीकों में से एक एन्सेम्बल लर्निंग है। एन्सेम्बल लर्निंग कई मशीन लर्निंग मॉडलों का उपयोग करके भविष्यवाणियों की विश्वसनीयता और सटीकता में सुधार करने के लिए किया जाता है। लेकिन कई मशीन लर्निंग मॉडलों का उपयोग करके अधिक सटीक भविष्यवाणियों का नेतृत्व कैसे किया जाता है? एन्सेम्बल लर्निंग मॉडल बनाने के लिए किस प्रकार की तकनीकों का उपयोग किया जाता है? हम इन प्रश्नों के उत्तर की खोज करेंगे, एन्सेम्बल मॉडल का उपयोग करने के तर्क और एन्सेम्बल मॉडल बनाने के प्राथमिक तरीकों पर एक नज़र डालेंगे।

एन्सेम्बल लर्निंग क्या है?

साधारण शब्दों में, एन्सेम्बल लर्निंग कई मशीन लर्निंग मॉडलों को प्रशिक्षित करने और उनके आउटपुट को एक साथ जोड़ने की प्रक्रिया है। विभिन्न मॉडल एक आधार के रूप में उपयोग किए जाते हैं ताकि एक ऑप्टिमल भविष्यवाणी मॉडल बनाया जा सके। विभिन्न मशीन लर्निंग मॉडलों के एक विविध सेट को जोड़कर समग्र मॉडल की स्थिरता में सुधार किया जा सकता है, जिससे अधिक सटीक भविष्यवाणियां होती हैं। एन्सेम्बल लर्निंग मॉडल अक्सर व्यक्तिगत मॉडलों की तुलना में अधिक विश्वसनीय होते हैं, और परिणामस्वरूप, वे अक्सर कई मशीन लर्निंग प्रतियोगिताओं में पहले स्थान पर आते हैं।

एन्सेम्बल लर्निंग मॉडल बनाने के लिए एक इंजीनियर कई तकनीकों का उपयोग कर सकता है। सरल एन्सेम्बल लर्निंग तकनीकों में विभिन्न मॉडलों के आउटपुट को औसत करना शामिल है, जबकि कई जटिल विधियां और एल्गोरिदम विकसित किए गए हैं जो विभिन्न आधार शिक्षार्थियों/मॉडलों की भविष्यवाणियों को जोड़ने के लिए विशेष रूप से डिज़ाइन किए गए हैं।

एन्सेम्बल प्रशिक्षण विधियों का उपयोग क्यों करें?

मशीन लर्निंग मॉडल विभिन्न कारणों से अलग-अलग हो सकते हैं। विभिन्न मशीन लर्निंग मॉडल आबादी के विभिन्न नमूनों पर संचालित हो सकते हैं, विभिन्न मॉडलिंग तकनीकों का उपयोग किया जा सकता है, और एक अलग परिकल्पना का उपयोग किया जा सकता है।

कल्पना कीजिए कि आप एक बड़े समूह के साथ एक ट्रिविया गेम खेल रहे हैं। यदि आप अकेले एक टीम में हैं, तो ऐसे कई विषय होंगे जिनके बारे में आपको ज्ञान होगा और कई विषय जिनके बारे में आपको कोई ज्ञान नहीं होगा। अब मान लें कि आप अन्य लोगों के साथ एक टीम में हैं। आपकी तरह, उनके पास अपनी विशेषज्ञता के बारे में कुछ ज्ञान होगा और अन्य विषयों के बारे में कोई ज्ञान नहीं होगा। लेकिन जब आपके ज्ञान को जोड़ा जाता है, तो आपके पास अधिक सटीक अनुमान होते हैं और विषयों की संख्या जिनके बारे में आपकी टीम को ज्ञान नहीं है, कम हो जाती है। यह वही सिद्धांत है जो एन्सेम्बल लर्निंग के आधार पर है, जो विभिन्न टीम के सदस्यों (व्यक्तिगत मॉडल) की भविष्यवाणियों को जोड़कर सटीकता में सुधार करने और त्रुटियों को कम करने के लिए है।

अंकशास्त्रियों ने सिद्ध किया है कि जब एक भीड़ से एक दिए गए प्रश्न के लिए सही उत्तर का अनुमान लगाने के लिए कहा जाता है, तो उनके सभी उत्तर एक संभावित उत्तरों के सेट के लिए एक संभावना वितरण बनाते हैं। जो लोग वास्तव में सही उत्तर जानते हैं वे आत्मविश्वास के साथ सही उत्तर चुनेंगे, जबकि जो लोग गलत उत्तर चुनते हैं वे संभावित गलत उत्तरों के सेट में अपने अनुमानों को वितरित करेंगे। ट्रिविया गेम के उदाहरण पर वापस जाने के लिए, यदि आप और आपके दो दोस्त जानते हैं कि सही उत्तर ए है, तो तीनों ही ए वोट करेंगे, जबकि आपकी टीम के अन्य तीन लोग जो उत्तर नहीं जानते हैं वे बी, सी, डी, या ई का अनुमान लगा सकते हैं। परिणाम यह है कि ए को तीन वोट मिले हैं और अन्य उत्तरों को केवल एक या दो वोट मिले हैं।

सभी मॉडलों में कुछ त्रुटि होती है। एक मॉडल की त्रुटियां दूसरे मॉडल द्वारा उत्पादित त्रुटियों से अलग होंगी, क्योंकि मॉडल स्वयं ऊपर वर्णित कारणों से अलग हैं। जब सभी त्रुटियों की जांच की जाती है, तो वे एक उत्तर या दूसरे के चारों ओर क्लस्टर नहीं होंगे, बल्कि वे सभी संभावित गलत उत्तरों में बिखरे हुए होंगे। दूसरी ओर, विभिन्न मॉडलों से सही अनुमान सही उत्तर के चारों ओर क्लस्टर होंगे। जब एन्सेम्बल प्रशिक्षण विधियों का उपयोग किया जाता है, तो सही उत्तर को अधिक विश्वसनीयता के साथ पाया जा सकता है।

सरल एन्सेम्बल प्रशिक्षण विधियां

सरल एन्सेम्बल प्रशिक्षण विधियों में आमतौर पर सांख्यिकीय सारांश तकनीकों का अनुप्रयोग शामिल होता है, जैसे कि एक सेट के मोड, माध्य या भारित औसत का निर्धारण करना।
मोड सेट के भीतर सबसे बार-बार होने वाली वस्तु को संदर्भित करता है। मोड प्राप्त करने के लिए, व्यक्तिगत शिक्षार्थी मॉडल अपनी भविष्यवाणियां लौटाते हैं और इन भविष्यवाणियों को अंतिम भविष्यवाणी के प्रति वोट माना जाता है। भविष्यवाणियों का माध्य निकालने के लिए, भविष्यवाणियों का गणितीय माध्य गणना किया जाता है, जिसे निकटतम पूर्ण संख्या तक गोल किया जाता है। अंत में, एक भारित औसत गणना की जा सकती है जिसमें पूर्वानुमान बनाने के लिए उपयोग किए जाने वाले मॉडलों को विभिन्न भार दिए जाते हैं, जिसमें भार उस मॉडल के महत्व का प्रतिनिधित्व करते हैं। वर्ग भविष्यवाणी का संख्यात्मक प्रतिनिधित्व एक भार के साथ गुणा किया जाता है, जो 0 से 1.0 तक होता है। व्यक्तिगत भारित भविष्यवाणियां तब जोड़ी जाती हैं और परिणाम को निकटतम पूर्ण संख्या तक गोल किया जाता है।

उन्नत एन्सेम्बल प्रशिक्षण विधियां

तीन प्राथमिक उन्नत एन्सेम्बल प्रशिक्षण तकनीकें हैं, प्रत्येक एक विशिष्ट प्रकार की मशीन लर्निंग समस्या से निपटने के लिए डिज़ाइन की गई है। “बैगिंग” तकनीकें मॉडल की भविष्यवाणियों के परिवर्तनशीलता को कम करने के लिए उपयोग की जाती हैं, परिवर्तनशीलता का अर्थ है कि परिणाम कितना भिन्न होता है जब यह एक ही अवलोकन पर आधारित होता है। “बूस्टिंग” तकनीकें मॉडलों के पूर्वाग्रह से लड़ने के लिए उपयोग की जाती हैं। अंत में, “स्टैकिंग” सामान्य रूप से भविष्यवाणियों में सुधार करने के लिए उपयोग की जाती है।

एन्सेम्बल लर्निंग विधियों को सामान्य रूप से दो अलग-अलग समूहों में विभाजित किया जा सकता है: अनुक्रमिक विधियां और समानांतर एन्सेम्बल विधियां。

अनुक्रमिक एन्सेम्बल विधियों को “अनुक्रमिक” नाम मिलता है क्योंकि आधार शिक्षार्थी अनुक्रमिक रूप से उत्पन्न होते हैं। अनुक्रमिक विधियों के मामले में, मूल विचार यह है कि आधार शिक्षार्थियों के बीच निर्भरता का फायदा उठाकर अधिक सटीक भविष्यवाणियां प्राप्त की जा सकती हैं। गलत लेबल वाले उदाहरणों के वजन को समायोजित किया जाता है, जबकि सही ढंग से लेबल वाले उदाहरणों को समान वजन बनाए रखा जाता है। प्रत्येक बार जब एक नया शिक्षार्थी उत्पन्न होता है, तो वजन बदल जाते हैं और सटीकता (उम्मीद है) में सुधार होता है।

अनुक्रमिक एन्सेम्बल मॉडल के विपरीत, समानांतर एन्सेम्बल विधियों में आधार शिक्षार्थी समानांतर में उत्पन्न होते हैं। समानांतर एन्सेम्बल लर्निंग करते समय, विचार यह है कि आधार शिक्षार्थियों की स्वतंत्रता का फायदा उठाया जा सकता है, क्योंकि व्यक्तिगत शिक्षार्थियों की भविष्यवाणियों को औसत करके सामान्य त्रुटि दर को कम किया जा सकता है।

एन्सेम्बल प्रशिक्षण विधियां या तो होमोजेनस या हेटेरोजेनस प्रकृति की हो सकती हैं। अधिकांश एन्सेम्बल लर्निंग विधियां होमोजेनस होती हैं, जिसका अर्थ है कि वे एक ही प्रकार के आधार शिक्षार्थी मॉडल/अल्गोरिदम का उपयोग करती हैं। इसके विपरीत, हेटेरोजेनस एन्सेम्बल विभिन्न शिक्षार्थी अल्गोरिदम का उपयोग करते हैं, जो शिक्षार्थियों को विविधता और बदलाव के लिए सुनिश्चित करते हैं ताकि सटीकता यथासंभव उच्च हो।

एन्सेम्बल लर्निंग अल्गोरिदम के उदाहरण

एन्सेम्बल बूस्टिंग का दृश्यात्मक प्रतिनिधित्व। फोटो: सिराकोर्न विकिमीडिया कॉमन्स के माध्यम से, सीसी बाय एसए 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

अनुक्रमिक एन्सेम्बल विधियों के उदाहरणों में एडाबूस्ट, एक्सजीबूस्ट, और ग्रेडिएंट ट्री बूस्टिंग शामिल हैं। ये सभी बूस्टिंग मॉडल हैं। इन बूस्टिंग मॉडलों के लिए, लक्ष्य कमजोर, खराब प्रदर्शन करने वाले शिक्षार्थियों को अधिक शक्तिशाली शिक्षार्थियों में परिवर्तित करना है। एडाबूस्ट और एक्सजीबूस्ट जैसे मॉडल कई कमजोर शिक्षार्थियों से शुरू होते हैं जो थोड़ा बेहतर प्रदर्शन करते हैं जो यादृच्छिक रूप से अनुमान लगाते हैं। प्रशिक्षण जारी रहते हुए, डेटा पर वजन लागू किए जाते हैं और समायोजित किए जाते हैं। पिछले प्रशिक्षण दौरों में शिक्षार्थियों द्वारा गलत तरीके से वर्गीकृत किए गए उदाहरणों को अधिक वजन दिया जाता है। इस प्रक्रिया को वांछित संख्या में प्रशिक्षण दौर के लिए दोहराया जाता है, और फिर भविष्यवाणियां या तो एक भारित योग (रिग्रेशन कार्यों के लिए) के माध्यम से जोड़ी जाती हैं और एक भारित वोट (वर्गीकरण कार्यों के लिए) के माध्यम से जोड़ी जाती हैं।

बैगिंग लर्निंग प्रक्रिया। फोटो: सिएटलडेटागाई विकिमीडिया कॉमन्स के माध्यम से, सीसी बाय एसए 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

एक समानांतर एन्सेम्बल मॉडल का उदाहरण रैंडम फॉरेस्ट क्लासिफायर है, और रैंडम फॉरेस्ट भी एक बैगिंग तकनीक का उदाहरण है। “बैगिंग” शब्द “बूटस्ट्रैप एग्रीगेशन” से आया है। बूटस्ट्रैप नमूनाकरण नामक एक नमूनाकरण तकनीक का उपयोग करके कुल डेटासेट से नमूने लिए जाते हैं, जिन्हें आधार शिक्षार्थियों द्वारा भविष्यवाणियां करने के लिए उपयोग किया जाता है। वर्गीकरण कार्यों के लिए, आधार मॉडलों के आउटपुट को वोटिंग का उपयोग करके एकत्र किया जाता है, जबकि रिग्रेशन कार्यों के लिए वे एक साथ औसत किए जाते हैं। रैंडम फॉरेस्ट व्यक्तिगत निर्णय पेड़ों का उपयोग अपने आधार शिक्षार्थियों के रूप में करता है, और प्रत्येक पेड़ को डेटासेट से एक अलग नमूने का उपयोग करके बनाया जाता है। एक यादृच्छिक सुविधा का उपसंचय भी पेड़ को उत्पन्न करने के लिए उपयोग किया जाता है। जिससे उच्च रूप से यादृच्छिक व्यक्तिगत निर्णय पेड़ बनते हैं, जो सभी एक साथ जुड़कर विश्वसनीय भविष्यवाणियां प्रदान करते हैं।

एन्सेम्बल स्टैकिंग का दृश्यात्मक प्रतिनिधित्व। फोटो: सुपुन सेतुंगा विकिमीडिया कॉमन्स के माध्यम से, सीसी बाय एसए 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

स्टैकिंग एन्सेम्बल तकनीकों के संदर्भ में, कई रिग्रेशन या वर्गीकरण मॉडल एक उच्च स्तर के मेटा-मॉडल के माध्यम से एक साथ जुड़े होते हैं। निचले स्तर के आधार मॉडल पूरे डेटासेट को खिलाकर प्रशिक्षित किए जाते हैं। आधार मॉडलों के आउटपुट का उपयोग मेटा-मॉडल को प्रशिक्षित करने के लिए विशेषताओं के रूप में किया जाता है। स्टैकिंग एन्सेम्बल मॉडल अक्सर हेटेरोजेनस प्रकृति के होते हैं।