ग्रेडिएंट बूस्टिंग क्या है?

एक सामान्य प्रकार का मशीन लर्निंग मॉडल जो डेटा विज्ञान प्रतियोगिताओं में बेहद उपयोगी साबित हुआ है, वह ग्रेडिएंट बूस्टिंग मॉडल है। ग्रेडिएंट बूस्टिंग मूल रूप से यह कमज़ोर लर्निंग मॉडल को मज़बूत लर्निंग मॉडल में बदलने की प्रक्रिया है। लेकिन यह वास्तव में कैसे पूरा किया जाता है? आइए ग्रेडिएंट बूस्टिंग एल्गोरिदम पर करीब से नज़र डालें और बेहतर तरीके से समझें कि ग्रेडिएंट बूस्टिंग मॉडल कमज़ोर सीखने वालों को मज़बूत सीखने वालों में कैसे बदलता है।

ग्रेडिएंट बूस्टिंग को परिभाषित करना

इस लेख का उद्देश्य एल्गोरिदम के अंतर्गत आने वाले गणित के कई विश्लेषणों के बिना, ग्रेडिएंट बूस्टिंग क्या है, इसके बारे में आपको एक अच्छा अंतर्ज्ञान देना है। एक बार जब आप इस बात की सराहना कर लेते हैं कि ग्रेडिएंट बूस्टिंग उच्च स्तर पर कैसे संचालित होता है, तो आपको गहराई तक जाने और उस गणित का पता लगाने के लिए प्रोत्साहित किया जाता है जो इसे संभव बनाता है।

आइए यह परिभाषित करके प्रारंभ करें कि किसी शिक्षार्थी को "बढ़ावा" देने का क्या अर्थ है। शिक्षण मॉडल के गुणों को समायोजित करके कमजोर शिक्षार्थियों को मजबूत शिक्षार्थियों में परिवर्तित किया जाता है। वास्तव में किस शिक्षण एल्गोरिदम को बढ़ावा दिया जा रहा है?

बूस्टिंग मॉडल एक अन्य सामान्य मशीन लर्निंग मॉडल को बढ़ाकर काम करते हैं, एक निर्णय वृक्ष.

A निर्णय वृक्ष मॉडल डेटासेट को छोटे और छोटे भागों में विभाजित करके कार्य करता है, और एक बार जब सबसेट को और अधिक विभाजित नहीं किया जा सकता है, तो परिणाम नोड्स और पत्तियों वाला एक पेड़ होता है। निर्णय वृक्ष में नोड्स वे होते हैं जहां विभिन्न फ़िल्टरिंग मानदंडों का उपयोग करके डेटा बिंदुओं के बारे में निर्णय लिए जाते हैं। निर्णय वृक्ष में पत्तियाँ वे डेटा बिंदु हैं जिन्हें वर्गीकृत किया गया है। निर्णय वृक्ष एल्गोरिदम संख्यात्मक और श्रेणीबद्ध डेटा दोनों को संभाल सकते हैं, और पेड़ में विभाजन विशिष्ट चर/विशेषताओं पर आधारित होते हैं।

बूस्टिंग मॉडलों को प्रशिक्षित करने के तरीके का चित्रण।
फोटो: विकिमीडिया कॉमन्स के माध्यम से सिएटलडेटा खरीदें, सीसी 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

एक प्रकार का बूस्टिंग एल्गोरिदम है एडा बूस्ट एल्गोरिथम. AdaBoost एल्गोरिदम एक निर्णय वृक्ष मॉडल को प्रशिक्षित करने और प्रत्येक अवलोकन को समान महत्व देने से शुरू होता है। सटीकता के लिए पहले पेड़ का मूल्यांकन करने के बाद, विभिन्न अवलोकनों के लिए वजन समायोजित किया जाता है। जिन प्रेक्षणों को वर्गीकृत करना आसान था, उनका महत्व कम हो गया, जबकि जिन प्रेक्षणों को वर्गीकृत करना कठिन था, उनका भार बढ़ गया। इन समायोजित भारों का उपयोग करके एक दूसरा पेड़ बनाया जाता है, इस उद्देश्य से कि दूसरे पेड़ की भविष्यवाणियाँ पहले पेड़ की भविष्यवाणियों की तुलना में अधिक सटीक होंगी।

मॉडल में अब मूल पेड़ और नए पेड़ (या पेड़ 1 + पेड़ 2) के लिए भविष्यवाणियां शामिल हैं। नए मॉडल के आधार पर वर्गीकरण सटीकता का एक बार फिर आकलन किया जाता है। मॉडल के लिए गणना की गई त्रुटि के आधार पर एक तीसरा पेड़ बनाया जाता है, और वजन को एक बार फिर समायोजित किया जाता है। यह प्रक्रिया निश्चित संख्या में पुनरावृत्तियों के लिए जारी रहती है, और अंतिम मॉडल एक संयोजन मॉडल है जो पहले निर्मित सभी पेड़ों द्वारा की गई भविष्यवाणियों के भारित योग का उपयोग करता है।

ऊपर वर्णित प्रक्रिया निर्णय वृक्षों और आधार भविष्यवक्ताओं/मॉडलों का उपयोग करती है, फिर भी कई मानक क्लासिफायरियर और रिग्रेसर मॉडल जैसे मॉडलों की एक विस्तृत श्रृंखला के साथ एक बूस्टिंग दृष्टिकोण किया जा सकता है। समझने वाली मुख्य अवधारणा यह है कि बाद के भविष्यवक्ता पिछले लोगों द्वारा की गई गलतियों से सीखते हैं और भविष्यवक्ता क्रमिक रूप से बनाए जाते हैं।

एल्गोरिदम को बढ़ावा देने का प्राथमिक लाभ यह है कि अन्य मशीन लर्निंग मॉडल की तुलना में उन्हें वर्तमान भविष्यवाणियां खोजने में कम समय लगता है। हालाँकि, बूस्टिंग एल्गोरिदम को नियोजित करते समय सावधानी बरतने की आवश्यकता होती है, क्योंकि उनमें ओवरफिटिंग का खतरा होता है।

धीरे-धीरे बूस्टिंग

अब हम सबसे आम बूस्टिंग एल्गोरिदम में से एक को देखेंगे। ग्रेडिएंट बूस्टिंग मॉडल (जीबीएम) अपनी उच्च सटीकता के लिए जाने जाते हैं, और वे एडाबूस्ट में उपयोग किए जाने वाले सामान्य सिद्धांतों को बढ़ाते हैं।

ग्रेडिएंट बूस्टिंग मॉडल और एडाबूस्ट के बीच प्राथमिक अंतर यह है कि जीबीएम गणना करने के लिए एक अलग पद्धति का उपयोग करते हैं कि कौन से शिक्षार्थी डेटा बिंदुओं की गलत पहचान कर रहे हैं। AdaBoost भारी भार वाले डेटा बिंदुओं की जांच करके गणना करता है कि मॉडल कहां खराब प्रदर्शन कर रहा है। इस बीच, जीबीएम एक मॉडल में हानि फ़ंक्शन को लागू करके, शिक्षार्थियों की सटीकता निर्धारित करने के लिए ग्रेडिएंट का उपयोग करते हैं। हानि फ़ंक्शन डेटासेट पर मॉडल के फिट होने की सटीकता को मापने, त्रुटि की गणना करने और उस त्रुटि को कम करने के लिए मॉडल को अनुकूलित करने का एक तरीका है। जीबीएम उपयोगकर्ता को उनके वांछित लक्ष्य के आधार पर एक निर्दिष्ट हानि फ़ंक्शन को अनुकूलित करने देता है।

सबसे आम हानि फ़ंक्शन लेना - माध्य चुकता त्रुटि (MSE) - उदहारण के लिए, ढतला हुआ वंश इसका उपयोग पूर्वनिर्धारित सीखने की दर के आधार पर भविष्यवाणियों को अद्यतन करने के लिए किया जाता है, जिसका लक्ष्य उन मूल्यों को ढूंढना है जहां नुकसान न्यूनतम है।

इसे और स्पष्ट करने के लिए:

नए मॉडल की भविष्यवाणियाँ = आउटपुट चर - पुरानी अपूर्ण भविष्यवाणियाँ।

अधिक सांख्यिकीय अर्थ में, जीबीएम का लक्ष्य किसी मॉडल के अवशेषों में प्रासंगिक पैटर्न ढूंढना, पैटर्न को फिट करने के लिए मॉडल को समायोजित करना और अवशेषों को यथासंभव शून्य के करीब लाना है। यदि आपको मॉडल की भविष्यवाणियों पर एक प्रतिगमन करना था, तो अवशेषों को 0 (बिल्कुल फिट) के आसपास वितरित किया जाएगा, और जीबीएम अवशेषों के भीतर पैटर्न ढूंढ रहे हैं और इन पैटर्न के आसपास मॉडल को अपडेट कर रहे हैं।

दूसरे शब्दों में, पूर्वानुमानों को अद्यतन किया जाता है ताकि सभी अवशेषों का योग यथासंभव 0 के करीब हो, जिसका अर्थ है कि अनुमानित मूल्य वास्तविक मूल्यों के बहुत करीब होंगे।

ध्यान दें कि जीबीएम द्वारा अन्य हानि कार्यों (जैसे लॉगरिदमिक हानि) की एक विस्तृत विविधता का उपयोग किया जा सकता है। सरलता के उद्देश्य से MSE को ऊपर चुना गया था।

ग्रेडिएंट बूस्टिंग मॉडल पर विविधताएँ

ग्रेडिएंट बूस्टिंग मॉडल लालची एल्गोरिदम हैं जो डेटासेट पर ओवरफिटिंग के लिए प्रवण होते हैं। इससे बचाव किया जा सकता है कई अलग-अलग तरीके जो जीबीएम के प्रदर्शन में सुधार कर सकता है।

जीबीएम को चार अलग-अलग तरीकों से विनियमित किया जा सकता है: सिकुड़न, वृक्ष बाधाएं, स्टोकेस्टिक ग्रेडिएंट बूस्टिंग और दंडित शिक्षण।

संकोचन

जैसा कि पहले उल्लेख किया गया है, जीबीएम में भविष्यवाणियों को क्रमिक रूप से एक साथ सारांशित किया जाता है। "संकोचन" में प्रत्येक पेड़ की कुल राशि में वृद्धि को समायोजित किया जाता है। वज़न लागू किया जाता है जो एल्गोरिदम की सीखने की दर को धीमा कर देता है, जिससे मॉडल में अधिक पेड़ जोड़ने की आवश्यकता होती है, जो आम तौर पर मॉडल की मजबूती और प्रदर्शन में सुधार करती है। समस्या यह है कि मॉडल को प्रशिक्षित होने में अधिक समय लगता है।

वृक्ष बाधाएँ

पेड़ में अधिक गहराई जोड़ने या पेड़ में नोड्स या पत्तियों की संख्या बढ़ाने जैसे विभिन्न बदलावों के साथ पेड़ को सीमित करने से मॉडल के लिए ओवरफिट करना कठिन हो सकता है। प्रति विभाजन टिप्पणियों की न्यूनतम संख्या पर प्रतिबंध लगाने से समान प्रभाव पड़ता है। एक बार फिर, समस्या यह है कि मॉडल को प्रशिक्षित होने में अधिक समय लगेगा।

यादृच्छिक नमूना

प्रशिक्षण डेटासेट के यादृच्छिक रूप से चयनित उप-स्टैम्पल्स के आधार पर, व्यक्तिगत शिक्षार्थियों को एक स्टोकेस्टिक प्रक्रिया के माध्यम से बनाया जा सकता है। इससे पेड़ों के बीच सहसंबंधों को कम करने का प्रभाव पड़ता है, जो ओवरफिटिंग से बचाता है। पेड़ बनाने से पहले या पेड़ में विभाजन पर विचार करने से पहले डेटासेट को सबस्टैम्प किया जा सकता है।

दंडित सीखना

पेड़ की संरचना को सीमित करके मॉडल को सीमित करने के अलावा, प्रतिगमन पेड़ का उपयोग करना संभव है। प्रतिगमन पेड़ों में प्रत्येक पत्तियों से जुड़े संख्यात्मक मान होते हैं, और ये वजन के रूप में कार्य करते हैं और इन्हें एल 1 और एल 2 नियमितीकरण जैसे सामान्य नियमितीकरण कार्यों के साथ समायोजित किया जा सकता है।