हालांकि ऑटोएमएल कुछ वर्षों पहले लोकप्रियता में आया, ऑटोएमएल पर शुरुआती काम 90 के दशक की शुरुआत में वापस चला जाता है जब वैज्ञानिकों ने हाइपरपैरामीटर अनुकूलन पर पहले पत्र प्रकाशित किए। यह 2014 में था जब आईसीएमएल ने पहला ऑटोएमएल कार्यशाला का आयोजन किया जिसमें ऑटोएमएल ने एमएल डेवलपर्स का ध्यान आकर्षित किया। ऑटोएमएल के वर्षों में से एक प्रमुख फोकस हाइपरपैरामीटर खोज समस्या है, जहां मॉडल एक बड़े हाइपरपैरामीटर स्थान में एक विशिष्ट मशीन लर्निंग मॉडल के लिए सर्वोत्तम प्रदर्शन करने वाले हाइपरपैरामीटर को निर्धारित करने के लिए अनुकूलन विधियों की एक सरणी लागू करता है। ऑटोएमएल मॉडल द्वारा लागू की जाने वाली एक अन्य विधि एक विशिष्ट हाइपरपैरामीटर के अनुकूल हाइपरपैरामीटर होने की संभावना का अनुमान लगाना है, जो आमतौर पर ऐतिहासिक डेटा का उपयोग करता है जो पहले अनुमानित मॉडल से और अन्य डेटासेट से। हाइपरपैरामीटर अनुकूलन के अलावा, अन्य विधियां मॉडलिंग विकल्पों की एक श्रृंखला से सर्वोत्तम मॉडल का चयन करने का प्रयास करती हैं।

इस लेख में, हम लाइटऑटोएमएल को कवर करेंगे, एक ऑटोएमएल सिस्टम जो मुख्य रूप से एक यूरोपीय कंपनी के लिए विकसित किया गया है जो वित्त क्षेत्र में काम करती है और इसके पारिस्थितिकी तंत्र के साथ। लाइटऑटोएमएल फ्रेमवर्क विभिन्न अनुप्रयोगों में तैनात किया गया है, और परिणामों ने डेटा वैज्ञानिकों के स्तर के समान श्रेष्ठ प्रदर्शन का प्रदर्शन किया, यहां तक कि उच्च गुणवत्ता वाले मशीन लर्निंग मॉडल बनाते समय भी। लाइटऑटोएमएल फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है। पहला, लाइटऑटोएमएल फ्रेमवर्क मुख्य रूप से एक बड़े यूरोपीय वित्तीय और बैंकिंग संस्थान के पारिस्थितिकी तंत्र के लिए विकसित किया गया था। अपने फ्रेमवर्क और वास्तुकला के कारण, लाइटऑटोएमएल फ्रेमवर्क कई खुले बेंचमार्क और पारिस्थितिकी अनुप्रयोगों में राज्य के कला ऑटोएमएल फ्रेमवर्क को पार कर जाता है। लाइटऑटोएमएल फ्रेमवर्क का प्रदर्शन डेटा वैज्ञानिकों द्वारा मैन्युअल रूप से ट्यून किए गए मॉडल के खिलाफ भी तुलना की जाती है, और परिणामों ने लाइटऑटोएमएल फ्रेमवर्क द्वारा मजबूत प्रदर्शन का संकेत दिया।

इस लेख का उद्देश्य लाइटऑटोएमएल फ्रेमवर्क को गहराई से कवर करना है, और हम फ्रेमवर्क की तंत्र, विधि, वास्तुकला के साथ-साथ राज्य के कला फ्रेमवर्क के साथ इसकी तुलना करते हैं। तो चलिए शुरू करते हैं।

लाइटऑटोएमएल: वित्तीय सेवाओं के लिए एक ऑटोएमएल फ्रेमवर्क

हालांकि शोधकर्ताओं ने ऑटोएमएल पर पहली बार 90 के दशक के मध्य और शुरुआत में काम करना शुरू किया, ऑटोएमएल ने पिछले कुछ वर्षों में एक बड़ा हिस्सा आकर्षित किया, जिसमें कुछ प्रमुख औद्योगिक समाधान स्वचालित रूप से मशीन लर्निंग मॉडल बनाने वाले हैं जैसे कि अमेज़ॅन का ऑटोग्लून, डार्विनएआई, एच 2 0.एआई, आईबीएम वाटसन एआई, माइक्रोसॉफ्ट एज़्योरएमएल, और बहुत कुछ। इनमें से अधिकांश फ्रेमवर्क एक सामान्य उद्देश्य ऑटोएमएल समाधान लागू करते हैं जो स्वचालित रूप से विभिन्न वर्गों के अनुप्रयोगों में एमएल-आधारित मॉडल विकसित करते हैं, जैसे कि वित्तीय सेवाएं, स्वास्थ्य सेवा, शिक्षा, और अधिक। इस क्षैतिज सामान्य दृष्टिकोण के पीछे मुख्य धारणा यह है कि स्वचालित मॉडल विकसित करने की प्रक्रिया सभी अनुप्रयोगों में समान रहती है। हालांकि, लाइटऑटोएमएल फ्रेमवर्क एक ऊर्ध्वाधर दृष्टिकोण लागू करता है जो एक ऑटोएमएल समाधान विकसित करने के लिए है जो सामान्य नहीं है, बल्कि व्यक्तिगत अनुप्रयोगों की आवश्यकताओं को पूरा करता है, इस मामले में एक बड़े वित्तीय संस्थान के लिए। लाइटऑटोएमएल फ्रेमवर्क एक ऊर्ध्वाधर ऑटोएमएल समाधान है जो जटिल पारिस्थितिकी तंत्र की आवश्यकताओं और इसकी विशेषताओं पर केंद्रित है। पहले, लाइटऑटोएमएल फ्रेमवर्क तेज़ और लगभग अनुकूल हाइपरपैरामीटर खोज प्रदान करता है। हालांकि मॉडल सीधे इन हाइपरपैरामीटर को अनुकूलित नहीं करता है, यह संतोषजनक परिणाम प्रदान करने में सक्षम है। इसके अलावा, मॉडल गति और हाइपरपैरामीटर अनुकूलन के बीच संतुलन बनाए रखता है ताकि मॉडल छोटे समस्याओं पर अनुकूल हो और बड़े लोगों पर तेज़ हो। दूसरा, लाइटऑटोएमएल फ्रेमवर्क जानबूझकर मशीन लर्निंग मॉडल की श्रृंखला को सीमित करता है कि केवल दो प्रकार के मॉडल हैं: रेखीय मॉडल, और जीबीएम या ग्रेडिएंट बूस्टेड डिसीज़न ट्री, विभिन्न अल्गोरिदम के बड़े समूहों को लागू करने के बजाय। मशीन लर्निंग मॉडल की श्रृंखला को सीमित करने का मुख्य कारण लाइटऑटोएमएल फ्रेमवर्क के निष्पादन समय को तेज़ करना है बिना दिए गए प्रकार की समस्या और डेटा के लिए नकारात्मक रूप से प्रदर्शन को प्रभावित किए। तीसरा, लाइटऑटोएमएल फ्रेमवर्क मॉडल में उपयोग किए जाने वाले विभिन्न सुविधाओं के लिए प्रीप्रोसेसिंग योजनाओं का चयन करने के लिए एक अनोखी विधि प्रस्तुत करता है जो कुछ चयन नियमों और मेटा-सांख्यिकी के आधार पर। लाइटऑटोएमएल फ्रेमवर्क का मूल्यांकन विभिन्न अनुप्रयोगों में खुले डेटा स्रोतों पर किया जाता है।

लाइटऑटोएमएल: विधि और वास्तुकला

लाइटऑटोएमएल फ्रेमवर्क मॉड्यूल से बना है जिसे प्रीसेट कहा जाता है जो अंत-से-अंत मॉडल विकास के लिए समर्पित हैं जो कि सामान्य मशीन लर्निंग कार्यों के लिए हैं। वर्तमान में, लाइटऑटोएमएल फ्रेमवर्क प्रीसेट मॉड्यूल का समर्थन करता है। पहला, टेबुलरऑटोएमएल प्रीसेट टेबुलर डेटासेट पर परिभाषित क्लासिकल मशीन लर्निंग समस्याओं को हल करने पर केंद्रित है। दूसरा, व्हाइट-बॉक्स प्रीसेट सरल व्याख्यात्मक अल्गोरिदम को लागू करता है जैसे कि लॉजिस्टिक रिग्रेशन वोए या वेट ऑफ़ एविडेंस एन्कोडिंग और डिस्क्रेटाइज्ड फीचर्स का उपयोग करके टेबुलर डेटा पर बाइनरी वर्गीकरण कार्यों को हल करने के लिए। सरल व्याख्यात्मक अल्गोरिदम को लागू करना विभिन्न कारकों द्वारा लगाए गए व्याख्यात्मक सीमाओं के कारण एक सामान्य अभ्यास है। तीसरा, एनएलपी प्रीसेट टेबुलर डेटा को एनएलपी या प्राकृतिक भाषा प्रोसेसिंग टूल्स के साथ जोड़ने में सक्षम है, जिसमें पूर्व-प्रशिक्षित गहरे शिक्षण मॉडल और विशिष्ट फीचर एक्सट्रैक्टर शामिल हैं। अंत में, सीवी प्रीसेट बेसिक टूल्स की मदद से इमेज डेटा के साथ काम करता है। यह ध्यान रखना महत्वपूर्ण है कि हालांकि लाइटऑटोएमएल मॉडल सभी चार प्रीसेट का समर्थन करता है, फ्रेमवर्क केवल उत्पादन-स्तर प्रणाली में टेबुलरऑटोएमएल का उपयोग करता है।

लाइटऑटोएमएल फ्रेमवर्क की विशिष्ट पाइपलाइन निम्नलिखित छवि में शामिल है।

प्रत्येक पाइपलाइन में तीन घटक होते हैं। पहला, रीडर, एक वस्तु जो टास्क प्रकार और कच्चे डेटा को इनपुट के रूप में प्राप्त करती है, महत्वपूर्ण मेटाडेटा गणना करती है, प्रारंभिक डेटा को साफ करती है, और विभिन्न मॉडलों को फिट करने से पहले डेटा मैनिपुलेशन का पता लगाती है। अगला, लाइटऑटोएमएल आंतरिक डेटासेट में सीवी इटरेटर और मेटाडेटा शामिल हैं जो डेटासेट के लिए मान्यकरण योजनाएं लागू करते हैं। तीसरा घटक कई मशीन लर्निंग पाइपलाइन हैं जो एकल भविष्यवाणी प्राप्त करने के लिए स्टैक्ड और/या मिश्रित होते हैं। लाइटऑटोएमएल फ्रेमवर्क की वास्तुकला में एक मशीन लर्निंग पाइपलाइन एकल डेटा मान्यकरण और प्रीप्रोसेसिंग योजना साझा करने वाले कई मशीन लर्निंग मॉडलों में से एक है। प्रीप्रोसेसिंग चरण में दो फीचर सिलेक्शन स्टेप, एक फीचर इंजीनियरिंग स्टेप या खाली हो सकता है यदि कोई प्रीप्रोसेसिंग की आवश्यकता नहीं है। एमएल पाइपलाइन को एक ही डेटासेट पर स्वतंत्र रूप से गणना किया जा सकता है और फिर औसत (या वजनित औसत) का उपयोग करके मिलाया जा सकता है। वैकल्पिक रूप से, एक स्टैकिंग एन्सेम्बल योजना का उपयोग करके मल्टी-लेवल एन्सेम्बल आर्किटेक्चर बनाया जा सकता है।

लाइटऑटोएमएल टेबुलर प्रीसेट

लाइटऑटोएमएल फ्रेमवर्क के भीतर, टेबुलरऑटोएमएल डिफ़ॉल्ट पाइपलाइन है, और यह टेबुलर डेटा पर तीन प्रकार के कार्यों को हल करने के लिए लागू किया जाता है: बाइनरी वर्गीकरण, रिग्रेशन, और मल्टी-क्लास वर्गीकरण विभिन्न प्रदर्शन मेट्रिक्स और हानि फ़ंक्शन के लिए। टेबुलरऑटोएमएल घटक को एक टेबल के रूप में इनपुट के रूप में दिया जाता है जिसमें चार कॉलम होते हैं: श्रेणीबद्ध विशेषताएं, संख्यात्मक विशेषताएं, टाइमस्टैम्प, और एक एकल लक्ष्य कॉलम जिसमें वर्ग लेबल या निरंतर मान होते हैं। लाइटऑटोएमएल फ्रेमवर्क को डिज़ाइन करने के पीछे एक प्राथमिक उद्देश्य एक तेज़ हाइपोथेसिस परीक्षण के लिए एक उपकरण डिज़ाइन करना था, एक प्रमुख कारण यह है कि फ्रेमवर्क पाइपलाइन अनुकूलन के लिए ज़बरदस्त तरीकों का उपयोग करने से बचता है, और केवल कुशलता तकनीकों और मॉडल पर ध्यान केंद्रित करता है जो विभिन्न डेटासेट पर काम करते हैं।

ऑटो-टाइपिंग और डेटा प्रीप्रोसेसिंग

विभिन्न प्रकार की विशेषताओं को विभिन्न तरीकों से संभालने के लिए, मॉडल को प्रत्येक विशेषता प्रकार को जानने की आवश्यकता है। एकल कार्य की स्थिति में जहां एक छोटा डेटासेट है, उपयोगकर्ता प्रत्येक विशेषता प्रकार को मैन्युअल रूप से निर्दिष्ट कर सकता है। हालांकि, सैकड़ों कार्यों के साथ डेटासेट में हज़ारों विशेषताओं के साथ प्रत्येक विशेषता प्रकार को मैन्युअल रूप से निर्दिष्ट करना अब एक व्यवहार्य विकल्प नहीं है। टेबुलरऑटोएमएल प्रीसेट के लिए, लाइटऑटोएमएल फ्रेमवर्क को विशेषताओं को तीन वर्गों में मैप करने की आवश्यकता होती है: संख्यात्मक, श्रेणीबद्ध, और डेटटाइम। एक सरल और स्पष्ट समाधान कॉलम सरणी डेटा प्रकार का उपयोग करना है जो वास्तविक विशेषता प्रकार हैं, अर्थात फ्लोट/इंट कॉलम को संख्यात्मक विशेषताओं में मैप करना, टाइमस्टैम्प या स्ट्रिंग – जो एक टाइमस्टैम्प के रूप में पार्स किया जा सकता है – डेटटाइम में, और अन्य को श्रेणीबद्ध में। हालांकि, यह मैपिंग सबसे अच्छी नहीं है क्योंकि श्रेणीबद्ध कॉलम में संख्यात्मक डेटा प्रकार की बार-बार घटना।

मान्यकरण योजनाएं

मान्यकरण योजनाएं ऑटोएमएल फ्रेमवर्क का एक महत्वपूर्ण घटक हैं क्योंकि उद्योग में डेटा समय के साथ बदलता रहता है, और यह परिवर्तन आईआईडी या स्वतंत्र रूप से वितरित धारणा को अप्रासंगिक बना देता है जब मॉडल विकसित किया जाता है। ऑटोएमएल मॉडल मान्यकरण योजनाओं का उपयोग अपने प्रदर्शन का अनुमान लगाने, हाइपरपैरामीटर खोज, और आउट-ऑफ-फोल्ड भविष्यवाणी पीढ़ी के लिए करते हैं। टेबुलरऑटोएमएल पाइपलाइन तीन मान्यकरण योजनाएं लागू करती है:

• के-फोल्ड क्रॉस-वैलिडेशन: के-फोल्ड क्रॉस-वैलिडेशन टेबुलरऑटोएमएल पाइपलाइन के लिए डिफ़ॉल्ट मान्यकरण योजना है, जिसमें ग्रुपकफोल्ड शामिल है जो व्यवहारिक मॉडल के लिए है, और स्ट्रैटिफ़ाइड के-फोल्ड वर्गीकरण कार्यों के लिए।

• होल्डआउट मान्यकरण: होल्डआउट मान्यकरण योजना तब लागू की जाती है जब होल्डआउट सेट निर्दिष्ट किया जाता है।
• कस्टम मान्यकरण योजनाएं: कस्टम मान्यकरण योजनाएं उपयोगकर्ता द्वारा उनकी व्यक्तिगत आवश्यकताओं के अनुसार बनाई जा सकती हैं। कस्टम मान्यकरण योजनाओं में क्रॉस-वैलिडेशन और समय श्रृंखला विभाजन योजनाएं शामिल हैं।

विशेषता चयन

हालांकि विशेषता चयन उद्योग मानकों के अनुसार मॉडल विकसित करने का एक महत्वपूर्ण पहलू है क्योंकि यह अनुमान और मॉडल कार्यान्वयन लागत में कमी की सुविधा प्रदान करता है, अधिकांश ऑटोएमएल समाधान इस समस्या पर बहुत ध्यान नहीं देते हैं। इसके विपरीत, टेबुलरऑटोएमएल पाइपलाइन तीन विशेषता चयन रणनीतियों को लागू करती है: कोई चयन नहीं, महत्व कटऑफ चयन, और महत्व-आधारित आगे की चयन। इनमें से तीन, महत्व कटऑफ चयन विशेषता चयन रणनीति डिफ़ॉल्ट है। इसके अलावा, दो प्राथमिक तरीके हैं जिनका उपयोग विशेषता महत्व का अनुमान लगाने के लिए किया जा सकता है: स्प्लिट-आधारित पेड़ महत्व, और जीबीएम मॉडल या ग्रेडिएंट बूस्टेड निर्णय पेड़ों की परिवर्तन महत्व। महत्व कटऑफ चयन का प्राथमिक उद्देश्य मॉडल के लिए उपयोगी नहीं होने वाली विशेषताओं को अस्वीकार करना है, जिससे मॉडल को नकारात्मक रूप से प्रदर्शन को प्रभावित किए बिना विशेषताओं की संख्या को कम करने की अनुमति मिलती है, एक दृष्टिकोण जो मॉडल अनुमान और प्रशिक्षण को तेज़ कर सकता है।

उपरोक्त छवि बाइनरी बैंक डेटासेट पर विभिन्न चयन रणनीतियों की तुलना करती है।

हाइपरपैरामीटर ट्यूनिंग

टेबुलरऑटोएमएल पाइपलाइन हाइपरपैरामीटर को ट्यून करने के लिए विभिन्न दृष्टिकोण लागू करती है जो कि ट्यून किए जा रहे हैं।

• अर्ली स्टॉपिंग हाइपरपैरामीटर ट्यूनिंग प्रशिक्षण चरण के दौरान सभी मॉडलों के लिए पुनरावृत्तियों की संख्या का चयन करता है।

• एक्सपर्ट सिस्टम हाइपरपैरामीटर ट्यूनिंग एक सरल तरीका है जो मॉडल के लिए संतोषजनक तरीके से हाइपरपैरामीटर सेट करने के लिए है। यह अंतिम मॉडल को हार्ड-ट्यून किए गए मॉडल की तुलना में स्कोर में एक उच्च गिरावट से रोकता है।

• ट्री स्ट्रक्चर्ड पार्ज़न एस्टीमेशन या टीपीई जीबीएम या ग्रेडिएंट बूस्टेड निर्णय पेड़ मॉडल के लिए। टीपीई एक मिश्रित ट्यूनिंग रणनीति है जो लाइटऑटोएमएल पाइपलाइन में डिफ़ॉल्ट विकल्प है। प्रत्येक जीबीएम फ्रेमवर्क के लिए, लाइटऑटोएमएल फ्रेमवर्क दो मॉडल प्रशिक्षित करता है: पहला एक्सपर्ट हाइपरपैरामीटर प्राप्त करता है, दूसरा समय बजट में फिट होने के लिए बारीक-ट्यून किया जाता है।

• ग्रिड सर्च हाइपरपैरामीटर ट्यूनिंग टेबुलरऑटोएमएल पाइपलाइन में लागू किया जाता है ताकि रिग्रेशन मॉडल के नियमितीकरण पैरामीटर को बारीक-ट्यून किया जा सके, साथ ही अर्ली स्टॉपिंग और वार्म स्टार्ट।

मॉडल मेट्रिक फ़ंक्शन को अधिकतम करके सभी पैरामीटर को ट्यून करता है, जो उपयोगकर्ता द्वारा परिभाषित किया जाता है या जो हल किए गए कार्य के लिए डिफ़ॉल्ट है।

लाइटऑटोएमएल: प्रयोग और प्रदर्शन

प्रदर्शन का मूल्यांकन करने के लिए, लाइटऑटोएमएल फ्रेमवर्क के भीतर टेबुलरऑटोएमएल प्रीसेट की तुलना विभिन्न कार्यों में मौजूदा खुले स्रोत समाधानों के साथ की जाती है, और लाइटऑटोएमएल फ्रेमवर्क के श्रेष्ठ प्रदर्शन को साबित करती है। पहले, तुलना ओपनएमएल बेंचमार्क पर की जाती है जो 35 बाइनरी और मल्टी-क्लास वर्गीकरण कार्य डेटासेट पर मूल्यांकन की जाती है। निम्नलिखित तालिका लाइटऑटोएमएल फ्रेमवर्क और मौजूदा ऑटोएमएल सिस्टम के बीच तुलना का सारांश देती है।

जैसा कि देखा जा सकता है, लाइटऑटोएमएल फ्रेमवर्क बेंचमार्क में 20 डेटासेट पर सभी अन्य ऑटोएमएल सिस्टम को पार करता है। निम्नलिखित तालिका डेटासेट संदर्भ में विस्तृत तुलना प्रदान करती है, जो यह दर्शाती है कि लाइटऑटोएमएल विभिन्न वर्गों के कार्यों पर विभिन्न प्रदर्शन प्रदान करता है। बाइनरी वर्गीकरण कार्यों के लिए, लाइटऑटोएमएल प्रदर्शन में कमी करता है, जबकि उच्च मात्रा में डेटा वाले कार्यों के लिए, लाइटऑटोएमएल फ्रेमवर्क श्रेष्ठ प्रदर्शन प्रदान करता है।

निम्नलिखित तालिका लाइटऑटोएमएल फ्रेमवर्क और ऑटोएमएल सिस्टम के बीच 15 बैंक डेटासेट पर प्रदर्शन की तुलना करती है, जिसमें विभिन्न बाइनरी वर्गीकरण कार्य शामिल हैं। जैसा कि देखा जा सकता है, लाइटऑटोएमएल 15 में से 12 डेटासेट पर सभी ऑटोएमएल समाधानों को पार करता है, जो 80 प्रतिशत की जीत की दर है।

अंतिम विचार

इस लेख में, हमने लाइटऑटोएमएल के बारे में बात की, एक ऑटोएमएल सिस्टम जो मुख्य रूप से एक यूरोपीय कंपनी के लिए विकसित किया गया है जो वित्त क्षेत्र में काम करती है और इसके पारिस्थितिकी तंत्र के साथ। लाइटऑटोएमएल फ्रेमवर्क विभिन्न अनुप्रयोगों में तैनात किया गया है, और परिणामों ने डेटा वैज्ञानिकों के स्तर के समान श्रेष्ठ प्रदर्शन का प्रदर्शन किया, यहां तक कि उच्च गुणवत्ता वाले मशीन लर्निंग मॉडल बनाते समय भी। लाइटऑटोएमएल फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है। पहला, लाइटऑटोएमएल फ्रेमवर्क मुख्य रूप से एक बड़े यूरोपीय वित्तीय और बैंकिंग संस्थान के पारिस्थितिकी तंत्र के लिए विकसित किया गया था। अपने फ्रेमवर्क और वास्तुकला के कारण, लाइटऑटोएमएल फ्रेमवर्क कई खुले बेंचमार्क और पारिस्थितिकी अनुप्रयोगों में राज्य के कला ऑटोएमएल फ्रेमवर्क को पार कर जाता है। लाइटऑटोएमएल फ्रेमवर्क का प्रदर्शन डेटा वैज्ञानिकों द्वारा मैन्युअल रूप से ट्यून किए गए मॉडल के खिलाफ भी तुलना की जाती है, और परिणामों ने लाइटऑटोएमएल फ्रेमवर्क द्वारा मजबूत प्रदर्शन का संकेत दिया।