एआई मॉडल और प्लेटफ़ॉर्म
लचीलापन > सटीकता : क्यों ‘मॉडल लचीलापन’ को मॉडल्स को संचालित करने के लिए सच्चा मापदंड होना चाहिए
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
इंगो मियर्सवा द्वारा, संस्थापक, अध्यक्ष और मुख्य डेटा वैज्ञानिक, रैपिडमाइनर में.
डेटा साइंस ने पिछले कुछ वर्षों में कुछ अच्छी प्रगति की है और कई संगठनों ने गहरे अंतर्दृष्टि प्राप्त करने और भविष्य के लिए संभावित परिणामों की भविष्यवाणी करने के लिए उन्नत विश्लेषण या मशीन लर्निंग मॉडल का उपयोग किया है। अन्य “विज्ञान” के लिए, यह अक्सर स्पष्ट नहीं होता है कि एक परियोजना सफल होगी या नहीं, और ऐसी रिपोर्टें हैं कि 87% डेटा साइंस परियोजनाएं उत्पादन में कभी नहीं पहुंचती हैं। जबकि 100% सफलता दर की उम्मीद नहीं की जा सकती है, डेटा साइंस परियोजनाओं में कुछ पैटर्न हैं जो उच्च सफलता दर की ओर ले जाते हैं जो कि क्षेत्र में स्वीकार्य होना चाहिए। ये समस्याग्रस्त पैटर्न किसी विशिष्ट उद्योग या उपयोग के मामले से स्वतंत्र रूप से अस्तित्व में लगते हैं, जो सुझाव देते हैं कि डेटा साइंस में एक सार्वभौमिक समस्या है जिसे संबोधित किया जाना चाहिए।
मशीन लर्निंग की सफलता को मापना
मशीन लर्निंग (एमएल) मॉडल बनाने वाले डेटा वैज्ञानिक मॉडल के प्रदर्शन को मापने के लिए अच्छी तरह से परिभाषित गणितीय मानदंडों पर निर्भर करते हैं। इनमें से कौन सा मानदंड लागू किया जाता है, यह मुख्य रूप से मॉडल के प्रकार पर निर्भर करता है। मान लें कि एक मॉडल को नए स्थितियों के लिए वर्ग या श्रेणियां पूर्वानुमान लगाना चाहिए – उदाहरण के लिए, यदि एक ग्राहक छोड़ देगा या नहीं। ऐसी स्थितियों में, डेटा वैज्ञानिक सटीकता (मॉडल कितनी बार सही है) या सटीकता (मॉडल कितनी बार चूर्णन का अनुमान लगाता है) जैसे माप का उपयोग करेंगे।
डेटा वैज्ञानिकों को ऐसे वस्तुनिष्ठ मानदंडों की आवश्यकता है क्योंकि उनके काम का एक हिस्सा इन मूल्यांकन मानदंडों को अनुकूलित करना है ताकि सर्वोत्तम मॉडल प्राप्त किया जा सके। वास्तव में, डेटा को मॉडलिंग के लिए तैयार करने के अलावा, इन मॉडलों का निर्माण और ट्यूनिंग डेटा वैज्ञानिकों द्वारा अपने समय का सबसे अधिक उपयोग किया जाने वाला क्षेत्र है।
इसका नकारात्मक पक्ष यह है कि डेटा वैज्ञानिक वास्तव में इन मॉडलों को उत्पादन में लाने पर बहुत अधिक ध्यान केंद्रित नहीं कर रहे हैं, जो एक से अधिक कारणों से समस्या है। सबसे पहले और सबसे महत्वपूर्ण, जो मॉडल सफल परिणाम नहीं देते हैं उन्हें संगठनों द्वारा तैनात किए जाने वाले व्यवसायिक प्रभाव को उत्पन्न करने के लिए उपयोग नहीं किया जा सकता है। दूसरा, क्योंकि इन संगठनों ने मॉडल विकसित करने, प्रशिक्षित करने और संचालित करने में समय और पैसा खर्च किया है जो “वास्तविक दुनिया” डेटा के खिलाफ चलाने पर सफल परिणाम नहीं देते हैं, वे अधिक संभावना है कि उन्हें एमएल और अन्य डेटा साइंस टूल्स को अपने संगठन के लिए उपयोगी मानने से इनकार कर देंगे और भविष्य में डेटा साइंस पहल के साथ आगे बढ़ने से इनकार कर देंगे।
यह सच है कि डेटा वैज्ञानिक मॉडल को ट्वीक करने का आनंद लेते हैं और इसके लिए बहुत समय बिताते हैं। लेकिन व्यवसायिक प्रभाव के बिना, यह समय बुद्धिमानी से नहीं बिताया जाता है, जो विशेष रूप से दर्दनाक है क्योंकि डेटा वैज्ञानिक आज की दुनिया में एक दुर्लभ संसाधन हैं।
नेटफ्लिक्स पुरस्कार और उत्पादन विफलता
हमने मॉडल निर्माण में अधिक निवेश करने और मॉडल्स को संचालित करने में नहीं करने की इस घटना को हाल के वर्षों में देखा है। नेटफ्लिक्स पुरस्कार एक खुली प्रतियोगिता थी जो उपयोगकर्ता रेटिंग के लिए सर्वोत्तम सहयोगी फिल्टरिंग एल्गोरिदम की भविष्यवाणी करने के लिए थी। यदि आप एक नई फिल्म को उच्च रेटिंग देते हैं, तो आप शायद इस फिल्म का आनंद लेते हैं – इसलिए इस रेटिंग प्रणाली का उपयोग करके, नेटफ्लिक्स आपको कुछ शीर्षकों की सिफारिश करेगा और यदि आप सिफारिश की गई सामग्री का आनंद लेते हैं, तो आप नेटफ्लिक्स के ग्राहक के रूप में लंबे समय तक रहेंगे। ग्रैंड प्राइज 1 मिलियन अमेरिकी डॉलर का था, जो उस टीम को दिया गया था जो नेटफ्लिक्स के अपने एल्गोरिदम को कम से कम 10% से बेहतर बनाने में सक्षम थी।
चुनौती 2006 में शुरू हुई और अगले तीन वर्षों में, दुनिया भर की 40,000 से अधिक डेटा साइंस टीमों के योगदान ने शीर्षक सिफारिश सफलता में 10% से अधिक की प्रभावशाली सुधार किया। हालांकि, विजेता टीम के मॉडल कभी भी संचालित नहीं किए गए। नेटफ्लिक्स ने कहा कि “सटीकता में वृद्धि उत्पादन में लाने के लिए आवश्यक प्रयास को सही नहीं ठहराती है।”
क्यों ऑप्टिमल हमेशा ऑप्टिमल नहीं होता है
मॉडल सटीकता और अन्य डेटा साइंस मानदंडों का उपयोग मॉडल की सफलता को मापने के लिए उत्पादन में लाने से पहले किया गया है। जैसा कि हमने देखा है, कई मॉडल कभी भी इस चरण तक नहीं पहुंचते हैं – जो संसाधनों की बर्बादी है, दोनों ऊर्जा और समय के मामले में।
लेकिन मॉडल ट्वीकिंग में अधिक निवेश करने की इस संस्कृति के साथ अधिक समस्याएं हैं। पहली एक अनजाने में परीक्षण डेटा के लिए ओवरफिटिंग है, जो मॉडल को प्रबंधित डेटा वैज्ञानिक के लिए अच्छा दिखाई देगा, लेकिन वास्तव में उत्पादन में खराब प्रदर्शन करेगा – कभी-कभी甚至 नुकसान पहुंचा सकता है। यह दो कारणों से होता है:
- परीक्षण त्रुटि और उत्पादन में देखी जाने वाली त्रुटि के बीच एक जानी-मानी विसंगति है
- व्यवसायिक प्रभाव और डेटा साइंस प्रदर्शन मानदंड अक्सर सहसंबद्ध होते हैं, लेकिन “ऑप्टिमल” मॉडल हमेशा सबसे बड़ा प्रभाव नहीं देते हैं
उपरोक्त पहला बिंदु “परीक्षण सेट के लिए ओवरफिटिंग” के रूप में भी जाना जाता है। यह डेटा साइंस प्रतियोगिताओं के प्रतिभागियों के बीच एक जाना-माना घटना है, विशेष रूप से कागल जैसी प्रतियोगिताओं में। इन प्रतियोगिताओं के लिए, आप पहले से ही सार्वजनिक और निजी लीडरबोर्ड के बीच एक मजबूत संस्करण देख सकते हैं। वास्तव में, एक प्रतिभागी कभी भी डेटा पढ़े बिना कागल प्रतियोगिता में सार्वजनिक लीडरबोर्ड जीत सकता है। इसी तरह, निजी लीडरबोर्ड और समग्र प्रतियोगिता का विजेता ऐसा मॉडल नहीं बना सकता है जो मूल्यांकन किए गए डेटासेट के अलावा किसी अन्य डेटासेट पर अपने प्रदर्शन को बनाए रख सके।
सटीकता व्यवसायिक प्रभाव के बराबर नहीं है
हमने इस प्रथा को स्वीकार किया है जो मॉडल को परीक्षण डेटा सेट से अनुकूलित करने की ओर ले जाती है। परिणामस्वरूप, जो मॉडल सबसे अच्छा लगता है वह वास्तव में सबसे अच्छा हो सकता है:
- सटीकता जैसे माप व्यवसायिक प्रभाव के बराबर नहीं होते हैं
- सटीकता में 1% की वृद्धि को 1% बेहतर व्यवसायिक परिणाम में अनुवादित नहीं किया जा सकता है
- कुछ मामलों में एक कम प्रदर्शन करने वाला मॉडल अन्य मॉडलों को व्यवसायिक प्रभाव के मामले में बेहतर प्रदर्शन कर सकता है
- अन्य कारक जैसे कि रखरखाव, स्कोरिंग गति, या समय के साथ परिवर्तनों के प्रति लचीलापन (जिसे “लचीलापन” कहा जाता है) को भी ध्यान में रखा जाना चाहिए।
यह अंतिम बिंदु विशेष रूप से महत्वपूर्ण है। सर्वोत्तम मॉडल प्रतियोगिताओं को जीतने या डेटा साइंस प्रयोगशाला में अच्छा दिखने के लिए नहीं होंगे, बल्कि उत्पादन में और विभिन्न परीक्षण सेटों पर अच्छा प्रदर्शन करेंगे। इन मॉडलों को हम लचीला मॉडल कहते हैं।
ड्रिफ्ट और लचीलापन का महत्व
सभी मॉडल समय के साथ खराब हो जाते हैं। एकमात्र प्रश्न यह है कि यह कितनी तेजी से होता है और मॉडल अभी भी परिवर्तित परिस्थितियों में कितना अच्छा प्रदर्शन करता है। इसका कारण यह है कि दुनिया स्थिर नहीं है। इसलिए, मॉडल को लागू किया जाने वाला डेटा भी समय के साथ बदलता है। यदि ये परिवर्तन धीरे-धीरे होते हैं, तो हम इसे “कॉन्सेप्ट ड्रिफ्ट” कहते हैं। यदि परिवर्तन तेजी से होते हैं, तो हम इसे “कॉन्सेप्ट शिफ्ट” कहते हैं। उदाहरण के लिए, ग्राहक अपने उपभोग व्यवहार को धीरे-धीरे समय के साथ बदल सकते हैं, जो रुझानों और/या विपणन से प्रभावित हो सकते हैं। प्रवृत्ति मॉडल एक निश्चित बिंदु पर काम करना बंद कर सकते हैं। ये परिवर्तन कुछ स्थितियों में तेजी से तेज हो सकते हैं। कोविड -19 ने शौचालय के पेपर और कीटाणुनाशक जैसी वस्तुओं की बिक्री को बढ़ावा दिया है – विशिष्ट उत्पादों में एक अप्रत्याशित तेज वृद्धि, जो ऐसे मॉडल को पूरी तरह से बंद कर सकती है।
एक लचीला मॉडल सटीकता या सटीकता जैसे मापदंडों के आधार पर सबसे अच्छा मॉडल नहीं हो सकता है, लेकिन यह विभिन्न डेटा सेटों पर अच्छा प्रदर्शन करेगा और इसलिए लंबे समय तक बेहतर व्यवसायिक प्रभाव प्रदान करेगा।
रेखीय और अन्य प्रकार के सरल मॉडल अक्सर अधिक लचीले होते हैं क्योंकि उन्हें एक विशिष्ट परीक्षण सेट या समय के लिए ओवरफिट करना मुश्किल होता है। अधिक शक्तिशाली मॉडल का उपयोग एक सरल मॉडल के लिए “चैलेंजर” के रूप में किया जा सकता है, जिससे डेटा वैज्ञानिकों को यह देखने का अवसर मिलता है कि क्या वे समय के साथ खड़े रह सकते हैं। लेकिन यह मॉडलिंग यात्रा के अंत में, न कि शुरुआत में किया जाना चाहिए।
जबकि लचीलापन के लिए एक औपचारिक केपीआई को डेटा साइंस के क्षेत्र में अभी तक पेश नहीं किया गया है, डेटा वैज्ञानिक अपने मॉडल के लचीलापन का मूल्यांकन करने के लिए कई तरीकों का उपयोग कर सकते हैं:
- क्रॉस-वैलिडेशन रन में छोटे मानक विचलन का अर्थ है कि मॉडल का प्रदर्शन विभिन्न परीक्षण सेटों की विशिष्टताओं पर कम निर्भर करता है
- यहां तक कि अगर डेटा वैज्ञानिक पूर्ण क्रॉस-वैलिडेशन नहीं कर रहे हैं, तो वे परीक्षण और मान्यकरण के लिए दो अलग-अलग डेटा सेट का उपयोग कर सकते हैं। परीक्षण और मान्यकरण डेटा सेटों के लिए त्रुटि दर में कम विसंगति उच्च लचीलापन का संकेत देती है
- यदि मॉडल को उत्पादन में ठीक से निगरानी की जाती है, तो त्रुटि दर समय के साथ देखी जा सकती है। त्रुटि दर की समय के साथ स्थिरता मॉडल लचीलापन का एक अच्छा संकेत है।
- यदि मॉडल मॉनिटरिंग समाधान ड्रिफ्ट के लिए खाता है, तो डेटा वैज्ञानिकों को यह भी ध्यान देना चाहिए कि मॉडल ड्रिफ्ट के इनपुट से कितनी अच्छी तरह प्रभावित होता है।
डेटा साइंस की संस्कृति में परिवर्तन
एक मॉडल को संचालित करने के बाद, मॉडल की सटीकता के लिए अभी भी खतरे हैं। उपरोक्त बिंदु मॉडल लचीलापन के संबंध में दो बिंदु मॉडल की निगरानी की आवश्यकता को पहले से ही आवश्यक बनाते हैं। डेटा साइंस में संस्कृति परिवर्तन के प्रारंभिक बिंदु के रूप में, कंपनियां उचित मॉडल निगरानी में निवेश करने और मॉडलों को संचालित करने के बाद डेटा वैज्ञानिकों को प्रदर्शन की कमी के लिए जवाबदेह ठहराने के लिए अच्छी तरह से सलाह दी जाती है। यह तुरंत मॉडल-निर्माण संस्कृति से मूल्य-निर्माण और स्थायी संस्कृति में परिवर्तन लाएगा।
हाल की विश्व घटनाओं ने हमें दिखाया है कि दुनिया तेजी से बदलती है। अब, अधिक чем कभी भी, हमें लचीले मॉडल बनाने की आवश्यकता है – केवल सटीक मॉडल नहीं – समय के साथ अर्थपूर्ण व्यवसायिक प्रभाव को पकड़ने के लिए। कागल, उदाहरण के लिए, वैश्विक स्तर पर डेटा वैज्ञानिकों को कोविड -19 के खिलाफ लड़ने के लिए मॉडल समाधान बनाने में मदद करने के लिए एक चुनौती की मेजबानी कर रहा है। मुझे उम्मीद है कि इस चुनौती के परिणामस्वरूप उत्पन्न होने वाले सबसे सफल मॉडल सबसे लचीले होंगे, न कि सबसे सटीक, क्योंकि हमने देखा है कि कोविड -19 डेटा एक दिन में कितनी तेजी से बदल सकता है।
डेटा साइंस को सच्चाई को खोजने के बारे में होना चाहिए, न कि “सर्वोत्तम” मॉडल का उत्पादन करने के बारे में। सटीकता की तुलना में लचीलापन के उच्च मानक को बनाए रखने से, डेटा वैज्ञानिक अपने संगठनों के लिए अधिक व्यवसायिक प्रभाव प्रदान करने में सक्षम होंगे और भविष्य को सकारात्मक रूप से आकार देने में मदद करेंगे।
