एंड्रू एनजी ने मशीन लर्निंग में ओवरफिटिंग की संस्कृति की आलोचना की

एंड्रू एनजी, पिछले दशक में मशीन लर्निंग में सबसे प्रभावशाली आवाजों में से एक, वर्तमान में इस सीमा तक चिंता व्यक्त कर रहे हैं कि क्षेत्र मॉडल आर्किटेक्चर में नवाचारों पर डेटा की तुलना में अधिक जोर देता है – और विशेष रूप से, यह हद तक कि यह ‘ओवरफिटेड’ परिणामों को सामान्य समाधानों या प्रगति के रूप में चित्रित करने की अनुमति देता है।

यह मशीन लर्निंग संस्कृति की वर्तमान स्थिति की व्यापक आलोचना है, जो इसके उच्चतम अधिकारियों में से एक से आ रही है, और इसके परिणामस्वरूप एक क्षेत्र में विश्वास के लिए परिणाम हैं जो एआई विकास में व्यवसायिक विश्वास के तीसरे पतन के डर से ग्रस्त है।

एनजी, स्टैनफोर्ड विश्वविद्यालय में एक प्रोफेसर, डीपलर्निंग.एआई के संस्थापकों में से एक भी हैं, और मार्च में संगठन की साइट पर एक मिसिव प्रकाशित किया जिसने उनके एक हाल के भाषण को कुछ मूल सिफारिशों में संक्षेपित किया:

पहले, अनुसंधान समुदाय को यह शिकायत करना बंद करना चाहिए कि डेटा क्लीनिंग मशीन लर्निंग में चुनौतियों का 80% है, और मजबूत एमएलओपीएस विधियों और प्रथाओं को विकसित करने के काम पर आगे बढ़ना चाहिए।

दूसरा, यह उन ‘आसान जीत’ से दूर जाना चाहिए जो डेटा को एक मशीन लर्निंग मॉडल में ओवर-फिट करके प्राप्त की जा सकती हैं, ताकि यह मॉडल पर अच्छा प्रदर्शन करे लेकिन सामान्य नहीं हो या व्यापक रूप से तैनात मॉडल का उत्पादन न करे।

डेटा आर्किटेक्चर और क्यूरेशन की चुनौती को स्वीकार करना

‘मेरा दृष्टिकोण’, एनजी ने लिखा, ‘यह है कि यदि हमारे काम का 80 प्रतिशत डेटा तैयारी है, तो डेटा गुणवत्ता की गारंटी एक मशीन लर्निंग टीम का महत्वपूर्ण काम है।’

उन्होंने जारी रखा:

‘मैं आशा करता हूं कि हम एमएलओपीएस टूल्स विकसित कर सकते हैं जो एआई सिस्टम बनाने को अधिक पुनरावृत्ति और व्यवस्थित बनाने में मदद करें, जिसमें उच्च गुणवत्ता वाले डेटासेट बनाना भी शामिल है।

‘एमएलओपीएस एक नवजात क्षेत्र है, और अलग-अलग लोग इसे अलग-अलग तरीकों से परिभाषित करते हैं। लेकिन मुझे लगता है कि एमएलओपीएस टीमों और टूल्स के लिए सबसे महत्वपूर्ण आयोजन सिद्धांत यह सुनिश्चित करना चाहिए कि सभी परियोजना चरणों में डेटा का निरंतर और उच्च गुणवत्ता वाला प्रवाह हो। यह कई परियोजनाओं को अधिक सMOOTHLY चलाने में मदद करेगा।’

अप्रैल के अंत में जूम पर एक लाइव स्ट्रीम्ड क्यू एंड ए सेशन में, एनजी ने रेडियोलॉजी के लिए मशीन लर्निंग विश्लेषण प्रणालियों में कमी को संबोधित किया:

“यह पता चलता है कि जब हम स्टैनफोर्ड अस्पताल से डेटा एकत्र करते हैं, तो हम उसी अस्पताल से डेटा पर प्रशिक्षण और परीक्षण करते हैं, वास्तव में हम पेपर प्रकाशित कर सकते हैं जो दिखाते हैं [アルゴリズム] मानव रेडियोलॉजिस्ट की तुलना में कुछ स्थितियों का पता लगाने में समान हैं।

“…[जब] आप उसी मॉडल को लेते हैं, उसी एआई सिस्टम को एक पुराने अस्पताल में ले जाते हैं, एक पुरानी मशीन के साथ, और तकनीशियन एक थोड़ा अलग इमेजिंग प्रोटोकॉल का उपयोग करता है, तो डेटा ड्रिफ्ट एआई सिस्टम के प्रदर्शन को महत्वपूर्ण रूप से कम कर देता है। इसके विपरीत, कोई भी मानव रेडियोलॉजिस्ट पुराने अस्पताल में जा सकता है और अच्छा प्रदर्शन कर सकता है।”

अंडर-स्पेसिफिकेशन समाधान नहीं है

ओवरफिटिंग तब होती है जब एक मशीन लर्निंग मॉडल विशेष रूप से एक विशिष्ट डेटासेट (या डेटा के प्रारूप) की विचित्रताओं को समायोजित करने के लिए डिज़ाइन किया जाता है। इसमें विशिष्ट वजनों को निर्दिष्ट करना शामिल हो सकता है जो उस डेटासेट से अच्छे परिणाम देंगे, लेकिन अन्य डेटा पर सामान्य नहीं होंगे।

अक्सर, ऐसे पैरामीटर ‘नॉन-डेटा’ पहलुओं पर परिभाषित किए जाते हैं, जैसे कि एकत्रित जानकारी का विशिष्ट रिज़ॉल्यूशन, या अन्य विचित्रताएं जो अन्य डेटासेट पर पुनरावृत्ति की गारंटी नहीं देती हैं।

हालांकि यह अच्छा होगा, ओवरफिटिंग एक समस्या नहीं है जिसे डेटा आर्किटेक्चर या मॉडल डिज़ाइन की लचीलता को अंधाधुंध विस्तारित करके हल किया जा सकता है, जब वास्तव में जो आवश्यक है वह व्यापक रूप से लागू होने वाली और उच्च प्रासंगिक विशेषताएं हैं जो विभिन्न डेटा वातावरणों में अच्छा प्रदर्शन करेंगी – एक अधिक जटिल चुनौती।

सामान्य तौर पर, इस प्रकार की ‘अंडर-स्पेसिफिकेशन’ केवल उन्हीं समस्याओं को जन्म देती है जिनका उल्लेख एनजी ने हाल ही में किया है, जहां एक मशीन लर्निंग मॉडल अनदेखे डेटा पर विफल हो जाता है। इस मामले में अंतर यह है कि मॉडल विफल हो रहा है नहीं क्योंकि डेटा या डेटा प्रारूप मूल प्रशिक्षण सेट से अलग है, बल्कि क्योंकि मॉडल बहुत लचीला है chứ नहीं कठोर।

2020 के अंत में, पेपर अंडरस्पेसिफिकेशन मॉडर्न मशीन लर्निंग में विश्वसनीयता के लिए चुनौतियां प्रस्तुत करता है ने इस अभ्यास की तीव्र आलोचना की, और इसमें गूगल और एमआईटी सहित संस्थानों के कम से कम चालीस मशीन लर्निंग शोधकर्ताओं और वैज्ञानिकों के नाम थे।

पेपर ‘शॉर्टकट लर्निंग’ की आलोचना करता है, और यह देखता है कि कैसे अंडरस्पेसिफाइड मॉडल मॉडल प्रशिक्षण के दौरान उपयोग किए जाने वाले यादृच्छिक बीज बिंदु के आधार पर विक्षिप्त दिशाओं में जा सकते हैं। योगदानकर्ता观察 करते हैं:

‘हमने देखा है कि अंडरस्पेसिफिकेशन व्यावहारिक मशीन लर्निंग पाइपलाइनों में सर्वत्र है। वास्तव में, अंडरस्पेसिफिकेशन के कारण, निर्णय लेने के महत्वपूर्ण पहलुओं का निर्धारण यादृच्छिक निर्णयों जैसे पैरामीटर प्रारंभीकरण के लिए उपयोग किए जाने वाले यादृच्छिक बीज द्वारा किया जाता है।’

संस्कृति में परिवर्तन के आर्थिक परिणाम

एनजी के पास गहरे और उच्च स्तर के उद्योग अनुभव हैं, जो गूगल ब्रेन और कोर्सेरा के सह-संस्थापक हैं, बaidu में बिग डेटा और एआई के पूर्व मुख्य वैज्ञानिक हैं, और लैंडिंग एआई के संस्थापक हैं, जो क्षेत्र में नए स्टार्टअप के लिए $175 मिलियन अमेरिकी डॉलर का प्रबंधन करते हैं।

जब वह कहते हैं “एआई का सभी, न केवल स्वास्थ्य सेवा, प्रूफ-ऑफ-कॉन्सेप्ट-टू-प्रोडक्शन गैप है”, तो यह एक क्षेत्र के लिए एक जागरण कॉल है जिसका वर्तमान स्तर हYPE और धब्बेदार इतिहास है, जो इसे एक अनिश्चित दीर्घकालिक व्यवसायिक निवेश के रूप में चित्रित करता है, परिभाषा और दायरे की समस्याओं से ग्रस्त है।

हालांकि, प्रोप्राइटरी मशीन लर्निंग सिस्टम जो इन-सिटू अच्छा प्रदर्शन करते हैं और अन्य वातावरण में विफल हो जाते हैं, वे बाजार पर कब्जा कर सकते हैं जो उद्योग निवेश को पुरस्कृत कर सकता है। ‘ओवरफिटिंग समस्या’ को एक व्यावसायिक खतरे के रूप में प्रस्तुत करना एक छलने वाला तरीका हो सकता है ओपन सोर्स अनुसंधान में कॉर्पोरेट निवेश को मोनेटाइज करने के लिए, और प्रभावी रूप से प्रोप्राइटरी सिस्टम बनाने के लिए जो प्रतियोगियों द्वारा प्रतिलिपि बनाने योग्य हैं लेकिन समस्याग्रस्त हैं।

यह दृष्टिकोण कि क्या दीर्घकाल में काम करेगा यह इस बात पर निर्भर करता है कि मशीन लर्निंग में वास्तविक सफलता की आवश्यकता के लिए निवेश के स्तर में वृद्धि जारी रहेगी या नहीं, और क्या सभी उत्पादक पहल FAANG में कुछ हद तक स्थानांतरित हो जाएंगे, जो होस्टिंग और संचालन के लिए आवश्यक विशाल संसाधनों के कारण होंगे।