गूगल शोधकर्ताओं ने एआई मॉडल्स को पीछे धकेलने वाली अंडरस्पेसिफिकेशन समस्या की खोज की

हाल ही में गूगल की एक शोध टीम ने एआई मॉडल्स की विफलता के लिए एक सामान्य कारण की पहचान की है, जो अंडरस्पेसिफिकेशन को मुख्य कारणों में से एक बताती है जिसके कारण मशीन लर्निंग मॉडल्स अक्सर वास्तविक दुनिया में प्रयोगशाला या विकास के दौरान अलग तरह से प्रदर्शन करते हैं।

मशीन लर्निंग मॉडल्स अक्सर वास्तविक दुनिया में कार्यों को संभालने में विफल हो जाते हैं, भले ही मॉडल प्रयोगशाला में ऑप्टिमल रूप से प्रदर्शन करते हों। प्रशिक्षण/विकास और वास्तविक दुनिया के प्रदर्शन के बीच यह असंगति कई कारणों से हो सकती है। एआई मॉडल्स की विफलता के लिए सबसे आम कारणों में से एक डेटा शिफ्ट है, जो मॉडल विकसित करने के लिए उपयोग किए जाने वाले डेटा और मॉडल को लागू करने के दौरान डेटा के बीच मूलभूत अंतर को संदर्भित करता है। उदाहरण के लिए, उच्च-गुणवत्ता वाले छवि डेटा पर प्रशिक्षित कंप्यूटर दृष्टि मॉडल कम-गुणवत्ता वाले कैमरों द्वारा कब्जा किए गए डेटा को खिलाने पर संघर्ष करेंगे जो मॉडल के दैनिक वातावरण में पाए जाते हैं।

एमआईटी टेक्नोलॉजी रिव्यू के अनुसार, गूगल के 40 अलग-अलग शोधकर्ताओं ने मशीन लर्निंग मॉडल के प्रदर्शन में इतनी भिन्नता का एक और कारण खोजा है। समस्या “अंडरस्पेसिफिकेशन” है, एक सांख्यिकीय अवधारणा जो उन मुद्दों का वर्णन करती है जहां देखे गए घटनाओं के कई संभावित कारण होते हैं, जिनमें से सभी मॉडल द्वारा खाते में नहीं लिए जाते हैं। अध्ययन के नेता एलेक्स डी’अमूर के अनुसार, यह समस्या कई मशीन लर्निंग मॉडल्स में देखी जाती है, जिसमें उन्होंने कहा कि यह “हर जगह होता है”।

एक मशीन लर्निंग मॉडल को प्रशिक्षित करने की典型 विधि मॉडल को एक बड़ी मात्रा में डेटा खिलाने की होती है जिसे यह विश्लेषण कर सकता है और प्रासंगिक पैटर्न निकाल सकता है। इसके बाद, मॉडल को पहले से अनदेखे उदाहरण दिए जाते हैं और उन उदाहरणों की प्रकृति का अनुमान लगाने के लिए कहा जाता है जो उसने सीखे हुए विशेषताओं के आधार पर है। एक बार जब मॉडल एक निश्चित स्तर की सटीकता हासिल कर लेता है, तो प्रशिक्षण आमतौर पर पूरा माना जाता है।

गूगल शोध टीम के अनुसार, यह सुनिश्चित करने के लिए और अधिक किया जाना चाहिए कि मॉडल वास्तव में गैर-प्रशिक्षण डेटा पर सामान्यीकृत हो सकता है। मशीन लर्निंग मॉडल्स को प्रशिक्षित करने की क्लासिक विधि विभिन्न मॉडल्स का उत्पादन करेगी जो सभी अपने परीक्षणों में उत्तीर्ण हो सकते हैं, लेकिन ये मॉडल्स छोटे तरीकों से भिन्न होंगे जो महत्वहीन लगते हैं लेकिन वास्तव में नहीं हैं। मॉडल्स के विभिन्न नोड्स में अलग-अलग यादृच्छिक मान सौंपे जा सकते हैं, या प्रशिक्षण डेटा का चयन या प्रस्तुतिकरण अलग-अलग तरीकों से किया जा सकता है। ये भिन्नताएं छोटी और अक्सर मनमानी होती हैं, और यदि वे प्रशिक्षण के दौरान मॉडल्स के प्रदर्शन पर बहुत बड़ा प्रभाव नहीं डालती हैं, तो उन्हें अनदेखा करना आसान है। हालांकि, जब इन छोटे परिवर्तनों का प्रभाव जमा होता है, तो वे वास्तविक दुनिया के प्रदर्शन में बड़े परिवर्तन का कारण बन सकते हैं।

यह अंडरस्पेसिफिकेशन समस्याग्रस्त है क्योंकि इसका अर्थ है कि यदि प्रशिक्षण प्रक्रिया अच्छे मॉडल्स का उत्पादन करने में सक्षम है, तो यह एक खराब मॉडल का भी उत्पादन कर सकती है और अंतर की खोज तब तक नहीं की जाएगी जब तक कि मॉडल उत्पादन से बाहर निकलकर उपयोग में नहीं आ जाता।

अंडरस्पेसिफिकेशन के प्रभाव का आकलन करने के लिए, शोध टीम ने विभिन्न मॉडल्स की जांच की। प्रत्येक मॉडल को एक ही प्रशिक्षण प्रक्रिया का उपयोग करके प्रशिक्षित किया गया था, और फिर मॉडल्स को परीक्षणों की एक श्रृंखला के अधीन किया गया ताकि प्रदर्शन में अंतर को उजागर किया जा सके। एक उदाहरण में, 50 अलग-अलग छवि पहचान प्रणालियों को इमेजनेट डेटासेट पर प्रशिक्षित किया गया था। मॉडल्स सभी समान थे, सिवाय इसके कि उन्हें प्रशिक्षण की शुरुआत में यादृच्छिक रूप से सौंपे गए न्यूरल नेटवर्क मानों के। मॉडल्स में अंतर को निर्धारित करने के लिए उपयोग किए जाने वाले तनाव परीक्षण इमेजनेट-सी का उपयोग करके किए गए थे, जो मूल डेटासेट का एक संस्करण है जिसमें छवियों को कंट्रास्ट या चमक समायोजन के माध्यम से बदल दिया गया है। मॉडल्स का परीक्षण ऑब्जेक्टनेट पर भी किया गया था, जो असामान्य दिशाओं और संदर्भों में दैनिक वस्तुओं की छवियों की एक श्रृंखला है। हालांकि सभी 50 मॉडल्स ने प्रशिक्षण डेटासेट पर लगभग समान प्रदर्शन किया, तनाव परीक्षणों के माध्यम से चलने पर प्रदर्शन बहुत भिन्न था।

शोध टीम ने दो अलग-अलग एनएलपी सिस्टम को प्रशिक्षित और तनाव परीक्षण के अधीन करने पर भी समान परिणाम पाए, साथ ही साथ विभिन्न अन्य कंप्यूटर दृष्टि मॉडल्स का परीक्षण किया। प्रत्येक मामले में, मॉडल्स ने एक दूसरे से बहुत भिन्न प्रदर्शन किया, भले ही सभी मॉडल्स के लिए प्रशिक्षण प्रक्रिया समान थी।

डी’अमूर के अनुसार, मशीन लर्निंग शोधकर्ताओं और इंजीनियरों को मॉडल्स को जंगल में छोड़ने से पहले बहुत अधिक तनाव परीक्षण करने की आवश्यकता है। यह करना मुश्किल हो सकता है, क्योंकि तनाव परीक्षणों को विशिष्ट कार्यों के लिए वास्तविक दुनिया के डेटा का उपयोग करके तैयार किया जाना चाहिए, जो कुछ कार्यों और संदर्भों के लिए मिलना मुश्किल हो सकता है। अंडरस्पेसिफिकेशन की समस्या का एक संभावित समाधान एक समय में कई मॉडल्स का उत्पादन करना और फिर मॉडल्स का परीक्षण वास्तविक दुनिया के कार्यों की एक श्रृंखला पर करना है, और लगातार सबसे अच्छे परिणाम दिखाने वाले मॉडल का चयन करना है। इस तरह से मॉडल्स विकसित करने में बहुत समय और संसाधन लगते हैं, लेकिन व्यापार के लिए यह व्यापार उचित हो सकता है, खासकर जब एआई मॉडल्स का उपयोग चिकित्सा संदर्भों या सुरक्षा के लिए प्राथमिक चिंता के अन्य क्षेत्रों में किया जाता है। जैसा कि डी’अमूर ने एमआईटी टेक्नोलॉजी रिव्यू के माध्यम से समझाया:

“हमें अपने मॉडल्स के लिए हमारी आवश्यकताओं को सटीक रूप से निर्दिष्ट करने में बेहतर होने की आवश्यकता है। क्योंकि अक्सर ऐसा होता है कि हम इन आवश्यकताओं की खोज तब तक नहीं करते जब तक कि मॉडल दुनिया में विफल नहीं हो जाता।”