Google शोधकर्ताओं ने कई AI मॉडलों को बाधित करने वाली अंडरस्पेसिफिकेशन समस्या का पता लगाया है

हाल ही में Google के शोधकर्ताओं की एक टीम ने AI मॉडल की विफलताओं के लिए एक सामान्य कारण की पहचान की है, जो प्राथमिक कारणों में से एक के रूप में अंडरस्पेसिफिकेशन की ओर इशारा करता है कि मशीन लर्निंग मॉडल अक्सर परीक्षण और विकास के दौरान वास्तविक दुनिया में काफी अलग प्रदर्शन करते हैं।

वास्तविक दुनिया की सेटिंग में कार्यों को निपटाते समय मशीन लर्निंग मॉडल अक्सर विफल हो जाते हैं, भले ही मॉडल प्रयोगशाला में सर्वोत्तम प्रदर्शन करते हों। प्रशिक्षण/विकास और वास्तविक दुनिया के प्रदर्शन के बीच बेमेल होने के कई कारण हैं। वास्तविक दुनिया के कार्यों के दौरान एआई मॉडल के विफल होने का सबसे आम कारणों में से एक एक अवधारणा है जिसे डेटा शिफ्ट के रूप में जाना जाता है। डेटा शिफ्ट मशीन लर्निंग मॉडल को विकसित करने के लिए उपयोग किए जाने वाले डेटा के प्रकार और एप्लिकेशन के दौरान मॉडल में फीड किए गए डेटा के बीच एक बुनियादी अंतर को संदर्भित करता है। उदाहरण के तौर पर, उच्च-गुणवत्ता वाले छवि डेटा पर प्रशिक्षित कंप्यूटर विज़न मॉडल को मॉडल के दिन-प्रतिदिन के वातावरण में पाए जाने वाले निम्न-गुणवत्ता वाले कैमरों द्वारा कैप्चर किए गए डेटा को फीड करने पर प्रदर्शन करने में कठिनाई होगी।

एमआईटी टेक्नोलॉजी रिव्यू के अनुसारGoogle के 40 अलग-अलग शोधकर्ताओं की एक टीम ने एक और कारण की पहचान की है कि मशीन लर्निंग मॉडल का प्रदर्शन इतना भिन्न हो सकता है। समस्या "अंडरस्पेसिफिकेशन" है, एक सांख्यिकीय अवधारणा जो उन मुद्दों का वर्णन करती है जहां देखी गई घटनाओं के कई संभावित कारण होते हैं, जिनमें से सभी को मॉडल द्वारा ध्यान में नहीं रखा जाता है। अध्ययन के नेता एलेक्स डी'अमोर के अनुसार, यह समस्या कई मशीन लर्निंग मॉडल में देखी गई है, जिसमें कहा गया है कि यह घटना "हर जगह होती है"।

मशीन लर्निंग मॉडल को प्रशिक्षित करने की विशिष्ट विधि में मॉडल को बड़ी मात्रा में डेटा फीड करना शामिल है जिसका वह विश्लेषण कर सकता है और प्रासंगिक पैटर्न निकाल सकता है। इसके बाद, मॉडल को ऐसे उदाहरण दिए जाते हैं जिन्हें उसने नहीं देखा है और जो विशेषताएं उसने सीखी हैं उनके आधार पर उन उदाहरणों की प्रकृति का अनुमान लगाने के लिए कहा जाता है। एक बार जब मॉडल ने एक निश्चित स्तर की सटीकता हासिल कर ली है, तो प्रशिक्षण को आमतौर पर पूरा माना जाता है।

Google अनुसंधान टीम के अनुसार, यह सुनिश्चित करने के लिए और अधिक प्रयास करने की आवश्यकता है कि मॉडल वास्तव में गैर-प्रशिक्षण डेटा का सामान्यीकरण कर सकें। मशीन लर्निंग मॉडल को प्रशिक्षित करने की क्लासिक विधि विभिन्न मॉडल तैयार करेगी जो सभी अपने परीक्षणों में उत्तीर्ण हो सकते हैं, फिर भी ये मॉडल छोटे-छोटे तरीकों से भिन्न होंगे जो महत्वहीन लगते हैं लेकिन हैं नहीं। मॉडल में अलग-अलग नोड्स में अलग-अलग यादृच्छिक मान निर्दिष्ट होंगे, या प्रशिक्षण डेटा को अलग-अलग तरीकों से चुना या दर्शाया जा सकता है। ये विविधताएँ छोटी और अक्सर मनमानी होती हैं, और यदि प्रशिक्षण के दौरान मॉडलों के प्रदर्शन पर उनका कोई बड़ा प्रभाव नहीं पड़ता है, तो उन्हें नज़रअंदाज़ करना आसान होता है। हालाँकि, जब इन सभी छोटे परिवर्तनों का प्रभाव जमा होता है, तो वे वास्तविक दुनिया के प्रदर्शन में बड़े बदलाव ला सकते हैं।

यह अंडरस्पेसिफिकेशन समस्याग्रस्त है क्योंकि इसका मतलब है कि, भले ही प्रशिक्षण प्रक्रिया अच्छे मॉडल बनाने में सक्षम हो, यह एक खराब मॉडल भी तैयार कर सकती है और जब तक मॉडल उत्पादन से बाहर नहीं निकलता और उपयोग में नहीं आता, तब तक अंतर का पता नहीं चलेगा।

अंडरस्पेसिफिकेशन के प्रभाव का आकलन करने के लिए, अनुसंधान टीम ने कई अलग-अलग मॉडलों की जांच की। प्रत्येक मॉडल को एक ही प्रशिक्षण प्रक्रिया का उपयोग करके प्रशिक्षित किया गया था, और फिर प्रदर्शन में अंतर को उजागर करने के लिए मॉडलों को परीक्षणों की एक श्रृंखला के अधीन किया गया था। एक उदाहरण में, इमेज पहचान प्रणाली के 50 विभिन्न संस्करणों को इमेजनेट डेटासेट पर प्रशिक्षित किया गया था। सभी मॉडल तंत्रिका नेटवर्क मूल्यों के लिए समान थे जो उन्हें प्रशिक्षण की शुरुआत के दौरान यादृच्छिक रूप से सौंपे गए थे। मॉडलों में अंतर निर्धारित करने के लिए उपयोग किए जाने वाले तनाव परीक्षण इमेजनेट-सी का उपयोग करके आयोजित किए गए थे, जो मूल डेटासेट पर एक भिन्नता है जिसमें कंट्रास्ट या चमक समायोजन के माध्यम से बदली गई छवियां शामिल हैं। मॉडलों का ऑब्जेक्टनेट पर भी परीक्षण किया गया, जो असामान्य अभिविन्यास और संदर्भों में रोजमर्रा की वस्तुओं को प्रदर्शित करने वाली छवियों की एक श्रृंखला है। भले ही सभी 50 मॉडलों का प्रशिक्षण डेटासेट पर लगभग समान प्रदर्शन था, जब मॉडलों को तनाव परीक्षणों के माध्यम से चलाया गया तो प्रदर्शन में व्यापक रूप से उतार-चढ़ाव आया।

अनुसंधान टीम ने पाया कि समान परिणाम तब आए जब उन्होंने दो अलग-अलग एनएलपी प्रणालियों को प्रशिक्षित और तनाव-परीक्षण किया, साथ ही जब उन्होंने विभिन्न अन्य कंप्यूटर विज़न मॉडल का परीक्षण किया। प्रत्येक मामले में, मॉडल एक-दूसरे से बेतहाशा भिन्न थे, भले ही सभी मॉडलों के लिए प्रशिक्षण प्रक्रिया समान थी।

डी'अमोर के अनुसार, मशीन लर्निंग शोधकर्ताओं और इंजीनियरों को मॉडल को जंगल में जारी करने से पहले बहुत अधिक तनाव परीक्षण करने की आवश्यकता है। ऐसा करना कठिन हो सकता है, यह देखते हुए कि तनाव परीक्षणों को वास्तविक दुनिया से डेटा का उपयोग करके विशिष्ट कार्यों के अनुरूप बनाने की आवश्यकता होती है, डेटा जो कुछ कार्यों और संदर्भों के लिए प्राप्त करना कठिन हो सकता है। अंडरस्पेसिफिकेशन की समस्या का एक संभावित समाधान एक समय में कई मॉडल तैयार करना है और फिर वास्तविक दुनिया के कार्यों की एक श्रृंखला पर मॉडल का परीक्षण करना है, उस मॉडल को चुनना जो लगातार सर्वोत्तम परिणाम दिखाता है। इस तरह से मॉडल विकसित करने में बहुत समय और संसाधन लगते हैं, लेकिन व्यापार बंद करना इसके लायक हो सकता है, खासकर चिकित्सा संदर्भों या अन्य क्षेत्रों में उपयोग किए जाने वाले एआई मॉडल के लिए जहां सुरक्षा एक प्रमुख चिंता का विषय है। जैसा कि डी'अमोर ने समझाया एमआईटी प्रौद्योगिकी समीक्षा के माध्यम से:

“हमें यह निर्दिष्ट करने में बेहतर होने की आवश्यकता है कि हमारे मॉडलों के लिए हमारी आवश्यकताएं क्या हैं। क्योंकि अक्सर होता यह है कि हमें इन आवश्यकताओं का पता तभी चलता है जब मॉडल दुनिया में विफल हो जाता है।''