ओवरइंटरप्रिटेशन ओवरफिटिंग से बड़ा और अधिक जटिल खतरा हो सकता है

यदि आपके अच्छे दोस्त एलिस को पीले स्वेटर पहनना पसंद है, तो आप औसत व्यक्ति की तुलना में बहुत अधिक पीले स्वेटर देखेंगे। कुछ समय के बाद, यह संभव है कि जब आप किसी अलग महिला को पीला स्वेटर पहने देखें, तो एलिस की मूल अवधारणा आपके दिमाग में आएगी।

यदि आप किसी महिला को पीला स्वेटर पहने देखते हैं जो थोड़ा एलिस से मिलता-जुलता है, तो आप उसे अपने दोस्त के लिए गलत समझ सकते हैं।

लेकिन यह एलिस नहीं है। अंततः, आप महसूस करेंगे कि पीला स्वेटर एलिस की पहचान करने के लिए एक उपयोगी कुंजी नहीं है, क्योंकि वह इसे गर्मियों में कभी नहीं पहनती है, और सर्दियों में भी हमेशा नहीं पहनती है। दोस्ती के कुछ समय बाद, आप पीले स्वेटर को एक संभावित एलिस पहचानकर्ता के रूप में डाउनग्रेड करना शुरू कर देंगे, क्योंकि इसका अनुभव असंतोषजनक रहा है, और इस शॉर्टकट को बनाए रखने में उपयोग की जाने वाली संज्ञानात्मक ऊर्जा अक्सर पुरस्कृत नहीं होती है।

यदि आप एक कंप्यूटर विजन-आधारित पहचान प्रणाली हैं, तो यह संभव है कि आप पीले स्वेटर को देखकर एलिस को हर जगह देखें।

यह आपकी गलती नहीं है; आपको एलिस की पहचान करने के लिए न्यूनतम उपलब्ध जानकारी से सभी लागतों पर चार्ज किया गया है, और इस रेड्यूस्ड एलिस क्रिब को बनाए रखने के लिए संज्ञानात्मक संसाधनों की कोई कमी नहीं है।

अद्भुत विवेक

एमआईटी कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (सीएसएआईएल) और अमेज़न वेब सेवाओं के एक हालिया शोध पत्र के अनुसार, यह सिंड्रोम, जिसे ओवरइंटरप्रिटेशन कहा जाता है, कंप्यूटर विजन (सीवी) अनुसंधान क्षेत्र में व्यापक है; ओवरफिटिंग को संबोधित करके इसका प्रतिकार नहीं किया जा सकता है (क्योंकि यह ओवरफिटिंग का एक直接 पूरक नहीं है); छवि पहचान और परिवर्तन में दो सबसे प्रभावशाली डेटासेट, सीआईएफएआर-10 और इमेजनेट में शोध में सामान्यतः प्रकट होता है; और इसका कोई आसान उपाय नहीं है – निश्चित रूप से कोई सस्ता उपाय नहीं है।

शोधकर्ताओं ने पाया कि जब प्रशिक्षण छवियों को केवल 5% तक कम कर दिया जाता है, तो लोकप्रिय फ्रेमवर्क की एक विस्तृत श्रृंखला अभी भी छवियों को सही ढंग से वर्गीकृत करती है, जो अधिकांश मामलों में मानव दर्शक के लिए दृश्य ‘अर्थहीन’ प्रतीत होती है:

मूल प्रशिक्षण छवियां सीआईएफएआर-10 से, केवल 5% मूल पिक्सेल सामग्री तक कम कर दी गई, फिर भी 90-99% सटीकता के साथ विभिन्न लोकप्रिय कंप्यूटर विजन फ्रेमवर्क द्वारा सही ढंग से वर्गीकृत की गई। स्रोत: https://arxiv.org/pdf/2003.08907.pdf

कुछ मामलों में, वर्गीकरण फ्रेमवर्क वास्तव में इन पared-down छवियों को पूर्ण फ्रेम की तुलना में सही ढंग से वर्गीकृत करने के लिए आसान पाते हैं, जिसमें लेखक ‘[सीएनएन] पूर्ण छवियों की तुलना में इन पिक्सेल सबसेट पर अधिक आत्मविश्वासी हैं’ का अवलोकन करते हैं।

यह संकेत देता है कि सीवी प्रणालियों के लिए एक संभावित रूप से कमजोर ‘चीटिंग’ प्रकार है जो बेंचमार्क डेटासेट जैसे सीआईएफएआर-10 और इमेजनेट और बेंचमार्क फ्रेमवर्क जैसे वीजीजी16, रेसनेट20, और रेसनेट18 का उपयोग करते हैं।

ओवरइंटरप्रिटेशन के सीवी-आधारित स्वायत्त वाहन प्रणालियों के लिए उल्लेखनीय परिणाम हैं, जो हाल ही में टेस्ला के निर्णय के साथ ध्यान में आए हैं कि स्व-ड्राइविंग एल्गोरिदम के लिए लिडार और अन्य रे-आधारित सेंसिंग सिस्टम की तुलना में छवि-व्याख्या को पसंद किया जाए।

हालांकि ‘शॉर्टकट लर्निंग’ एक ज्ञात चुनौती है, और कंप्यूटर विजन में एक सक्रिय अनुसंधान क्षेत्र है, पत्र के लेखक टिप्पणी करते हैं कि जर्मन/कैनेडियन अनुसंधान जिसने 2019 में समस्या को फ्रेम किया था, यह नहीं पहचानता है कि ओवरइंटरप्रिटेशन की विशेषता वाले ‘स्प्यूरियस’ पिक्सेल सबसेट ‘सांख्यिकीय रूप से वैध डेटा’ हैं, जिन्हें वास्तुकला और उच्च-स्तरीय दृष्टिकोणों के संदर्भ में संबोधित करने की आवश्यकता हो सकती है, डेटासेट के अधिक सावधानीपूर्वक क्यूरेशन के माध्यम से नहीं।

पत्र का शीर्षक ओवरइंटरप्रिटेशन इमेज क्लासिफिकेशन मॉडल पैथोलॉजीज को प्रकट करता है, और ब्रैंडन कार्टर, सिद्धार्थ जैन, और डेविड गिफ्फोर्ड से सीएसएआईएल में आता है, जो अमेज़न वेब सेवाओं के जोनास म्यूलर के सहयोग से है। पत्र के लिए कोड https://github.com/gifford-lab/overinterpretation पर उपलब्ध है।

डेटा को कम करना

शोधकर्ताओं द्वारा उपयोग की जाने वाली डेटा-स्ट्रिप्ड छवियों को उन्होंने पर्याप्त इनपुट सबसेट (एसआईएस) कहा है – वास्तव में, एक एसआईएस चित्र में छवि को पर्याप्त रूप से परिभाषित करने के लिए न्यूनतम संभव ‘बाहरी चेसिस’ होता है ताकि कंप्यूटर विजन प्रणाली मूल छवि के विषय (यानी, कुत्ता, जहाज, आदि) की पहचान कर सके।

ऊपरी पंक्ति में, हम पूर्ण इमेजनेट सत्यापन छवियों को देखते हैं; नीचे, एसआईएस सबसेट, 90% आत्मविश्वास के साथ एक इन्सेप्शन वी3 मॉडल द्वारा सही ढंग से वर्गीकृत, जाहिर तौर पर छवि के शेष – पृष्ठभूमि संदर्भ पर आधारित। स्वाभाविक रूप से, अंतिम कॉलम में स्व-ड्राइविंग वाहन एल्गोरिदम में साइनेज पहचान के लिए उल्लेखनीय परिणाम हैं।

उपरोक्त छवि में प्राप्त परिणामों पर टिप्पणी करते हुए, शोधकर्ता टिप्पणी करते हैं:

‘हम पाते हैं कि एसआईएस पिक्सेल वास्तविक वस्तु के बाहर केंद्रित होते हैं जो वर्ग लेबल को निर्धारित करते हैं। उदाहरण के लिए, “पिज़्ज़ा” छवि में, एसआईएस प्लेट और पृष्ठभूमि टेबल के आकार पर केंद्रित है, पिज़्ज़ा खुद पर नहीं, यह सुझाव देते हुए कि मॉडल खराब तरीके से सामान्य कर सकता है जिसमें टेबल पर विभिन्न गोल वस्तुएं हैं। “गाइंट पांडा” छवि में, एसआईएस में बांस होता है, जो संभवतः इस वर्ग के लिए इमेजनेट फोटो संग्रह में दिखाई दिया होगा।

‘”ट्रैफिक लाइट” और “स्ट्रीट साइन” छवियों में, एसआईएस में आकाश में पिक्सेल होते हैं, जो सुझाव देते हैं कि स्वायत्त वाहन प्रणालियों को जो ऐसे मॉडल पर निर्भर करती हैं, उन्हें ओवरइंटरप्रिटेशन पैथोलॉजीज के लिए सावधानी से मूल्यांकन किया जाना चाहिए।’

एसआईएस छवियां यादृच्छिक नहीं हैं, बल्कि परियोजना के लिए बैच्ड ग्रेडिएंट बैकसेलेक्ट प्रक्रिया द्वारा इन्सेप्शन वी3 और रेसनेट50 पर पायटॉर्च के माध्यम से बनाई गई हैं। छवियां मूल डेटा को हटाने की प्रक्रिया द्वारा प्राप्त की जाती हैं जो मॉडल की छवि को सटीक रूप से वर्गीकृत करने की क्षमता और मूल डेटा को हटाने के क्षेत्रों के बीच संबंध को ध्यान में रखती है।

एसआईएस की वैधता की पुष्टि करने के लिए, लेखकों ने एक यादृच्छिक पिक्सेल हटाने की प्रक्रिया का परीक्षण किया और पाया कि परिणाम ‘काफी कम जानकारीपूर्ण’ थे, जो यह दर्शाता है कि एसआईएस छवियां वास्तव में लोकप्रिय मॉडल और डेटासेट को स्वीकार्य भविष्यवाणियां करने के लिए आवश्यक न्यूनतम डेटा का प्रतिनिधित्व करती हैं।

किसी भी कम की गई छवि पर एक नज़र यह सुझाव देती है कि ये मॉडल मानव दृश्य विवेक के स्तर के अनुसार विफल होने चाहिए, जो मध्य 20% से कम की औसत सटीकता का परिणाम देगा।

एसआईएस छवियों को केवल 5% मूल पिक्सेल तक कम किया गया, मनुष्य केवल ‘यादृच्छिक से अधिक’ वर्गीकरण सफलता दर प्राप्त करते हैं, जो कि अध्ययन में शोध किए गए लोकप्रिय डेटासेट और फ्रेमवर्क की 90-99% सफलता दर के विपरीत है।

ओवरफिट के परे

ओवरफिटिंग तब होती है जब एक मशीन लर्निंग मॉडल एक डेटासेट पर इतनी बारीकी से प्रशिक्षित हो जाता है कि यह उस विशिष्ट डेटा पर भविष्यवाणियां करने में माहिर हो जाता है, लेकिन ताजा डेटा पर जो प्रशिक्षण के बाद पेश किया जाता है (आउट-ऑफ-डिस्ट्रीब्यूशन डेटा) पर बहुत कम प्रभावी होता है।

‘ओवरइंटरप्रिटेशन ओवरफिटिंग से संबंधित है, लेकिन ओवरफिटिंग का निदान कम परीक्षण सटीकता के माध्यम से किया जा सकता है। ओवरइंटरप्रिटेशन से सच्चे सांख्यिकीय संकेतों का उदय हो सकता है जो डेटा स्रोत की विशिष्ट विशेषताओं (जैसे त्वचा विशेषज्ञों के नियम) से उत्पन्न होते हैं।

‘इसलिए, ओवरइंटरप्रिटेशन का निदान करना मुश्किल हो सकता है क्योंकि यह सांख्यिकीय रूप से वैध मानदंडों द्वारा किए गए निर्णयों को स्वीकार करता है, और ऐसे मानदंडों का उपयोग करने वाले मॉडल बेंचमार्क पर उत्कृष्ट प्रदर्शन कर सकते हैं। ‘

संभावित समाधान

लेखक सुझाव देते हैं कि मॉडल एंसेम्बल, जहां कई आर्किटेक्चर मूल्यांकन और प्रशिक्षण प्रक्रिया में योगदान करते हैं, ओवरइंटरप्रिटेशन को कम करने में कुछ हद तक मदद कर सकते हैं। उन्होंने यह भी पाया कि इनपुट ड्रॉपआउट लागू करने से, जो मूल रूप से ओवरफिटिंग को रोकने के लिए डिज़ाइन किया गया था, सीआईएफएआर-10 परीक्षण सटीकता में ‘एक छोटी कमी’ हुई, जो संभवतः वांछनीय है, लेकिन अनदेखी डेटा पर मॉडल की सटीकता में ‘महत्वपूर्ण’ (∼ 6%) वृद्धि हुई। हालांकि, कम आंकड़े सुझाव देते हैं कि ओवरफिटिंग के लिए कोई बाद के उपचार पूरी तरह से ओवरइंटरप्रिटेशन को संबोधित करने के लिए अनपेक्षित हैं।

लेखक यह स्वीकार करते हैं कि सालिएंसी मैप्स का उपयोग छवि में सुविधा निकालने के लिए प्रासंगिक क्षेत्रों को इंगित करने के लिए किया जा सकता है, लेकिन टिप्पणी करते हैं कि यह स्वचालित छवि-पार्सिंग के उद्देश्य को हरा देता है, और मानव अनोटेशन की आवश्यकता होती है जो पैमाने पर अव्यावहारिक है। वे आगे टिप्पणी करते हैं कि सालिएंसी मैप्स को मॉडल संचालन में अंतर्दृष्टि के संदर्भ में केवल स्थूल अनुमानित के रूप में पाया गया है।

पत्र निष्कर्ष निकालता है:

‘दिए गए गैर-मानव पिक्सेल-सबसेट जो अकेले सही वर्गीकरण के लिए पर्याप्त हैं, एक मॉडल केवल इन पैटर्न पर निर्भर हो सकता है। इस मामले में, एक व्याख्यात्मक विधि जो मॉडल का विश्वासपूर्वक वर्णन करती है, इन अर्थहीन तर्कों को आउटपुट करना चाहिए, जबकि मानव पूर्वाग्रहों की ओर तर्कों को पूर्वाग्रहित करने वाली व्याख्यात्मक विधियां परिणाम उत्पन्न कर सकती हैं जो उपयोगकर्ताओं को यह विश्वास दिलाती हैं कि उनके मॉडल वांछित के रूप में व्यवहार करते हैं। ‘

13 जनवरी 2022 को पहली बार प्रकाशित।