एआई को परीक्षणों में धोखा देने से रोकने की कोशिश

चीनी विश्वविद्यालय से नए शोध निष्कर्ष बताते हैं कि जीपीटी-3 जैसे व्युत्पन्न प्राकृतिक भाषा प्रसंस्करण मॉडल क्यों ‘धोखा’ देते हैं जब उनसे एक कठिन प्रश्न पूछा जाता है, जो उत्तर दे सकते हैं जो तकनीकी रूप से सही हो सकते हैं, लेकिन वास्तव में उत्तर क्यों सही है इसकी कोई समझ नहीं है; और वे अपने ‘आसान’ उत्तरों के पीछे तर्क को समझाने में भी असमर्थ होते हैं। शोधकर्ताओं ने प्रणालियों को प्रशिक्षण चरण के दौरान ‘कठिन अध्ययन’ करने के लिए कुछ नए तरीके भी प्रस्तावित किए हैं।

समस्या दो गुना है: पहले, हम ऐसी प्रणालियों को डिज़ाइन करते हैं जो जल्दी से और संसाधनों का अनुकूल उपयोग करके परिणाम प्राप्त करने का प्रयास करती हैं। यहां तक कि जीपीटी-3 के साथ, जहां संसाधन औसत एनएलपी शोध परियोजना की तुलना में काफी अधिक हो सकते हैं, यह परिणाम-चालित अनुकूलन की संस्कृति अभी भी विधि में प्रमुख है, क्योंकि यह अकादमिक परंपरा में प्रमुख हो गई है।

इसके परिणामस्वरूप, हमारे प्रशिक्षण संरचनाएं ऐसे मॉडलों को पुरस्कृत करती हैं जो जल्दी से अभ्यास करते हैं और प्रश्नों के लिए स्पष्ट रूप से उपयुक्त प्रतिक्रियाएं प्रदान करते हैं, भले ही एनएलपी मॉडल बाद में अपनी प्रतिक्रिया को सही ठहराने या अपने निष्कर्षों पर पहुंचने के तरीके को प्रदर्शित करने में असमर्थ हो।

धोखा देने की एक प्रारंभिक प्रवृत्ति

यह इसलिए होता है क्योंकि मॉडल प्रशिक्षण के दौरान जटिल ज्ञान अधिग्रहण की तुलना में ‘शॉर्टकट प्रतिक्रियाओं’ को बहुत पहले सीखता है। चूंकि सटीकता में वृद्धि अक्सर प्रशिक्षण के दौरान बहुत ही असंगत रूप से पुरस्कृत की जाती है, मॉडल तब किसी भी दृष्टिकोण को प्राथमिकता देता है जो इसे एक प्रश्न का उत्तर ‘चिकनी’ तरीके से देने की अनुमति देगा, और वास्तविक अंतर्दृष्टि के बिना।

एआई को ‘आसान’ उत्तर देना

दूसरी समस्या यह है कि हालांकि हाल के शोध पहलों ने अध्ययन किया है कि एआई इस तरह ‘धोखा’ देने की प्रवृत्ति को पहचाना है, और ‘शॉर्टकट’ की घटना की पहचान की है, अभी तक कोई प्रयास नहीं किया गया है योगदान देने वाले डेटासेट में ‘शॉर्टकट’-सक्षम सामग्री को वर्गीकृत करने के लिए, जो मैशीन रीडिंग कॉम्प्रिहेंशन (एमआरसी) प्रणालियों में एक मूलभूत वास्तुकला दोष से निपटने के लिए तार्किक पहला कदम होगा।

नई पेपर, वांगक्सुआन इंस्टीट्यूट ऑफ कंप्यूटर टेक्नोलॉजी और पेकिंग यूनिवर्सिटी के एमओई की कुंजी प्रयोगशाला में कम्प्यूटेशनल लिंग्विस्टिक्स के बीच एक सहयोग, विभिन्न भाषा मॉडलों का परीक्षण करता है जो एक नवीनतम एनोटेटेड डेटासेट के खिलाफ है, जिसमें ‘आसान’ और ‘कठिन’ समाधानों के लिए वर्गीकरण शामिल हैं एक संभावित प्रश्न के लिए।

स्रोत: https://arxiv.org/pdf/2106.01024.pdf

डेटासेट में एक सेमेंटिक समझ की आवश्यकता होती है जो प्राप्त ज्ञान को पुनर्गठित करने के लिए पैराफ्रेज़ का उपयोग करता है। इसके विपरीत, ‘शॉर्टकट’ उत्तर टोकन का उपयोग कर सकते हैं जैसे तारीखें और अन्य एनकैप्सुलेटिंग कीवर्ड, एक उत्तर का उत्पादन करने के लिए जो तथ्यात्मक रूप से सटीक हो सकता है, लेकिन कोई संदर्भ या तर्क के बिना।

शॉर्टकट घटक के लिए एनोटेशन में प्रश्न शब्द मिलान (क्यूडब्ल्यूएम) और सरल मिलान (एसपीएम) शामिल हैं। क्यूडब्ल्यूएम के लिए, मॉडल आपूर्ति की गई पाठ डेटा से निकाले गए इकाइयों का उपयोग करता है और संदर्भ को छोड़ देता है; एसपीएम के लिए, मॉडल प्रशिक्षण डेटा में दिए गए उत्तर वाक्यों और प्रश्नों के बीच ओवरलैप की पहचान करता है।

डेटासेट में शॉर्टकट डेटा लगभग ‘वायरल’ प्रभाव

शोधकर्ताओं का तर्क है कि डेटासेट में शॉर्टकट प्रश्नों का एक उच्च अनुपात होता है, जो प्रशिक्षित मॉडलों को शॉर्टकट ट्रिक्स पर भरोसा करने का कारण बनता है।

प्रयोगों में उपयोग किए गए दो मॉडल बीडीएएफ और गूगल के बीईआरटी-बेस थे। शोधकर्ताओं का निरीक्षण है कि डेटासेट के संस्करणों पर प्रशिक्षित किए जाने के बावजूद जिनमें ‘कठिन’ प्रश्नों का एक उच्च अनुपात है, दोनों मॉडल अभी भी शॉर्टकट प्रश्नों पर कठिन पैराफ्रेज़ प्रश्नों की तुलना में बेहतर प्रदर्शन करते हैं, डेटासेट में उदाहरणों की छोटी संख्या के बावजूद।

यह ‘शॉर्टकट डेटा’ को लगभग एक वायरस के संदर्भ में प्रस्तुत करता है – जिसमें डेटासेट में इसकी उपस्थिति की बहुत कम मात्रा होने की आवश्यकता होती है ताकि यह पारंपरिक मानकों और एनएलपी में अभ्यास के तहत प्रशिक्षण में अपनाया और प्राथमिकता दी जा सके।

धोखा साबित करना

एक तरीका जिससे शोध यह साबित करता है कि शॉर्टकट उत्तर की नाजुकता कैसे है, एक ‘आसान’ इकाई शब्द को एक असामान्य शब्द से बदलना है। जहां एक शॉर्टकट विधि का उपयोग किया गया है, वहां ‘धोखा’ दिए गए उत्तर का तर्क प्रदान नहीं किया जा सकता है; लेकिन जहां उत्तर गहरे संदर्भ और व्यापक पाठ डेटा के व्यापक मूल्यांकन से प्राप्त किया गया है, वहां प्रणाली त्रुटि को निर्मित और पुनर्निर्माण करने में सक्षम हो सकती है एक सही उत्तर।

‘बेयोंसे’ (एक व्यक्ति) को ‘अमेरिका’ (एक स्थान) के लिए प्रतिस्थापित करना, यह दर्शाता है कि क्या मॉडल के पास अपने उत्तर के लिए कोई पृष्ठभूमि तर्क है।

आर्थिक आवश्यकता के कारण शॉर्टकट

एनएलपी प्रशिक्षण कार्य प्रवाह में शॉर्टकट क्यों इतने प्राथमिकता दिए जाते हैं, इसके कुछ वास्तुकला कारणों के बारे में लेखक टिप्पणी करते हैं ‘एमआरसी मॉडल क्यूडब्ल्यूएम जैसे शॉर्टकट ट्रिक्स सीख सकते हैं, जो पहचान की तुलना में कम कम्प्यूटेशनल संसाधनों का उपयोग करते हैं। पैराफ्रेज़ की पहचान जैसी चुनौतियाँ’।

यह मैशीन रीडिंग कॉम्प्रिहेंशन के दृष्टिकोण में मानक अनुकूलन और संसाधन-संरक्षण दर्शन का एक अनपेक्षित परिणाम हो सकता है, और सीमित समय-सीमा में सीमित संसाधनों के साथ परिणाम प्राप्त करने के लिए दबाव हो सकता है।

शोधकर्ताओं ने यह भी उल्लेख किया है:

‘[चूंकि] शॉर्टकट ट्रिक का उपयोग अधिकांश प्रशिक्षण प्रश्नों का उत्तर देने के लिए किया जा सकता है, शेष अनसुलझे प्रश्न मॉडल को जटिल समाधानों का अन्वेषण करने के लिए प्रेरित नहीं कर सकते हैं जिन्हें चुनौतीपूर्ण कौशल की आवश्यकता होती है।’

यदि पेपर के परिणाम बाद में साबित हो जाते हैं, तो यह लगता है कि डेटा प्रीप्रोसेसिंग के विशाल और तेजी से बढ़ते क्षेत्र को डेटा में ‘छिपे हुए क्रिब’ को एक समस्या के रूप में संबोधित करने की आवश्यकता हो सकती है लंबी अवधि में, या एनएलपी आर्किटेक्चर को डेटा इंगेस्टन के लिए अधिक चुनौतीपूर्ण दिनचर्या को प्राथमिकता देने के लिए संशोधित करें।