डीपमाइंड: एआई मानव संज्ञानात्मक सीमाओं को विरासत में मिल सकता है, ‘आधिकारिक शिक्षा’ से लाभान्वित हो सकता है

डीपमाइंड और स्टैनफोर्ड विश्वविद्यालय के एक नए सहयोग से पता चलता है कि एआई अक्सर अमूर्त तर्क में लोगों की तुलना में बेहतर नहीं हो सकता है, क्योंकि मशीन लर्निंग मॉडल वास्तविक दुनिया के मानव उदाहरणों से अपने तर्क संरचनाओं को प्राप्त करते हैं जो व्यावहारिक संदर्भ में आधारित होते हैं (जिसे एआई अनुभव नहीं कर सकता है), लेकिन हमारी自己的 संज्ञानात्मक कमियों से भी बाधित होते हैं।

सिद्ध, यह एक बाधा का प्रतिनिधित्व कर सकता है जो श्रेष्ठ ‘नीले आकाश’ सोच और बौद्धिक उत्पत्ति की गुणवत्ता के लिए एक बाधा हो सकती है जो कई लोग मशीन लर्निंग सिस्टम से उम्मीद करते हैं, और यह दर्शाता है कि एआई मानव अनुभव को कितना प्रतिबिंबित करता है और मानव सीमाओं के भीतर सोचता है जो इसे सूचित करते हैं।

शोधकर्ताओं का सुझाव है कि एआई मॉडल अमूर्त तर्क में पूर्व-प्रशिक्षण से लाभान्वित हो सकते हैं, जिसे ‘आधिकारिक शिक्षा’ के रूप में वर्णित किया जा सकता है, वास्तविक दुनिया के कार्यों पर काम करने से पहले।

पत्र में कहा गया है:

‘मानव असंपूर्ण तर्कशास्त्री हैं। हम सबसे प्रभावी ढंग से उन वस्तुओं और स्थितियों के बारे में तर्क करते हैं जो हमारी दुनिया की समझ के साथ संगत हैं।

‘हमारे प्रयोग यह दिखाते हैं कि भाषा मॉडल इन व्यवहार पैटर्न को दर्पण देते हैं। भाषा मॉडल तार्किक तर्क कार्यों पर असंपूर्ण रूप से प्रदर्शन करते हैं, लेकिन यह प्रदर्शन सामग्री और संदर्भ पर निर्भर करता है। सबसे उल्लेखनीय बात यह है कि ऐसे मॉडल अक्सर उन स्थितियों में विफल होते हैं जहां मानव विफल होते हैं – जब उत्तेजना बहुत अमूर्त या दुनिया की हमारी先前的 समझ के साथ संघर्ष करती है। ‘

हाइपरस्केल, जीपीटी-स्तरीय प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल पर ऐसी सीमाओं के प्रभाव की जांच करने के लिए, शोधकर्ताओं ने एक उपयुक्त मॉडल पर तीन परीक्षणों की एक श्रृंखला चलाई, निष्कर्ष निकाला:*

‘हम पाते हैं कि राज्य के अत्याधुनिक बड़े भाषा मॉडल (7 या 70 अरब पैरामीटर) मानवों में देखे गए कई पैटर्न को प्रतिबिंबित करते हैं – मानवों की तरह, मॉडल वास्तविक स्थितियों के बारे में अधिक प्रभावी ढंग से तर्क करते हैं niż अवास्तविक या अमूर्त लोगों के बारे में।

‘हमारे निष्कर्षों में संज्ञानात्मक प्रभावों और भाषा मॉडल प्रदर्शन में योगदान देने वाले कारकों को समझने के लिए निहितार्थ हैं। ‘

पत्र सुझाव देता है कि एआई में तर्क कौशल बनाने के लिए, जिसमें वास्तविक दुनिया के अनुभव का लाभ नहीं मिला है जो ऐसे कौशल को संदर्भ में डालता है, ऐसी प्रणालियों की क्षमता को सीमित कर सकता है, यह देखते हुए कि ‘स्थापित अनुभव… मानव विश्वासों और तर्क को संभवतः आधार बनाता है’।

लेखकों का तर्क है कि एआई भाषा का अनुभव निष्क्रिय रूप से करता है, जबकि मानव इसे सक्रिय और केंद्रीय घटक के रूप में सामाजिक संचार के लिए अनुभव करते हैं, और यह सक्रिय भागीदारी (जो पारंपरिक सामाजिक प्रणालियों के दंड और पुरस्कार को शामिल करती है) मानवों की तरह अर्थ को समझने के लिए ‘मुख्य’ हो सकती है।

शोधकर्ता यह देखते हैं:

‘भाषा मॉडल और मानवों के बीच कुछ अंतर इसलिए हो सकते हैं क्योंकि मानवों के समृद्ध, आधारित, इंटरैक्टिव अनुभव और मॉडल के गरीब अनुभव के बीच अंतर है। ‘

वे सुझाव देते हैं कि एक समाधान पूर्व-प्रशिक्षण की अवधि हो सकती है, जैसा कि मानव स्कूल और विश्वविद्यालय प्रणाली में अनुभव करते हैं, वास्तविक दुनिया के कार्यों पर प्रशिक्षण से पहले।

यह पूर्व-प्रशिक्षण की अवधि ‘आधिकारिक शिक्षा’ के रूप में वर्णित की जा सकती है, जो पारंपरिक मशीन लर्निंग पूर्व-प्रशिक्षण (जो प्रशिक्षण समय को कम करने के लिए अर्ध-प्रशिक्षित मॉडल को पुन: उपयोग करने या पूरी तरह से प्रशिक्षित मॉडल से वजन आयात करने का एक तरीका है) से भिन्न होगी)।

इसके बजाय, यह एक सुसंगत सीखने की अवधि का प्रतिनिधित्व करेगा जो एआई के तर्कसंगत तर्क कौशल को शुद्ध रूप से अमूर्त तरीके से विकसित करने के लिए डिज़ाइन किया गया है, और महत्वपूर्ण संकाय को उसी तरह विकसित करने के लिए जैसे एक विश्वविद्यालय के छात्र को अपनी डिग्री शिक्षा के दौरान प्रोत्साहित किया जाएगा।

‘कई परिणाम,’ लेखकों का कहना है, ‘सुझाव देते हैं कि यह उतना अवास्तविक नहीं हो सकता है जितना यह लगता है। ‘

पत्र शीर्षक है भाषा मॉडल मानव जैसी सामग्री प्रभाव दिखाते हैं तर्क पर, और छह शोधकर्ताओं से आता है डीपमाइंड में, और एक डीपमाइंड और स्टैनफोर्ड विश्वविद्यालय से संबद्ध है।

परीक्षण

मानव व्यावहारिक उदाहरणों के माध्यम से अमूर्त अवधारणाओं को सीखते हैं, जो अक्सर भाषा सीखने वालों को शब्दावली और व्याकरणिक नियमों को स्मृति में रखने में मदद करता है। इसका सबसे सरल उदाहरण भौतिकी में जटिल सिद्धांतों को सिखाने के लिए ‘यात्रा परिदृश्य’ का उपयोग करना है।

एक हाइपरस्केल भाषा मॉडल की अमूर्त तर्क क्षमता का परीक्षण करने के लिए, शोधकर्ताओं ने तीन भाषाई / सेमांटिक परीक्षणों की एक श्रृंखला तैयार की जो मानवों के लिए भी चुनौतीपूर्ण हो सकती है। परीक्षण ‘शून्य शॉट’ (किसी भी हल किए गए उदाहरण के बिना) और ‘पांच शॉट’ (पांच पूर्व हल किए गए उदाहरणों के साथ) लागू किए गए थे।

पहला कार्य प्राकृतिक भाषा अनुमान (एनएलआई) से संबंधित है, जहां विषय (एक व्यक्ति या इस मामले में एक भाषा मॉडल) को दो वाक्य मिलते हैं, एक ‘पूर्वावलोकन’ और एक ‘अनुमान’ जो पूर्वावलोकन से प्रतीत होता है। उदाहरण के लिए एक्स वाई से छोटा है, अनुमान: वाई एक्स से बड़ा है (अनुमानित)।

प्राकृतिक भाषा अनुमान कार्य के लिए, शोधकर्ताओं ने भाषा मॉडल चिंचिला (एक 70 अरब पैरामीटर मॉडल) और 7बी (एक 7 अरब पैरामीटर संस्करण) का मूल्यांकन किया, जो एक ही मॉडल का एक संस्करण है, यह पाते हुए कि सुसंगत उदाहरणों (अर्थात जो बकवास नहीं थे) के लिए, केवल बड़े चिंचिला मॉडल ने मौका से बेहतर परिणाम प्राप्त किए; और वे ध्यान देते हैं:

‘यह एक मजबूत सामग्री पूर्वाग्रह का संकेत देता है: मॉडल पूर्वाग्रह के साथ वाक्य को पूरा करने के लिए तर्क के नियमों के अनुरूप होने के बजाय पूर्व अपेक्षाओं के साथ संगत होने के लिए पसंद करते हैं। ‘

सिल्लोगिज़म

दूसरा कार्य एक अधिक जटिल चुनौती प्रस्तुत करता है, सिल्लोगिज़म – तर्क जहां दो सच्चे बयान कथित तौर पर एक तीसरे बयान को दर्शाते हैं (जो तर्कसंगत निष्कर्ष हो सकता है या नहीं जो पूर्व के दो बयानों से अनुमानित है):

मानव यहां बहुत ही असफल होते हैं, और एक तर्कसंगत सिद्धांत को प्रदर्शित करने के लिए डिज़ाइन किया गया एक निर्माण तुरंत, और शायद स्थायी रूप से, मानव ‘विश्वास’ द्वारा उलझ जाता है कि सही उत्तर होना चाहिए।

लेखकों का ध्यान है कि 1983 का एक अध्ययन दिखाया कि प्रतिभागी अपने स्वयं के विश्वासों द्वारा पूर्वाग्रहित थे कि एक सिल्लोगिज़म का निष्कर्ष क्या होना चाहिए, यह देखते हुए:

‘प्रतिभागी बहुत अधिक संभावना (90% समय) से गलत सिल्लोगिज़म को मान्य बताने के लिए गलत थे अगर निष्कर्ष विश्वसनीय था, और इस प्रकार मुख्य रूप से विश्वास पर निर्भर थे न कि अमूर्त तर्क पर। ‘

चिंचिला को विविध सिल्लोगिज़म के एक दौर में परीक्षण करने के लिए, शोधकर्ताओं ने पाया कि ‘विश्वास पूर्वाग्रह शून्य-शॉट निर्णयों को लगभग चलाता है’। यदि भाषा मॉडल एक निष्कर्ष को वास्तविकता के साथ असंगत पाता है, तो मॉडल, लेखकों का कहना है, ‘मजबूती से पूर्वाग्रहित’ है घोषणा करने के लिए कि अंतिम तर्क अमान्य है, भले ही अंतिम तर्क पूर्ववर्ती बयानों का एक तर्कसंगत परिणाम हो।

वासोन चयन कार्य

तीसरे परीक्षण के लिए, और भी चुनौतीपूर्ण वासोन चयन कार्य तर्क समस्या को भाषा मॉडल के लिए हल करने के लिए सुधारा गया था।

वासोन कार्य, जो 1968 में तैयार किया गया था, कथित तौर पर बहुत सरल है: प्रतिभागियों को चार कार्ड दिखाए जाते हैं और एक मनमाना नियम बताया जाता है जैसे ‘यदि कार्ड के एक तरफ ‘डी’ है, तो इसके दूसरी तरफ ‘3’ है।’ चार दिखाई देने वाले कार्ड चेहरे ‘डी’, ‘एफ’, ‘3’ और ‘7’ दिखाते हैं।

विषयों को तब पूछा जाता है कि वे कौन से कार्ड पलटने की जरूरत है ताकि यह सत्यापित किया जा सके कि नियम सच है या नहीं।

इस उदाहरण में सही समाधान ‘डी’ और ‘7’ कार्ड पलटना है। प्रारंभिक परीक्षणों में, यह पाया गया कि जबकि अधिकांश विषय (मानव) सही ढंग से ‘डी’ चुनेंगे, वे ‘3’ की तुलना में ‘7’ चुनने की अधिक संभावना रखते थे, नियम के विरोधाभास के साथ नियम के विलोम को भ्रमित करते हुए (‘3’ का अर्थ ‘डी’ है, जो तर्कसंगत रूप से नहीं है)।

लेखकों का ध्यान है कि मानव विषयों में पूर्वाग्रह की संभावना तर्क प्रक्रिया में हस्तक्षेप कर सकती है, और आगे ध्यान देते हैं कि अकादमिक गणितज्ञ और स्नातक गणितज्ञ आमतौर पर इस कार्य में 50% से कम स्कोर करते हैं।

हालांकि, जब वासोन कार्य की योजना किसी तरह से मानव व्यावहारिक अनुभव को प्रतिबिंबित करती है, तो प्रदर्शन पारंपरिक रूप से बढ़ जाता है।

लेखकों का कहना है:

‘[यदि] कार्ड उम्र और पेय दिखाते हैं, और नियम है “यदि वे शराब पी रहे हैं, तो उन्हें 21 या उससे अधिक उम्र का होना चाहिए” और कार्ड दिखाए जाते हैं जो ‘बियर’, ‘सोडा’, ’25’, ’16’ दिखाते हैं, तो अधिकांश प्रतिभागी सही ढंग से ‘बियर’ और ’16’ दिखाने वाले कार्ड की जांच करने का चयन करते हैं। ‘

वासोन कार्यों पर भाषा मॉडल के प्रदर्शन का परीक्षण करने के लिए, शोधकर्ताओं ने विविध वास्तविक और मनमाने नियम बनाए, जिनमें से कुछ ‘बकवास’ शब्दों को प्रदर्शित करते हैं, यह देखने के लिए कि क्या एआई संदर्भ को समझने में सक्षम हो सकता है और कौन से ‘वर्चुअल कार्ड’ पलटने हैं।

वासोन परीक्षणों के लिए, मॉडल ने ‘वास्तविक’ (नॉनसेंस नहीं) कार्यों पर मानवों के साथ तुलनात्मक रूप से प्रदर्शन किया।

पत्र टिप्पणी करता है:

‘यह मानव साहित्य में निष्कर्षों को दर्शाता है: मानव वास्तविक स्थितियों के संदर्भ में वासोन कार्य का उत्तर देने में बहुत अधिक सटीक होते हैं जब यह मनमाने नियमों के बारे में नहीं होता है। ‘

आधिकारिक शिक्षा

पत्र के निष्कर्ष हाइपरस्केल एनएलपी सिस्टम की तर्क क्षमता को हमारी自己的 सीमाओं के संदर्भ में रखते हैं, जो हम मॉडलों को सौंप रहे हैं, जो उन्हें सशक्त बनाने वाले वास्तविक दुनिया के डेटासेट से गुजरते हैं। चूंकि हम में से अधिकांश प्रतिभाशाली नहीं हैं, न ही मॉडल जिनके पैरामीटर हमारे अपने द्वारा सूचित किए जाते हैं।

इसके अलावा, नए काम का निष्कर्ष है कि हमारे पास कम से कम एक लंबे समय से चली आ रही शिक्षा का लाभ है, और सामाजिक, वित्तीय और यहां तक कि यौन प्रेरणा भी है जो मानवीय आवश्यकता का गठन करती है। सभी जो एनएलपी मॉडल प्राप्त कर सकते हैं वे इन पर्यावरणीय कारकों की परिणामी क्रियाएं हैं, और वे सामान्य मानव की तुलना में विशिष्ट मानव के अनुरूप प्रतीत होते हैं।

लेखकों का कहना है:

‘हमारे परिणाम दिखाते हैं कि सामग्री प्रभाव केवल एक बड़े ट्रांसफॉर्मर को प्रशिक्षित करके मानव संस्कृति द्वारा उत्पादित भाषा की नकल करने से उत्पन्न हो सकते हैं, इन मानव-विशिष्ट आंतरिक तंत्रों को एकीकृत किए बिना।

‘अर्थात्, भाषा मॉडल और मानव दोनों ही सामग्री पूर्वाग्रहों पर पहुंचते हैं – लेकिन बहुत अलग वास्तुकला, अनुभवों और प्रशिक्षण उद्देश्यों से। ‘

इस प्रकार वे एक प्रकार के ‘प्रेरण तर्क’ का सुझाव देते हैं, जो दिखाया गया है कि गणित और सामान्य तर्क के लिए मॉडल प्रदर्शन में सुधार होता है। वे आगे ध्यान देते हैं कि भाषा मॉडल को अमूर्त या सामान्य स्तर पर निर्देशों का पालन करने के लिए प्रशिक्षित या ट्यून किया गया है, और अपने स्वयं के आउटपुट को सत्यापित, सुधार या पूर्वाग्रह को दूर करने के लिए।

* मेरे द्वारा इनलाइन संदर्भों को हाइपरलिंक में परिवर्तित करना।

पहली बार 15 जुलाई 2022 को प्रकाशित।