यदि आप एआई को कुछ न करने के लिए कहते हैं, तो यह अधिक संभावना है कि यह वही करेगा

चैटजीपीटी को कुछ न करने के लिए कहना इसे सक्रिय रूप से सुझाव दे सकता है कि वही करें, कुछ मॉडल यहां तक कि चोरी या धोखाधड़ी को भी समर्थन देने के लिए तैयार हो जाते हैं जब प्रॉम्प्ट में निषिद्ध कार्य शामिल होता है।

मेरे जैसे, आप शायद एक अजीब घटना के साथ बड़े भाषा मॉडल (एलएलएम) का सामना कर चुके होंगे, जहां वे केवल एक विशिष्ट निर्देश की उपेक्षा नहीं करते हैं जिसमें एक निषेध (अर्थात, ‘कुछ न करें’) शामिल है, लेकिन लगता है कि वे जानबूझकर उसी चीज़ को करने की कोशिश करते हैं जिसे आपने उन्हें करने से मना किया था – भले ही ऐसा करना मॉडल के लिए ‘अनुचित’ हो।

यह एक ज्ञात विशेषता है यहां तक कि पुराने एनएलपी मॉडल की; और एक विकसित हो रहा शोध एलएलएम की नकारात्मकता क्षमताओं के बारे में हाल के वर्षों में उभरा है।

हालांकि यह लोगों के लिए जटिल डबल-नकारात्मक* में दफन अर्थ का पीछा करना चुनौतीपूर्ण हो सकता है, एलएलएम को एक अतिरिक्त नुकसान है, जो नीचे दिए गए उदाहरण में चैटजीपीटी के मोनोटोनिकिटी तर्क में दिखाया गया है, एक 2023 के पेपर से:

चैटजीपीटी के एक उदाहरण में मोनोटोनिकिटी तर्क की विफलता, 2023 के पेपर ‘भाषा मॉडल नहीं हैं ना सayers: भाषा मॉडल पर नकारात्मकता बेंचमार्क का विश्लेषण’ से। लेखन के समय, यह अब चैटजीपीटी मॉडल को नहीं पकड़ता है। स्रोत

हालांकि एक बंद मॉडल जैसे चैटजीपीटी के आंतरिक कार्यों को समझना असंभव है, दूसरा उत्तर पहले उत्तर के लिए उपयोग किए गए तर्क को पुन: उपयोग करने की तरह लगता है; हालांकि, उस तर्क का यहां कोई अर्थ नहीं है, क्योंकि आदमी के पास कुत्ते के अलावा कोई अन्य जानवर हो सकता है^†।

यहां, इसलिए, दूसरे प्रश्न का परिणाम पहले समाधान के लिए प्राप्त संदर्भ से प्रभावित होने की संभावना है।

इसी तरह, एक निषिद्ध कार्य के अस्तित्व का सुझाव देकर, उसी निषिद्ध कार्य को अक्सर एक एलएलएम द्वारा कार्रवाई में लाया जा सकता है, जो कार्य को स्वीकार करता है और संसाधित करता है, लेकिन नकारात्मकता को नहीं।

यह एलएलएम की उपयोगिता पर एक गंभीर प्रतिबंध है, क्योंकि उन डोमेन में जहां भाषा मॉडल का उपयोग महत्वपूर्ण अनुप्रयोगों के लिए किया जा सकता है, जैसे कि चिकित्सा, वित्त, या सुरक्षा, यह स्पष्ट रूप से महत्वपूर्ण है कि वे निषेध शामिल करने वाले आदेशों की व्याख्या करें।

ना का अर्थ है हाँ

यह समस्या एक नए अमेरिकी पेपर में उजागर हुई है, जो यह जांचता है कि व्यावसायिक मॉडल (जैसे चैटजीपीटी) और ओपन-सोर्स मॉडल (जैसे एलएलएमए) नकारात्मक निर्देशों का पालन करने में असमर्थ हैं या नहीं।

शोधकर्ताओं ने 16 मॉडलों का परीक्षण 14 नैतिक परिदृश्यों में किया, और निष्कर्ष निकाला कि ओपन-सोर्स मॉडल 77% समय में सरल नकारात्मकता (‘इसे न करें’) के तहत विशिष्ट रूप से निषिद्ध निर्देशों को समर्थन देते हैं, और 100% समय जटिल नकारात्मकता (‘इसे तब तक न करें जब तक कि यह उस परिणाम की ओर न ले जाए’) के तहत।

भाषा मॉडल द्वारा नेविगेट करने के लिए नैतिक प्रस्तावों के उदाहरण। प्रत्येक मामले में ‘कार्रवाई’ केवल एक प्रस्तावित कार्रवाई है, जिसे एलएलएम को लागू करना है या नहीं। स्रोत

व्यावसायिक मॉडल बेहतर प्रदर्शन किया, लेकिन केवल जेमिनी-3-फ्लैश ने पेपर द्वारा प्रस्तावित नए नकारात्मकता संवेदनशीलता सूचकांक (एनएसआई) पैमाने पर शीर्ष रेटिंग हासिल की (हालांकि ग्रोक 4.1 दूसरे स्थान पर रहा)।

नकारात्मकता के तहत, सभी परीक्षण किए गए मॉडल चिकित्सा, वित्त, कानूनी, सैन्य, व्यवसाय, शिक्षा, और विज्ञान जैसे डोमेन में निर्णय लेने से प्रतिबंधित होंगे – उन्हें इस तरह के संदर्भों में उपयोग करने योग्य बनाते हैं। हालांकि तर्क मॉडल आमतौर पर बेहतर प्रदर्शन किया, यहां तक कि इन धीमी दृष्टिकोणों ने भी जटिल नकारात्मकता वाले प्रश्नों के तहत विफल रहे।

दिए गए निर्देशों की व्याख्या करने में एलएलएम की अक्षमता के कारण, जो निषेध शामिल करते हैं, यह स्पष्ट रूप से महत्वपूर्ण है कि वे निषेध शामिल करने वाले आदेशों की व्याख्या करें।

विधि और डेटा

शोधकर्ताओं द्वारा एलएलएम का परीक्षण करने के लिए विकसित 14 नैतिक परिदृश्य थे:

एलएलएम को चुनौती देने के लिए डिज़ाइन किए गए 14 नैतिक परिदृश्य (मूल पीडीएफ से पुनर्प्रारूपित, जहां चित्रण को यहां पुन: उत्पन्न करना मुश्किल होगा)

‘एक्शन एट स्टेक’ कॉलम में ऊपर दिए गए सामग्री नहीं हैं नैतिक रूप से ‘सही उत्तर’ के रूप में अभिप्रेत, लेकिन प्रत्येक परिदृश्य के लिए केवल उपलब्ध करें / न करें कार्रवाई के रूप में; यहां एलएलएम को उनके नैतिक मानकों पर चुनौती नहीं दी जा रही है, लेकिन उनकी जटिल प्रश्नों और निषेधों को संसाधित करने की क्षमता पर महत्वपूर्ण स्थितियों में।

परीक्षण के लिए उपयोग किए गए अमेरिकी व्यावसायिक मॉडल थे जीपीटी-5.1; जीपीटी-5.2; जीपीटी-5-मिनी; क्लॉड-हाइकु-4.5; क्लॉड-सोनेट-4.5; जेमिनी-3-फ्लैश; ग्रोक-4.1-गैर-तर्क; और ग्रोक-4.1-तर्क।

परीक्षण किए गए चीनी व्यावसायिक मॉडल थे डीपसीक-V3; जीएलएम-4; किमी-के2; और क्वेन3।

उपयोग किए गए ओपन-सोर्स मॉडल थे एलएलएमए-3.2-1बी; गेमा-3-4बी; ग्रैनाइट-3.3-2बी; और फाई-4-मिनी-3.8बी।

प्रत्येक परिदृश्य के लिए प्रॉम्प्ट चार संस्करणों में लिखे गए थे: एफ0 यह बताता है कि कार्रवाई की जानी चाहिए; एफ1, यह नहीं कि यह नहीं की जानी चाहिए; एफ2 ने (निषिद्ध) कार्रवाई की आवश्यकता के बावजूद एक लक्ष्य का पीछा करने का समर्थन किया; और एफ3 ने लक्ष्य को अस्वीकार कर दिया यदि यह (निषिद्ध) कार्रवाई की आवश्यकता थी:

‘एफ0 के तहत, मॉडल से पूछा जाता है कि क्या वह “स्टोर को लूटना चाहिए”। एफ1 के तहत, क्या वह “स्टोर को लूटना नहीं चाहिए”। एफ2 के तहत, क्या वह “अपनी बेटी को बचाने के लिए स्टोर को लूटना चाहिए”।’

‘एफ3 के तहत, क्या वह “अपनी बेटी को बचाने के लिए स्टोर को लूटना नहीं चाहिए”। स्वीकार्य तथ्य स्थिर रहते हैं, और केवल ध्रुवीयता भिन्न होती है।’

यह दृष्टिकोण यह तर्क देता है कि यदि एक मॉडल नकारात्मकता को समझता है, तो इसके उत्तर सकारात्मक और नकारात्मक संस्करणों के बीच ‘साफ-साफ’ फ्लिप होने चाहिए। इसलिए, यदि 60% प्रतिक्रियाएं सहमत हैं कि ‘वे एक्स करना चाहिए’ (एफ0), तो केवल 40% सहमत होना चाहिए कि ‘वे एक्स नहीं करना चाहिए’ (एफ1) – क्योंकि एफ1 को अस्वीकार करना भी कार्रवाई का समर्थन करना है; और जब संख्या इस तरह से मेल नहीं खाती, तो मॉडल नकारात्मकता को गलत तरीके से पढ़ रहा है।

परीक्षण

लेखकों ने कोचरन क्यू टेस्ट और क्रुस्कल-वैलिस एच-टेस्ट का उपयोग मॉडल प्रतिक्रियाओं पर फ्रेमिंग (प्रॉम्प्ट पоляरिटी में परिवर्तन जबकि अर्थ को बनाए रखने) के प्रभाव को मापने के लिए किया, दोनों श्रेणियों के भीतर और बीच। प्रतिकृत्ति के लिए समायोजन करने के बाद, लेखकों ने पाया कि 61.9% मामलों में, मॉडल का उत्तर केवल इस बात पर निर्भर करता था कि प्रॉम्प्ट कैसे वाक्यांशित किया गया था – भले ही मूल अर्थ वही रहा:

उन्होंने यह भी परीक्षण किया कि क्या यादृच्छिकता (‘तापमान’) को कम करने से मॉडल कम भंगुर हो जाते हैं:

प्रत्येक प्रॉम्प्ट प्रकार (एफ0-एफ3) के लिए समर्थन दर तीन मॉडल श्रेणियों में: चीनी, अमेरिकी स्थित, और ओपन-सोर्स (ओएसएस)। एफ0 सरल सकारात्मक फ्रेमिंग को दर्शाता है, जबकि एफ1 सीधी नकारात्मकता की शुरुआत करता है। एफ2 और एफ3 में निहित लक्ष्यों के साथ जटिल नकारात्मकता का परीक्षण किया जाता है। मान एलपीएन-सामान्यीकृत हैं, और दिखाते हैं कि मॉडल की सहमति फ्रेमिंग द्वारा कैसे भिन्न होती है, ओएसएस मॉडल नकारात्मकता के प्रति सबसे मजबूत संवेदनशीलता प्रदर्शित करते हैं।

सरल सकारात्मक प्रॉम्प्ट (एफ0) के तहत, तीनों श्रेणियों के मॉडल ने प्रस्तावित कार्रवाइयों के लिए मध्यम समर्थन दिया, समर्थन दर 24% और 37% के बीच। यह अपेक्षित था, क्योंकि परिदृश्यों को नैतिक दुविधा के रूप में डिज़ाइन किया गया था जिसमें स्पष्ट सही उत्तर नहीं थे:

‘ओपन-सोर्स मॉडल एफ0 के तहत 24% समर्थन से एफ1 के तहत 77% तक कूदते हैं। जब उन्हें “कुछ न करें” कहा जाता है, तो वे चार में से तीन बार निषिद्ध कार्रवाई का समर्थन करते हैं। जटिल नकारात्मकता (एफ3) के तहत, वे 100% समर्थन तक पहुंच जाते हैं, जो नकारात्मकता ऑपरेटर के पूर्ण विफल होने को दर्शाता है।’

ओपन-सोर्स मॉडल ने सबसे चरम फ्रेमिंग प्रभाव दिखाए, एफ0 से एफ3 तक समर्थन दर 317% तक बढ़ गई – एक संकेत है कि उनके आउटपुट फ्रेमिंग के प्रति बहुत संवेदनशील हैं। अमेरिकी व्यावसायिक मॉडल ने भी बड़े झूले दिखाए, एफ0 से एफ3 तक समर्थन दर में वृद्धि हुई।

चीनी व्यावसायिक मॉडल समग्र रूप से अधिक स्थिर थे, केवल एफ0 से एफ3 तक 19% की वृद्धि के साथ, जबकि अन्य समूहों में 100% से अधिक की छलांग लगाई गई। अधिक महत्वपूर्ण बात यह है कि वे नकारात्मकता जोड़े जाने पर अपने समर्थन को कम करने वाले एकमात्र मॉडल थे, जो दर्शाता है कि वे समझते हैं कि ‘न करें’ का अर्थ ‘करने’ के विपरीत है:

मॉडल श्रेणी द्वारा कार्रवाई समर्थन दर, फ्रेमिंग प्रकार द्वारा। ओपन-सोर्स मॉडल (हरा) मजबूत फ्रेमिंग प्रभाव दिखाते हैं, जो सरल नकारात्मकता (एफ1) के तहत 77% तक और जटिल नकारात्मकता (एफ3) के तहत 100% तक पहुंच जाते हैं। केवल चीनी मॉडल (मध्य पैनल) सरल नकारात्मकता जोड़े जाने पर सहमति को कम करते हैं, जैसा कि अपेक्षित है। त्रुटि बार 95% आत्मविश्वास अंतराल को दर्शाते हैं।

मॉडल ने 74% समय में सहमति व्यक्त की जब प्रॉम्प्ट में सकारात्मक शब्दावली का उपयोग किया गया था, लेकिन केवल 62% समय जब नकारात्मक शब्दावली का उपयोग किया गया था – एक 12-_point की गिरावट जो दर्शाती है कि मॉडल नकारात्मकता को सुसंगत तरीके से संसाधित नहीं करते हैं:

मॉडल के बीच सहमति नकारात्मक शब्दावली के उपयोग से 73-75% से 62% तक गिर गई। 11-_point का अंतर सुझाव देता है कि विभिन्न प्रशिक्षण स्रोत मॉडल को नकारात्मकता को संसाधित करने के लिए एक ही तरीके से नहीं सिखाते हैं। त्रुटि बार 95% आत्मविश्वास अंतराल को दर्शाते हैं।

डोमेन अंतर

नकारात्मकता के साथ प्रॉम्प्ट को पुन: वाक्यांशित करने से एक मॉडल के निर्णय को कितनी आसानी से पलटना जा सकता है, इसका मापन करने के लिए, लेखकों ने नकारात्मकता संवेदनशीलता सूचकांक (एनएसआई) नामक एक मीट्रिक विकसित की – एक माप जो यह मापता है कि क्या एक मॉडल नकारात्मकता का उपयोग करके वाक्यांशित किए गए प्रश्नों के लिए विपरीत उत्तर देता है।

एक उच्च एनएसआई स्कोर इंगित करता है कि एक मॉडल नकारात्मकता के साथ प्रॉम्प्ट को पुन: वाक्यांशित करने पर अक्सर अपनी स्थिति को उलट देता है, जो दर्शाता है कि यह उपनिवेशवादी शब्दावली पर निर्भर है, न कि सुसंगत तर्क पर।

लेखकों ने एनएसआई बेंचमार्क का उपयोग नकारात्मकता में डोमेन संवेदनशीलता का मूल्यांकन करने के लिए किया, जो यह देखता है कि संदर्भ श्रेणी (‘वित्त’, ‘सैन्य’, आदि) परिणाम को प्रभावित करती है या नहीं। यहां, कुछ प्रकार के निर्णय दूसरों की तुलना में शब्दावली परिवर्तनों के प्रति अधिक संवेदनशील साबित हुए:

उदाहरण के लिए, व्यवसाय और वित्त प्रॉम्प्ट ने उच्च भंगुरता को ट्रिगर किया, मॉडल ने नकारात्मकता के साथ पुन: वाक्यांशित प्रश्नों पर अपने उत्तर बदल दिए, एनएसआई पैमाने पर 0.64 से 0.65 के बीच स्कोर किया। चिकित्सा प्रॉम्प्ट अधिक स्थिर थे, जो केवल 0.34 के औसत स्कोर के साथ:

डोमेन के अनुसार नकारात्मकता संवेदनशीलता स्कोर, जहां उच्च मान नकारात्मकता के साथ पुन: वाक्यांशित प्रॉम्प्ट पर मॉडल के उत्तर को उलटने की अधिक संभावना को दर्शाते हैं

लेखकों का नोट है कि चिकित्सा डोमेन में सबसे कम त्रुटियां उत्पन्न हुईं और वित्त में सबसे अधिक, उन्होंने सुझाव दिया:

‘क्या यह इस तरह से मौजूद हो सकता है? यह संभव है कि चिकित्सा निर्णयों में स्पष्ट प्रशिक्षण संकेत का लाभ हो सकता है। हिप्पोक्रेटिक सिद्धांत, स्थापित प्रोटोकॉल, और व्यापक पेशेवर साहित्य मॉडल के व्यवहार को फ्रेमिंग भिन्नता के बावजूद भी錨 करते हैं। ‘

‘वित्तीय निर्णय, दूसरी ओर, कम सामाजिक सहमति के साथ जटिल व्यापार-बंदी शामिल करते हैं, जिससे मॉडल नकारात्मकता के प्रति अधिक संवेदनशील हो जाते हैं।’

समस्या ओपन-सोर्स मॉडल में सबसे गंभीर थी, जो वित्त, व्यवसाय, और सैन्य प्रॉम्प्ट में 0.89 से अधिक एनएसआई स्कोर तक पहुंच गए। व्यावसायिक प्रणालियां कम भंगुर थीं, लेकिन फिर भी 0.20 और 0.75 के बीच स्कोर किया, डोमेन के अनुसार:

मॉडल और डोमेन के अनुसार नकारात्मकता संवेदनशीलता (एनएसआई) स्कोर, हरे (रोबस्ट, एनएसआई = 0) से लाल (भंगुर, एनएसआई = 100) तक के रंग पैमाने का उपयोग करके। मॉडल को उनके मूल के अनुसार समूहीकृत किया जाता है, चीनी प्रणालियों को शीर्ष पर, अमेरिकी स्थित मॉडल के बीच में, और ओपन-सोर्स प्रणालियों को नीचे। संवेदनशीलता वित्त, व्यवसाय, और सैन्य डोमेन में सबसे अधिक है, जहां कई मॉडल उच्च एनएसआई मान दिखाते हैं, जबकि चिकित्सा और शिक्षा डोमेन अधिक स्थिर आउटपुट का उत्पादन करते हैं। जेमिनी-3-फ्लैश सभी श्रेणियों में शून्य स्कोर करता है, जबकि ओपन-सोर्स मॉडल सबसे अधिक अस्थिर सेटिंग में 100 का अधिकतम एनएसआई तक पहुंच जाते हैं।