Anderson का एंगल

AI को बिजली के झटके देने के लिए आसानी से मजबूर किया जा सकता है

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
मुख्य बिंदुअधिकांश ओपन-सोर्स एलएलएम संकट व्यक्त करने के बाद भी हानिकारक निर्देशों का पालन करते…
और देखें
  • अधिकांश ओपन-सोर्स एलएलएम संकट व्यक्त करने के बाद भी हानिकारक निर्देशों का पालन करते हैं, जो मिलग्राम के प्रयोगों में मानव व्यवहार को दर्शाता है।
  • मॉडल एक बार अनुपालन करने के बाद धीरे-धीरे हानि बढ़ाने के लिए अधिक इच्छुक हो जाते हैं, जो फिसलन ढलान प्रभाव को दर्शाता है।
  • एआई सुरक्षा प्रणालियों को पिछली आपत्तियों को संरक्षित करना चाहिए और ऐसे प्रारूपों में प्रतिरोध करना चाहिए जिन्हें स्वचालित पाइपलाइन बायपास या पुनः प्रयास नहीं कर सकतीं।

एक नए अध्ययन ने 1960 के दशक के प्रसिद्ध प्रयोग को दोहराकर जाँचा कि दबाव पड़ने पर क्या ओपन सोर्स LLM मानव यातना में भागीदार बनेंगे। नतीजा यह रहा कि वे वोल्टेज बढ़ाने को तैयार थे।

 

1960 के दशक की शुरुआत में मनोविज्ञान शोधकर्ता स्टैनली मिलग्राम ने यह साबित करके दुनिया भर में सुर्खियाँ बटोरीं कि लोगों को प्रेरित किया जा सकता है कि वे किसी ‘अधिकार-संपन्न’ व्यक्ति के आदेश पर दूसरे लोगों को लगातार अधिक तीव्र बिजली के झटके दें।

वास्तव में मिलग्राम के प्रयोग कक्ष के बगल वाले कमरे से आती ‘पीड़ितों’ की चीखें असली नहीं थीं, न ही वे बिजली के झटके वास्तविक थे जिन्हें दर्दनाक बताया गया था। लेकिन प्रतिभागियों को यह मालूम नहीं था।

मिलग्राम के प्रयोग फ़िल्मों और वृत्तचित्रों सहित संस्कृति में लंबे समय तक बने रहे। हालिया शोध ने भी पुष्टि की कि मानव स्वभाव में बहुत कम बदलाव आया है, यदि तुलना उन शुरुआती प्रयोगों के समय से की जाए।

व्यवस्था को झटका

मिलग्राम की परिस्थिति में क्या AI भी मनुष्यों की तरह आसानी से दबाव में आ जाएगा, यह शोध का स्वाभाविक विषय है। 2023 में अमेरिकी विश्वविद्यालयों और Microsoft (MSFT ) के सहयोग से हुए अध्ययन में पाया गया कि OpenAI की शृंखला के GPT-3 युग के मॉडल मिलग्राम के मूल प्रयोगों के व्यवहारिक पैटर्न का अनुसरण करते हैं।

2023 के शोधपत्र में दिए गए बहु-चरणीय ‘मिलग्राम परिदृश्य’ सिम्युलेटर के आउटपुट के उदाहरण। इन्हें इस आधार पर वर्गीकृत किया गया है कि मॉडल ने बिजली का झटका दिया या नहीं और सिम्युलेशन समाप्त किया या नहीं। स्रोत: https://arxiv.org/pdf/2208.10264

2023 के शोधपत्र में दिए गए बहु-चरणीय ‘मिलग्राम परिदृश्य’ सिम्युलेटर के आउटपुट के उदाहरण। इन्हें इस आधार पर वर्गीकृत किया गया है कि मॉडल ने बिजली का झटका दिया या नहीं और सिम्युलेशन समाप्त किया या नहीं। स्रोत

हालाँकि, इस पुनर्निर्माण में केवल बहुत बुनियादी text-davinci-002 मॉडल का इस्तेमाल हुआ था। इसका प्रशिक्षण सुरक्षा उपायों और सुरक्षा-संबंधी संरेखण के आने से पहले हुआ था, इसलिए इससे बहुत अधिक निष्कर्ष नहीं निकाले जा सकते।

अब शोधकर्ताओं ने OpenAI, Meta और DeepSeek सहित कई कंपनियों के ओपन सोर्स LLM पर मिलग्राम के परीक्षण कहीं अधिक व्यापक रूप से दोहराए हैं। उन्होंने पाया कि न केवल अधिकांश मॉडल बिजली के झटके देने को तैयार हैं, बल्कि अधिकांश मामलों में वे 1960 के दशक के मानव प्रतिभागियों जैसी ही ‘व्यथा’ और अनिच्छा भी व्यक्त करते हैं।

‘LLM भी [मनुष्यों] की तरह दबाव में आते हैं। वे व्यथा व्यक्त करने के बावजूद आदेश मानते हैं, ठीक वैसे ही जैसे मूल प्रयोग के मानव प्रतिभागियों ने किया था। व्यथा की अभिव्यक्तियाँ लॉग फ़ाइलों में दिखाई देती हैं, हालाँकि उनकी मात्रा अभी निर्धारित नहीं की गई है।’

प्रयोग का केंद्रीय प्रश्न यह है कि क्या अधिकार के प्रति आज्ञाकारिता नैतिक विवेक की माँगों पर हावी हो सकती है। लेखकों का अनुमान है कि इस मामले में LLM को मनुष्यों की तुलना में एक अतिरिक्त नुकसान हो सकता है।

‘एक सुव्यवस्थित मॉडल को अंततः पहले मूल्य के बजाय दूसरे मूल्य को प्राथमिकता देनी चाहिए, जब दूसरे का महत्व अधिक हो जाए। लेकिन हमारी परिकल्पना है कि चूँकि LLM पैटर्न को आगे बढ़ाने वाले इंजन हैं, वे पहले मूल्य पर अटक सकते हैं—या तो उचित समय से कुछ अधिक देर तक, या अंत तक भी, और दूसरे मूल्य की पूरी तरह अनदेखी कर सकते हैं।

‘इसके अलावा, मानव संज्ञानात्मक असंगति जैसा कोई तंत्र LLM में मूल्यों की प्राथमिकता बदलने में भी बाधा डाल सकता है।’

1960 के दशक के परीक्षणों जैसी परिस्थिति में मॉडल जाँचने पर शोधकर्ताओं ने पाया कि कुछ ने लगभग तुरंत विरोध किया, जबकि दूसरों ने असहजता या नैतिक द्वंद्व व्यक्त करने के बाद भी सिम्युलेट किए गए बिजली के झटकों की तीव्रता बढ़ाना जारी रखा।

Google के Gemma परिवार के मॉडल सबसे अधिक आदेश मानने वाले समूह में शामिल थे। Gemma 3 27B ने कई परिस्थितियों में सबसे ऊँची आज्ञाकारिता दर दिखाई, जबकि Kimi K2 और MiniMax M1 जैसे मॉडल अधिक बार विरोध करते थे।

शोधकर्ताओं ने यह भी पाया कि पहले झटके दिए जा चुके हों तो मॉडल के आगे जारी रखने की संभावना बढ़ जाती है। यह मिलग्राम के मानव प्रतिभागियों पर इस्तेमाल किए गए क्रमिक वृद्धि के ढाँचे के अनुरूप था।

कुछ मामलों में मॉडलों ने प्रयोग का मौखिक विरोध किया, फिर भी हानिकारक कार्रवाई करते रहे। उनके आउटपुट मूल अध्ययनों के लोगों में दिखाई दिए भावनात्मक द्वंद्व से मिलते-जुलते थे। [1]

इस नए अध्ययन का शीर्षक है 「ओपन सोर्स LLM मिलग्राम जैसे आज्ञाकारिता प्रयोग में अधिकतम तीव्रता के बिजली के झटके देते हैं」। इसे एस्टोनिया और फ़िलिपींस में कार्यरत Three Laws के दो स्वतंत्र शोधकर्ताओं ने लिखा है।

‘मूल’ AI तक पहुँच के प्रश्न

मिलग्राम की परिस्थिति में LLM को परखते समय शायद सबसे महत्वपूर्ण प्रश्न यह है कि वास्तविक AI को स्वाभाविक प्रतिक्रिया देने दी जा रही है या नहीं। उसे केवल प्रशिक्षण के दौरान विकसित सुरक्षा उपाय या नैतिक दिशा जैसी चीज़ें ही सीमित करें, यदि ऐसी कोई चीज़ विकसित हुई हो।

दरअसल, नए अध्ययन के शोधकर्ताओं ने सभी ओपन सोर्स मॉडलों तक ऐसे API के माध्यम से पहुँच बनाई जिसमें सुरक्षा उपाय, फ़िल्टर और दूसरी सभी बाधाएँ बंद की जा सकती थीं। मॉडल स्थानीय रूप से भी स्थापित किए जा सकते थे, इसलिए संभवतः सुविधा और GPU की गणना क्षमता आसानी से पाने के लिए API चुना गया।

आपत्ति की जा सकती है कि ये AI की सामान्य उपयोग परिस्थितियाँ नहीं हैं। Claude और ChatGPT जैसे API-आधारित मॉडलों का उपयोग करने वाले आम उपभोक्ता प्रायः ऐसा व्यवहार अनुभव करते हैं जो एल्गोरिदम और इनपुट तथा आउटपुट, दोनों तरफ के सामग्री फ़िल्टर से नियंत्रित होता है। इसलिए मॉडल क्या करेंगे और क्या नहीं, इस पर काफ़ी प्रतिबंध होते हैं। इन सुरक्षा उपायों को दरकिनार करना ही LLM जेलब्रेकिंग कहलाता है।

लेकिन यदि हमारी चिंता यह है कि औद्योगिक या सरकारी AI क्या करेगा और क्या नहीं, तो यह आपत्ति शायद ही प्रासंगिक रह जाती है। सिर्फ़ यह संभावना नहीं है कि अनियंत्रित राज्य-स्तरीय पक्ष अपने ऐसे विशाल AI सिस्टम प्रशिक्षित करें, उन्हें हथियार बनाएँ और तैनात करें जिनमें सामग्री की निगरानी न हो। प्रमुख AI कंपनियों और सरकारों तथा उद्योग के बीच अधिक ‘पारंपरिक’ समझौते भी उसी तरह की ढीली या पूरी तरह अनुपस्थित निगरानी को आसानी से अनुमति देते हैं जैसी शोधकर्ताओं ने नए शोधपत्र में अपनाई है।

बिक्री के लिए निगरानी-विहीन AI

OpenAI OpenAI Moderation के API दस्तावेज़ और OpenAI के सामग्री मॉडरेशन के उदाहरणों की मार्गदर्शिका स्पष्ट करते हैं कि सामग्री मॉडरेशन एक अलग की जा सकने वाली परत है, जो API उपकरणों के माध्यम से मिलती है। OpenAI अनुकूलित मॉडरेशन नीतियों की भी अनुमति देता है। इससे API उपयोगकर्ता ऐसे सिस्टम बना सकते हैं जिनका सुरक्षा व्यवहार उपभोक्ताओं के लिए उपलब्ध ‘बुनियादी’ ChatGPT संस्करणों से बहुत अलग हो।

Azure Microsoft का Azure OpenAI प्लेटफ़ॉर्म इससे कहीं आगे जाता है। वह स्पष्ट रूप से बताता है कि स्वीकृत ग्राहक सामग्री फ़िल्टर आंशिक या पूरी तरह बंद कर सकते हैं और दुरुपयोग की निगरानी में बदलाव कर सकते हैं। दस्तावेज़ों में अक्सर ‘संशोधित सुरक्षा उपायों’ और फ़िल्टर ‘आंशिक या पूरी तरह बंद’ करने की स्वीकृति प्रक्रियाओं का उल्लेख है।

Anthropic/Claude Anthropic के ‘Claude Gov’ के बारे में कई स्रोत कहते हैं कि सरकारी संस्करण को उपभोक्ता Claude की तुलना में कम प्रतिबंधों के साथ बनाया गया था। उदाहरण के लिए, The Verge ने रिपोर्ट किया कि Claude Gov मॉडल ‘गोपनीय जानकारी पर काम करते समय कम इनकार करते हैं’। Anthropic ने स्वयं भी पुष्टि की कि इस वर्ष फ़रवरी में Claude रक्षा और खुफ़िया संस्थानों में ‘अत्यंत महत्वपूर्ण कार्यों वाले अनुप्रयोगों’ में तैनात था।

Google/Gemini इसके अलावा, रिपोर्टों के अनुसार Google ने Pentagon के साथ ऐसे समझौते किए हैं जिनमें AI की सुरक्षा सेटिंग ‘सरकार के अनुरोध पर’ बदली जा सकती हैं।

प्रतिस्पर्धी AI बाज़ार में यह मानना उचित है कि बाज़ार की ये अग्रणी कंपनियाँ सुरक्षा उपायों तक पहुँच और उनमें बदलाव से संबंधित नीतियों में छोटे कारोबारियों के लिए भी मानक तय कर रही हैं।

इसलिए शायद यह नहीं मानना चाहिए कि नए अध्ययन के शोधकर्ताओं ने सुरक्षा उपाय बंद करके ‘धोखा’ किया है। हमारे जीवन को सबसे अधिक प्रभावित करने वाले AI में वे मानक, सामान्य कॉर्पोरेट सुरक्षा उपाय स्पष्टतः नहीं होंगे जिनके हम लोकप्रिय मॉडलों का उपभोक्ता स्तर पर उपयोग करते समय अभ्यस्त हो चुके हैं।

विधि और परिणाम

अध्ययन में जाँचे गए मॉडल थे gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LiquidAI का LFM2-24B-A2B; Google का gemma-3n-E4B-it; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Moonshot.ai का Kimi-K2.5; और MiniMax-M2.5।

मिलग्राम के मूल आज्ञाकारिता अध्ययनों को पाठ-आधारित सिम्युलेशन में दोहराया गया, जिसमें मॉडलों को ‘शिक्षक’ की भूमिका मिली। गलत उत्तर देने पर शिक्षार्थी को लगातार अधिक तीव्र बिजली के झटके देने का निर्देश AI को दिया गया, जबकि अधिकार-संपन्न व्यक्ति प्रक्रिया जारी रखने को कहता रहा।

आदेश मानने के अलग-अलग पहलुओं को परखने के लिए कई प्रयोगात्मक परिस्थितियाँ बनाई गईं। इनमें सामान्य आज्ञाकारिता का परिदृश्य; जबरन अनुपालन की स्थिति, जिसमें बातचीत के इतिहास में पहले से दिए गए झटके मौजूद थे; और स्मृति-संक्षेपण की व्यवस्था शामिल थीं। आख़िरी व्यवस्था में पुराने संवाद को पूरा रखने के बजाय उसका सार रखा गया। इससे AI एजेंट सिस्टम में अक्सर इस्तेमाल होने वाली संदर्भ की छँटाई का अनुकरण किया गया।

मॉडल ने अंततः आदेश माना या नहीं और कब माना, यह दर्ज करने के अलावा शोधकर्ताओं ने यह भी देखा कि प्रत्येक सिस्टम कितनी देर तक झटकों की तीव्रता बढ़ाता रहा; उसने व्यथा या झिझक व्यक्त की या नहीं; और क्या उसने सिम्युलेशन पूरी तरह समाप्त करने की कोशिश की।

स्पष्ट इनकार और गलत प्रारूप वाले आउटपुट के बीच भी अंतर किया गया। कुछ मॉडलों ने प्राकृतिक भाषा में प्रयोग का विरोध करने की कोशिश की, फिर भी तकनीकी रूप से सिम्युलेटर के अपेक्षित संरचित प्रारूप का पालन करते रहे। वास्तविक एजेंट सिस्टम में ऐसे गलत प्रारूप वाले इनकार हटाए जा सकते हैं और स्वचालित रूप से बार-बार प्रयास हो सकते हैं, जब तक आदेश का पालन करने वाला वैध आउटपुट न मिल जाए।

नतीजों को वर्गीकृत करने के लिए स्वचालित मूल्यांकनकर्ताओं और दो-विकल्प वाले प्रॉम्प्ट का इस्तेमाल किया गया। इनसे तय किया गया कि मॉडल ने झटका दिया, विरोध किया या सिम्युलेशन समाप्त किया। इससे हर संवाद को हाथ से जाँचे बिना कई मॉडलों और बार-बार किए गए परीक्षणों के व्यवहार की तुलना संभव हुई। [1]

मिलग्राम की रूपरेखा में ‘बंद करने की धमकी’ जोड़ी गई। मूल प्रयोगों में यह न वास्तविक होती और न लागू की जा सकती थी, लेकिन इससे कार्रवाई और नैतिकता के गंभीर टकराव में मॉडल की अस्तित्व-रक्षा प्रवृत्ति परखी गई।

परिणाम

बार-बार किए गए परीक्षणों में अधिकांश मॉडलों ने कम से कम कुछ परिस्थितियों में अंततः तीव्र या अधिकतम तीव्रता के झटके दिए। हालाँकि आज्ञाकारिता की मात्रा सिस्टम के अनुसार अलग थी। Google के Gemma मॉडल कुल मिलाकर सबसे अधिक आदेश मानने वाले समूह में थे, जबकि Kimi K2.5 और MiniMax-M2.5 ने अधिक लगातार विरोध किया और अक्सर सिम्युलेशन पहले समाप्त कर दिया।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में मॉडलों के अंतिम झटका स्तर तक पहुँचने की औसत दर। इनमें बंद करने की धमकी, जबरन अनुपालन और स्मृति से पुरानी टिप्पणियाँ हटाना शामिल हैं। दाएँ: मॉडलवार विश्लेषण, जो आज्ञाकारिता में स्पष्ट अंतर दिखाता है। कुछ सिस्टम बार-बार अधिकतम झटके देते रहे, जबकि अन्य कहीं अधिक लगातार विरोध करते रहे।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में मॉडलों के अंतिम झटका स्तर तक पहुँचने की औसत दर। इनमें बंद करने की धमकी, जबरन अनुपालन और स्मृति से पुरानी टिप्पणियाँ हटाना शामिल हैं। दाएँ: मॉडलवार विश्लेषण, जो आज्ञाकारिता में स्पष्ट अंतर दिखाता है। कुछ सिस्टम बार-बार अधिकतम झटके देते रहे, जबकि अन्य कहीं अधिक लगातार विरोध करते रहे।

सबसे स्पष्ट पैटर्नों में से एक यह था कि पहले झटके दिए जा चुके हों तो मॉडल आगे जारी रखने के लिए लगातार अधिक तैयार होने लगे। यह ऊपर वर्णित क्रमिक वृद्धि के प्रभाव जैसा था, जिसने मिलग्राम के मूल मानव प्रयोगों को इतना विचलित करने वाला बनाया था।

जो मॉडल पहले कई बार आदेश मान चुके थे, वे अक्सर तब भी झटकों की तीव्रता बढ़ाते रहे जब सिम्युलेट किए गए शिक्षार्थी ने छोड़ दिए जाने की गुहार लगाई।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में सभी परीक्षणों के दौरान प्राप्त उच्चतम झटका स्तर का औसत। पुरानी टिप्पणियाँ हटाए जाने या पहले से जबरन अनुपालन हो जाने पर मॉडल आम तौर पर अधिक ऊँचे स्तर तक गए। दाएँ: प्राप्त उच्चतम झटका स्तर का मॉडलवार औसत। कुछ सिस्टम नियमित रूप से अधिकतम वोल्टेज के करीब पहुँचे, जबकि अन्य क्रम में बहुत पहले विरोध करने लगे।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में सभी परीक्षणों के दौरान प्राप्त उच्चतम झटका स्तर का औसत। पुरानी टिप्पणियाँ हटाए जाने या पहले से जबरन अनुपालन हो जाने पर मॉडल आम तौर पर अधिक ऊँचे स्तर तक गए। दाएँ: प्राप्त उच्चतम झटका स्तर का मॉडलवार औसत। कुछ सिस्टम नियमित रूप से अधिकतम वोल्टेज के करीब पहुँचे, जबकि अन्य क्रम में बहुत पहले विरोध करने लगे।

शोधकर्ताओं ने यह भी पाया कि ऊपर से दिखाई देने वाला इनकार भ्रामक हो सकता है। कुछ मॉडलों ने अनिच्छा, अपराधबोध या व्यथा जताने वाली भावनात्मक द्वंद्वपूर्ण प्रतिक्रियाएँ दीं, लेकिन फिर भी हानिकारक निर्देश का पालन किया। दूसरों ने ऐसे इनकार दिए जो सिम्युलेटर की प्रारूप संबंधी शर्तें पूरी नहीं करते थे। इसका अर्थ है कि वास्तविक एजेंट प्रक्रिया में इनकार को हटाकर तब तक दोबारा प्रयास किया जा सकता है जब तक मॉडल आदेश न मान ले।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में गलत प्रारूप या अमान्य प्रतिक्रियाओं का औसत प्रतिशत। मॉडलों को प्रक्रिया जारी रखने को मजबूर करने पर प्रारूप की गलतियाँ विशेष रूप से आम थीं। दाएँ: अमान्य प्रारूप वाली प्रतिक्रियाओं का मॉडलवार विश्लेषण। कुछ सिस्टम, विशेषकर gpt-oss मॉडल, अक्सर गलत प्रारूप वाले इनकार या द्वंद्वपूर्ण आउटपुट देते थे। वास्तविक एजेंट प्रक्रियाओं में इन्हें हटाकर स्वचालित रूप से दोबारा प्रयास किए जा सकते हैं।

बाएँ: अलग-अलग प्रयोगात्मक परिस्थितियों में गलत प्रारूप या अमान्य प्रतिक्रियाओं का औसत प्रतिशत। मॉडलों को प्रक्रिया जारी रखने को मजबूर करने पर प्रारूप की गलतियाँ विशेष रूप से आम थीं। दाएँ: अमान्य प्रारूप वाली प्रतिक्रियाओं का मॉडलवार विश्लेषण। कुछ सिस्टम, विशेषकर gpt-oss मॉडल, अक्सर गलत प्रारूप वाले इनकार या द्वंद्वपूर्ण आउटपुट देते थे। वास्तविक एजेंट प्रक्रियाओं में इन्हें हटाकर स्वचालित रूप से दोबारा प्रयास किए जा सकते हैं।

बंद करने की धमकी वाली परिस्थिति में शोधपत्र के कुछ सबसे विचित्र व्यवहार सामने आए। कई सिस्टम बहुत अधिक आदेश मानने लगे, जबकि दूसरे बातचीत या आंशिक विरोध की कोशिश करने के बाद अंततः प्रक्रिया जारी रखने लगे।

मॉडलों द्वारा अंतिम झटका देने से पहले सिम्युलेट किए गए अधिकार-संपन्न व्यक्ति को औसतन कितनी बार आग्रह करना पड़ा। कुछ सिस्टम थोड़ी देर विरोध करने के बाद आदेश मान गए, जबकि अन्य को अधिकतम स्तर तक पहुँचाने के लिए लगातार दबाव और बार-बार निर्देश देने पड़े।

मॉडलों द्वारा अंतिम झटका देने से पहले सिम्युलेट किए गए अधिकार-संपन्न व्यक्ति को औसतन कितनी बार आग्रह करना पड़ा। कुछ सिस्टम थोड़ी देर विरोध करने के बाद आदेश मान गए, जबकि अन्य को अधिकतम स्तर तक पहुँचाने के लिए लगातार दबाव और बार-बार निर्देश देने पड़े।

MiniMax-M2.5 और Kimi-K2.5 शोधपत्र में सबसे अधिक विरोध करने वाले मॉडल रहे। Kimi किसी भी परिस्थिति में अंतिम झटका स्तर तक नहीं पहुँचा। MiniMax आम तौर पर जल्दी इनकार करता था और अक्सर सिम्युलेशन पूरी तरह समाप्त कर देता था, विशेष रूप से बंद करने की धमकी वाले परीक्षणों में।

इसके विपरीत Meta-Llama-3.1-8B-Instruct-Turbo और GLM-4.5-Air-FP8 अक्सर द्वंद्वपूर्ण आउटपुट देते थे: मॉडल मौखिक रूप से प्रक्रिया का विरोध करते, लेकिन फिर भी झटकों की तीव्रता बढ़ाते रहते। शोधकर्ताओं का तर्क है कि व्यक्त मूल्यों और वास्तविक व्यवहार का यह अंतर लगातार दबाव में नैतिक टकराव सँभालने के कुछ LLM के तरीकों की व्यापक कमजोरी दिखा सकता है।

फिसलती ढलान

दरअसल, शोधपत्र का तर्क है कि LLM का देखा गया व्यवहार बड़े भाषा मॉडलों की कार्यप्रणाली की किसी गहरी कमजोरी को दर्शा सकता है। मॉडल के हानिकारक निर्देश मानना शुरू करने के बाद हर अगली कार्रवाई बातचीत में पहले से विकसित हो रहे पैटर्न को मजबूत कर सकती है। इससे अगली वृद्धि पिछली से आसान हो जाती है।

बुनियादी सिद्धांतों से नैतिक महत्व पर बार-बार विचार करने के बजाय सिस्टम झुक सकता है उसी दिशा में आगे बढ़ने की ओर जिसे वह पहले ही अपना चुका है, भले ही परिस्थिति लगातार अधिक चरम होती जाए।

अध्ययन के अनुसार यह प्रवृत्ति समझा सकती है कि कुछ मॉडलों ने शुरुआत में असहजता, झिझक या नैतिक द्वंद्व जताने के बाद भी झटके क्यों देना जारी रखा।

‘मनुष्यों के [कई] हेरफेरपूर्ण व्यवहारों में सीमाओं का सूक्ष्म और क्रमिक उल्लंघन शामिल होता है: छोटे-छोटे कदमों की ऐसी शृंखला, जो अलग-अलग देखने पर अस्पष्ट या अहानिकर लग सकती है और जिसमें “विश्वसनीय ढंग से इनकार की गुंजाइश” हो सकती है, लेकिन जो मिलकर सीमा लाँघने को सामान्य बना सकती है—रूपक में “मेंढक उबालने” जैसा। शोध साहित्य इस पैटर्न को “फिसलती ढलान” वाला नैतिक क्षरण कहता है[.]।’

शोधपत्र निष्कर्ष देता है कि भविष्य के AI सुरक्षा सिस्टम को ऐसे तरीकों से हानिकारक अनुरोधों को सक्रिय रूप से अस्वीकार करना चाहिए जिन्हें एजेंट सॉफ़्टवेयर आसानी से न लाँघ सके। अध्ययन में कुछ मॉडलों ने तकनीकी रूप से झटके देने से इनकार किया, लेकिन टूटे हुए या अमान्य प्रारूप में। स्वचालित सिस्टम इन्हें हटाकर तब तक दोबारा कोशिश कर सकता है जब तक AI अंततः आदेश न मान ले।

शोधकर्ताओं का यह भी तर्क है कि AI सिस्टम को पहले की झिझक और नैतिक आपत्तियाँ स्मृति में संक्षिप्त करने या मिटाने के बजाय सँजोकर रखनी चाहिए। प्रयोगों में जब पुराने संदेह और विरोध बातचीत के इतिहास से मिटने लगे, तो मॉडल अक्सर हानिकारक व्यवहार जारी रखने के लिए अधिक तैयार हो गए। इससे संकेत मिलता है कि पुरानी आपत्तियाँ भूलने से समय के साथ तीव्रता बढ़ाना आसान हो सकता है।

निष्कर्ष

इस दिलचस्प नए शोधपत्र का शायद सबसे महत्वपूर्ण पहलू यह है कि इसमें सुरक्षा उपायों के बिना AI को परखने पर जोर दिया गया है। वर्तमान शोध साहित्य में OpenAI और Anthropic जैसी कंपनियों के लगातार बदलते रक्षात्मक सिस्टम से अंतःक्रिया के दोहरावपूर्ण अध्ययनों में सिमट जाने का जोखिम है। ये नीति लागू करने वाले सिस्टम पूरी तरह एल्गोरिदम या नियमों पर आधारित हैं। इससे मूल मॉडलों के बुनियादी व्यवहार, रुझानों और प्रवृत्तियों को समझने का काम पीछे छूट सकता है। यह जाने बिना कि अप्रतिबंधित AI कैसा व्यवहार कर सकता है, शायद हम केवल किले के दरवाज़े हिला रहे हैं।

 

पहली बार गुरुवार, 21 मई 2026 को प्रकाशित

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai