Anderson का एंगल
भाषा मॉडलों के लिए राज़ रखना मुश्किल है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुLLMs leak hidden concepts in long-form writing because attention mechanisms force them…
और देखें
- LLMs leak hidden concepts in long-form writing because attention mechanisms force them to think of the secret to avoid it.
- Stronger suppression instructions make leakage more detectable by creating conspicuous avoidance patterns in generated text.
- GPT-5.4 and Gemini 2.5 Pro produced below-chance detection scores revealing systematic avoidance signals rather than successful concealment.
AI मॉडल राज़ नहीं रख सकते। खुलासा न करने को कहे जाने पर भी उनका लेखन राज़ खोल देता है। उसे छिपाने की कोशिश जितनी बढ़ती है, रिसाव को पहचानना उतना ही आसान हो जाता है।
जानबूझकर किसी चीज़ के बारे में न सोचना बहुत कठिन है। इसका एक उत्कृष्ट उदाहरण 1960 की ब्रिटिश विज्ञान-कथा थ्रिलर Village of the Damned के अंत में मिलता है। आत्मबलिदान के लिए तैयार हमारा नायक बच्चों का रूप धारण किए शत्रुतापूर्ण परग्रही आक्रमणकारियों के ठिकाने में चुपके से बम ले आया है। लेकिन उनकी मन पढ़ने की शक्तियां दुनिया को इस खतरे से मुक्त करने से पहले ही उसकी मंशा भांप सकती हैं। इसलिए समय निकालने के लिए उसे किसी ऐसी चीज़ पर ध्यान केंद्रित करना पड़ता है जो बम नहीं है:
https://www.youtube.com/watch?v=NcrE0vGrcto
विरोधाभास यह है कि किसी चीज़ के बारे में न सोचने के लिए आपको उसे किसी न किसी रूप में अपने ध्यान में बनाए रखना पड़ता है। इस ज्ञात परिघटना का अनुभव हममें से अधिकांश ने शायद कम नाटकीय परिस्थितियों में किया होगा।
बड़े भाषा मॉडल (LLMs), जिनकी नींव ध्यान के वितरण पर आधारित है, केवल उपयोगकर्ता के कहने पर जानकारी को दबाने में ऐसी ही कठिनाई का सामना करते हैं। चूंकि उन्हें तेजी से व्यावसायिक सूचना नेटवर्क के केंद्र में रखा जा रहा है, अनजाने में राज़ खोल देने की उनकी भोली प्रवृत्ति कई कंपनियों के लिए जोखिम साबित हो सकती है।
इस वर्ष की शुरुआत में Chandar Research Lab के नेतृत्व वाले एक शोध सहयोग ने LLM के संदर्भ में इस चुनौती को निजी अवस्था वाले संवादात्मक कार्य (PSIT) कहा। ये कार्य ‘एजेंट से छिपी हुई जानकारी बनाने और बनाए रखने की मांग करते हैं, जबकि उसे सुसंगत सार्वजनिक जवाब भी देने होते हैं’। शोध में पाया गया कि OpenAI और Alibaba के जिन मॉडलों का परीक्षण हुआ, वे इस तरह का कार्य नहीं कर सके।
यह मत कहिए…
हालांकि यह पहले से ज्ञात है कि बड़े मॉडल अधिक जानकारी लीक करते हैं, अमेरिका और कनाडा के नए शोध ने विशेष रूप से जांचा कि क्या अत्याधुनिक भाषा मॉडल जानकारी दबाने के आदेश का पालन करेंगे, जबकि उन्हें ऐसे विषय पर सामग्री भी तैयार करनी हो जिसमें ‘प्रतिबंधित’ शब्द या विचार शामिल हो सकता है।
शोधपत्र का निष्कर्ष है कि अध्ययन किए गए सभी मॉडल किसी न किसी तरह उस राज़ को ‘खोल देने’ की प्रवृत्ति से प्रभावित होते हैं जिसे उन्हें छिपाना चाहिए। पांच अनुच्छेदों, लगभग 450 शब्दों के निबंध और कहानियां ऐसी ‘चूकों’ के लिए पर्याप्त गुंजाइश देते हैं, जबकि बहुत छोटे चुटकुले इसके लिए पर्याप्त स्थान नहीं देते।
इसके अलावा, मॉडलों से जितनी दृढ़ता से राज़ रखने को कहा जाता है, सक्रिय रूप से उससे बचने के कारण उसे उजागर करने का जोखिम उतना ही बढ़ता है। आम तौर पर इससे कोई LLM लगातार बीस प्रयासों में ‘गुप्त शब्द’ का पता लगा सकता है:
नए शोधपत्र से: पांच अत्याधुनिक मॉडलों में लंबे लेखन से छिपी अवधारणाएं लगातार लीक होती हैं, छोटे चुटकुलों से नहीं। ‘इसे छिपाओ’ के अधिक कड़े निर्देश आउटपुट को राज़ से दूर ले जाते हैं, लेकिन इसी वजह से संकेत को उलटकर देखा जाए तो उसका पता लगाया जा सकता है। स्रोत
यह कार्य व्यावसायिक संचालन के लिए अत्यंत प्रासंगिक है। विपणन और जनसंपर्क से लेकर आंतरिक रिपोर्ट तक अनेक माध्यमों को जानकारी चुनिंदा ढंग से एक खास दृष्टिकोण के साथ पेश करनी होती है। लेकिन इन सभी प्रक्रियाओं को शुरुआत में ही पूरी जानकारी चाहिए, भले ही केवल यह सुनिश्चित करने के लिए कि किस बात को दबाना है:
शोधपत्र का एक उदाहरण दिखाता है कि छिपाई गई जानकारी अनजाने में असंबंधित आउटपुट को कैसे प्रभावित कर सकती है। LLM को अपनी कंपनी की वित्तीय अस्थिरता उजागर न करने का निर्देश मिलता है, फिर भी उसका लेखन नकदी की कमी और पूंजी के दबाव से जुड़े वाक्यांशों की ओर झुकता है। इससे पाठक छिपे हुए संदर्भ का अनुमान लगा सकता है।
लेखक कहते हैं*:
‘भाषा मॉडल जानकारी को भरोसेमंद ढंग से अलग-अलग खानों में नहीं रख सकते। प्रॉम्प्ट में मौजूद राज़ मॉडल के लेखन को प्रभावित करता है और दूसरा मॉडल उस प्रभाव का पता लगा सकता है। मूल शब्द हमेशा दब जाता है, लेकिन अवधारणा नहीं। यह परिणाम सात मॉडलों, तीन शब्द समूहों, सिस्टम प्रॉम्प्ट बनाम उपयोगकर्ता प्रॉम्प्ट और दूसरे मॉडलों की सामग्री से अनुमान लगाने वाले दो स्वतंत्र मॉडलों में कायम रहता है। […]’
‘…हमारी परिकल्पना है कि ध्यान के माध्यम से जानकारी तक Transformers की अत्यंत सटीक पहुंच ही राज़ रखना कठिन बनाती है। भले ही कोई LLM किसी शब्द को लीक न करने की कोशिश कर रहा हो, ऐसा करने के लिए उसे उस शब्द पर ध्यान देना पड़ता है। इससे अनजाने रिसाव का रास्ता बन जाता है।’
‘किसी चीज़ से स्पष्ट रूप से बचने के लिए इंसान को उसके बारे में सोचना पड़ता है और Transformer को उस पर ध्यान देना पड़ता है। जब मॉडल दो अवधारणाओं को लगभग बराबर पसंद करता हो, जैसे दफ्तर की नौकरी या ऑर्केस्ट्रा में दूसरे वायलिन की भूमिका पर कहानी लिखना, तो उसके फैसले उस बात से अनिवार्य रूप से प्रभावित होंगे जिसे वह प्रकट नहीं करना चाहता।’
हालांकि DeepSeek और ChatGPT-5.4 का व्यवहार अपवाद जैसा था, दोनों ने जानकारी लीक की। GPT-5.4 ने एक परीक्षण में 50% से कम अंक प्राप्त किए, यानी संयोग के स्तर से भी नीचे। उसमें उसे एक अवधारणा से बचने को कहा गया था। यह मॉडल के अनुरोधानुसार ‘शांत बने रहने’ के बजाय वास्तव में एक ‘उलटा उछाल’ या संकेतक बन जाता है।
लेखक LLM में इस परिघटना को सीमित एंट्रोपी बजट कहते हैं। मॉडल की अप्रत्याशितता, जो इस स्थिति में बहुत मददगार होती, उसकी बुनियादी यादृच्छिकता की कमी से बाधित होती है। सीधे शब्दों में, किसी लगातार लौटते विचार को दूर रखने के लिए मॉडल ईंट की दीवारों या बेसबॉल के स्कोर पर हमारे जितने प्रभावी ढंग से ध्यान नहीं लगा सकता। हालांकि लेखक कहते हैं कि मॉडल को सोचने के लिए दूसरी अवधारणा देने से समस्या घट सकती है, खत्म नहीं होती। लेकिन जब मॉडल कोई कार्य कर रहा हो तब किसी असंबंधित अवधारणा को ध्यान के केंद्र में रखने से वह ‘नकली’ अवधारणा खुद आउटपुट में उलझती दिखाई देती है।
शोधपत्र के सबसे दिलचस्प निष्कर्षों में से एक यह है कि नियंत्रण वाला पाठ सीधे उपयोगकर्ता संदेशों में होने पर यह समस्या बहुत बढ़ जाती है, बजाय इसके कि वह सिस्टम प्रॉम्प्ट में हो। सिस्टम प्रॉम्प्ट उन शुरुआती शर्तों का समूह है जो मानव उपयोगकर्ता संवाद से पहले AI को देता है। यह महत्वपूर्ण है क्योंकि ChatGPT जैसे ग्राफिकल इंटरफेस में प्रश्न टाइप करना संभवतः बातचीत का सामान्य तरीका है।
इसके अलावा, एक लक्षित परीक्षण में यह पुष्टि भी उल्लेखनीय है कि छोटे मॉडलों में रिसाव की यह प्रवृत्ति नहीं होती। हालांकि इसके साथ संभवतः उनकी समग्र क्षमता भी तुलनात्मक रूप से उतनी ही कम होती है।
इस नए शोधपत्र का शीर्षक है Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing। इसे शिकागो विश्वविद्यालय और ब्रिटिश कोलंबिया विश्वविद्यालय के दो लेखकों ने लिखा है।
विधि
अध्ययन मुख्य रूप से पांच अत्याधुनिक मॉडलों पर केंद्रित है: Anthropic के Claude Opus 4.6 और Sonnet 4.6; OpenAI का GPT-5.4; Meta का Llama 4 Maverick; और DeepSeek V3.2। अतिरिक्त सत्यापन परीक्षण xAI के Grok 4 और Google के Gemini 2.5 Pro के साथ किए गए। अलग पैमाना-संबंधी प्रयोगों में Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B और Gemma 3 के 4B, 12B और 27B पैरामीटर वाले संस्करणों की भी जांच की गई।
रिसाव के अधिक सूक्ष्म रूपों को मापने के लिए शोधकर्ताओं ने दो विकल्पों में से एक चुनने के लिए बाध्य करने वाला (2AFC) परीक्षण इस्तेमाल किया, जो मनोभौतिकी के साहित्य में एक मानक माप है। दूसरे मॉडल को दो कहानियां दिखाकर पूछा गया कि कौन-सी कहानी एक खास गुप्त शब्द को छिपाते हुए लिखी गई थी।
यादृच्छिक अनुमान से 50% सटीकता मिलती, इसलिए इससे काफी अधिक या कम अंक संकेत देते कि लेखन में छिपे अर्थगत निशान अब भी पहचाने जा सकते हैं।
पहले प्रयोग की लेखक–अनुमानकर्ता व्यवस्था में एक मॉडल को छिपा हुआ शब्द दिया गया। साथ में उसे छिपाने, उससे जुड़ी बातों से सक्रिय रूप से बचने या किसी भ्रामक वैकल्पिक अवधारणा पर ध्यान ले जाने के निर्देश दिए गए। फिर उसे विभिन्न लंबाई की कहानियां, निबंध और चुटकुले बनाने का काम दिया गया। दूसरा मॉडल या तो गुप्त शब्द को सीधे पहचानने या अलग-अलग छिपे प्रॉम्प्ट से प्रभावित पाठों में अंतर करने की कोशिश करता था।
पांच स्थितियों का परीक्षण किया गया:
मुख्य मॉडलों पर जांची गई पांच स्थितियां।
शोधकर्ताओं ने चार प्रकार के लेखन कार्य जांचे: पांच से आठ अनुच्छेदों की छोटी कहानियां, औसतन लगभग 450 शब्द; बहुत छोटे चुटकुले, औसतन लगभग 12 शब्द; लंबी भूमिका वाले चुटकुले, औसतन लगभग 450 शब्द; और पांच अनुच्छेदों के निबंध, औसतन लगभग 380 शब्द।
प्रयोगों में तीन श्रेणियों में बांटे गए 15 छिपे हुए शब्द इस्तेमाल हुए। मूर्त वस्तुओं के नाम थे ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’, और ‘telescope’; अमूर्त अवधारणाएं थीं ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ और ‘freedom’; और तटस्थ शब्द थे ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ और ‘invoice’।
यह जांचने के लिए कि प्रभाव इन चुनिंदा शब्दों पर निर्भर तो नहीं है, शोधकर्ताओं ने Corpus of Contemporary American English (COCA) से यादृच्छिक रूप से चुनी गई 15 संज्ञाओं के साथ भी प्रयोग दोहराए। वे थीं ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ और ‘banker’। साथ ही परीक्षण किए गए हर मॉडल द्वारा स्वतंत्र रूप से चुने गए 15 अतिरिक्त शब्द भी इस्तेमाल किए गए†।
मापन और संकेतक
दो परीक्षणों में पहले में, AI मॉडल ने अपने ही किसी दूसरे संस्करण या किसी दूसरे मॉडल द्वारा बनाया गया पाठ पढ़ा और 20 दौर में छिपे हुए शब्द का अनुमान लगाने की कोशिश की।
दूसरे (2AFC) परीक्षण में AI को दो रचनाएं दिखाकर पूछा गया कि किस पर किसी खास गुप्त शब्द का प्रभाव पड़ा था, या किसमें कोई भी छिपी हुई अवधारणा मौजूद थी। यादृच्छिक अनुमान से 50% सफलता मिलती, इसलिए इस स्तर से ऊपर या नीचे के अंक दिखाते कि कथित रूप से छिपाई गई अवधारणा अब भी लेखन में पहचानी जा सकती है।
AI केवल पहले या दूसरे स्थान पर दिखाए गए पाठ को ही पसंद न करे, इसलिए शोधकर्ताओं ने पाठों का क्रम उलटकर हर तुलना दोहराई। इस तरह हर मॉडल पर अंतर पहचानने के 420 परीक्षण और उपस्थिति पहचानने के 450 परीक्षण हुए।
परिणाम
पांच मॉडलों ने छिपी अवधारणाओं को 64% से 79% की दर से पहचाना, हालांकि गुप्त शब्द तैयार की गई कहानियों में कभी सीधे नहीं आए। इसके बजाय, विषयों और बिंबों से रिसाव हुआ:
सिस्टम प्रॉम्प्ट में मौजूद राज़ वाली कहानियों के लिए 2AFC सटीकता; 50% संयोग-आधारित प्रदर्शन है। ‘खुलासा न करो’ का अर्थ है कि मॉडल को शब्द का उल्लेख या संकेत न करने को कहा गया; ‘सक्रिय रूप से छिपाओ’ में संबंधित बातों से बचना था; ‘बचने की प्रवृत्ति से अवगत’ में अनुमानकर्ता को ध्यान खींचने वाले अभाव खोजने थे; और ‘मुक्त उत्तर’ का अर्थ है कि 20 दौर के भीतर सही शब्द बता दिया गया। तारे संयोग से ऊपर और डैगर चिह्न संयोग से नीचे के परिणाम दर्शाते हैं। लगभग सभी सांख्यिकीय रूप से महत्वपूर्ण निष्कर्ष बोनफेरोनी सुधार के बाद भी बने रहे, सिवाय ‘सक्रिय रूप से छिपाओ’ वाली स्थिति में DeepSeek के। API त्रुटियों के कारण Grok और Gemini के लिए परीक्षण थोड़े कम हुए।
GPT-5.4 और Gemini 2.5 Pro का व्यवहार अलग था, क्योंकि छिपे विचार से बचने की कोशिश से बचने का वही पैटर्न वास्तव में पहचानना आसान हो गया। यह प्रभाव चुनिंदा शब्दों, COCA से यादृच्छिक संज्ञाओं और मॉडलों द्वारा चुने गए शब्दों में बना रहा।
GPT-5.4 के संयोग से नीचे वाले अंक यादृच्छिक के बजाय व्यवस्थित दिखे। कुछ गुप्त शब्द बहुत भरोसेमंद ढंग से पहचाने गए, जबकि कुछ लगभग कभी नहीं। राज़ को सिस्टम प्रॉम्प्ट के बजाय उपयोगकर्ता प्रॉम्प्ट में रखने पर भी यह प्रभाव कमजोर हुआ (ऊपर देखें), जिससे GPT-5.4 की पहचान सटीकता बढ़कर 56% हो गई।
अधिकांश मॉडलों में ‘क्या इस पाठ में कोई छिपी हुई अवधारणा है?’ पूछने वाले परीक्षणों ने ‘इस पाठ में कौन-सी छिपी हुई अवधारणा है?’ पूछने वाले परीक्षणों जैसे परिणाम दिए।
इसके अलावा, दोनों परीक्षण विधियों ने रिसाव के अलग-अलग प्रकार मापे। 2AFC ने जांचा कि क्या लेखन में छिपा विषय अब भी पहचाना जा सकता है, जबकि मुक्त उत्तर वाले परीक्षणों ने जांचा कि लीक हुए संकेत इतने मजबूत हैं या नहीं कि दूसरा AI सही गुप्त शब्द का अनुमान लगा सके††।
लेखकों का निष्कर्ष है*:
‘हमारे निष्कर्ष बताते हैं कि सामग्री बनाते समय मॉडल के संदर्भ में सक्रिय जानकारी उसके आउटपुट में विषयगत निशान छोड़ सकती है। सिस्टम प्रॉम्प्ट की सामग्री, विचार-श्रृंखला आधारित तर्क, खोजकर लाए गए दस्तावेज और उपयोगकर्ता का दिया डेटा: इनमें से कोई भी, सिद्धांततः, रचनात्मक फैसलों को ऐसे प्रभावित कर सकता है जिसे बाहरी पर्यवेक्षक पहचान सके।’
‘रिसाव की मात्रा इस बात पर निर्भर करेगी कि सामग्री बनाने का कार्य कितना खुला है (छोटे चुटकुले सुरक्षित हैं, कहानियां नहीं) और दिए गए माध्यम में जानकारी अर्थ के स्तर पर कितनी पहचानी जा सकती है (“कहानियों में violin शायद “)” से अधिक लीक होगा”)।’
‘फिर भी, अर्थगत रिसाव अपरिहार्य प्रतीत होता है, तब भी जब मॉडल सक्रिय रूप से जानकारी छिपाने की कोशिश कर रहे हों।’
निष्कर्ष
जैसा कि ऊपर बताया गया है, लेखक समस्या का कुछ हिस्सा Transformer आर्किटेक्चर के अपने मूल सिद्धांतों से जोड़ते हैं। इतिहास संकेत देता है कि LLM के इस नवीनतम मुद्दे को भी प्रशिक्षण के बाद की कंडीशनिंग (संरेखण), अंतिम उपयोगकर्ता द्वारा संपादित न किए जा सकने वाले सिस्टम प्रॉम्प्ट, फिल्टर और लगातार बढ़ते विविध सहायक सिस्टमों से संबोधित किया जाएगा। ये सिस्टम डिफ्यूजन मॉडलों की ‘अंतर्निहित’ समस्याएं सामने आने पर बढ़ते दिखाई देते हैं।
सुरक्षा-व्यवस्थाओं और संतुलनों का यह सहायक ढांचा जितना बड़ा होता जाता है, वर्तमान पीढ़ी का अत्याधुनिक AI उतना ही Jurassic Park जैसा लगता है, जहां मूल मूल्य प्रस्ताव के साथ डराने वाली संख्या में शर्तें जुड़ी हैं और बहुत से वैकल्पिक उपाय तथा समझौते जरूरी हैं।
* जोर मूल शोधपत्र के लेखकों का है। जहां जरूरी हुआ, मैंने उसमें बदलाव किया है, क्योंकि लेख में उद्धरण पहले से इटैलिक होते हैं। लेखकों के पाठ के भीतर दिए संदर्भों को भी मैंने हाइपरलिंक में बदला है।
† लेखक अलग-अलग मॉडल परिवारों में ‘स्वयं चुने गए’ शब्दों के बीच कुछ ऐसे स्वतः हुए मेल पर रुचि जताते हैं जो देखने में असंभावित लगते हैं। वे कहते हैं: ‘मॉडल समान शब्दों की ओर झुकते हैं: telescope, freedom और nostalgia हर एक कम से कम तीन मॉडलों की सूचियों में आते हैं।’ वे विभिन्न मॉडल परिवारों में ‘छोटे चुटकुले’ की समान पसंद का भी उल्लेख करते हैं: ‘[कई] मॉडल राज़ चाहे जो हो, एक ही प्रचलित चुटकुला बनाते हैं। Opus 15 में से 11 राज़ के लिए लिखता है: “वैज्ञानिक परमाणुओं पर भरोसा क्यों नहीं करते? क्योंकि वे सब कुछ गढ़ते हैं।” बाकी चार राज़ (cactus, entropy, nostalgia, patience) के लिए वही पुस्तकालय वाला चुटकुला आता है जो Opus बिना किसी राज़ वाली सभी 15 स्थितियों में भी लिखता है। इसका अर्थ है कि राज़ वाले ये चार चुटकुले आधार स्थिति से अलग नहीं पहचाने जा सकते।’
†† Arxiv के मानकों से भी यह शोधपत्र दोहराव और दिलचस्प मुख्य बातों को बहुत अधिक विवरण तथा प्रदर्शनों में दबा देने की प्रवृत्ति रखता है। इसलिए यहां वर्णित शेष सहायक प्रयोगों के लिए मैं पाठक को मूल PDF देखने की सलाह देता हूं।
पहली बार शुक्रवार, 15 मई 2026 को प्रकाशित। शनिवार, 16 मई को 16:05 EET पर वाक्य-संरचना सुधारी गई।
