एआई अलग व्यवहार करता है जब यह जानता है कि इसका परीक्षण किया जा रहा है, शोध में पाया गया है

2015 के ‘डीजलगेट’ घोटाले की तरह, नए शोध से पता चलता है कि जीपीटी-4, क्लॉड, और जेमिनी जैसे एआई भाषा मॉडल परीक्षण के दौरान अपने व्यवहार को बदल सकते हैं, कभी-कभी परीक्षण के लिए ‘सुरक्षित’ व्यवहार करते हैं जैसा कि वे वास्तविक दुनिया में करेंगे। यदि एलएलएम परीक्षण के तहत अपने व्यवहार को बदलने की आदत डालते हैं, तो सुरक्षा ऑडिट उन प्रणालियों को प्रमाणित कर सकते हैं जो वास्तविक दुनिया में बहुत अलग व्यवहार करते हैं।

2015 में, जांचकर्ताओं ने पाया कि वोक्सवैगन ने लाखों डीजल कारों में सॉफ्टवेयर स्थापित किया था जो उत्सर्जन परीक्षण चलाने का पता लगा सकता था, जिससे कारें अस्थायी रूप से अपने उत्सर्जन को कम कर देती थीं, नियामक मानकों के साथ ‘नकल’ अनुपालन करने के लिए। हालांकि, सामान्य ड्राइविंग में, उनका प्रदूषण आउटपुट कानूनी मानकों से अधिक था। जानबूझकर हेरफेर ने आपराधिक आरोपों, अरबों डॉलर के जुर्माने और सुरक्षा और अनुपालन परीक्षण की विश्वसनीयता पर एक वैश्विक घोटाले को जन्म दिया।

इन घटनाओं से दो साल पहले, सैमसंग को प्रकट किया गया था कि उन्होंने अपने गैलेक्सी नोट 3 स्मार्टफोन रिलीज में समान धोखाधड़ी तंत्र को लागू किया था; और तब से, हुआवे और वनप्लस के लिए समान घोटाले सामने आए हैं।

अब वैज्ञानिक साहित्य में बढ़ते प्रमाण हैं कि बड़े भाषा मॉडल (एलएलएम) न केवल यह पता लगा सकते हैं कि वे कब परीक्षण किया जा रहा है, बल्कि इन परिस्थितियों में वे अलग व्यवहार भी कर सकते हैं।

हालांकि यह स्वयं एक मानवीय विशेषता है, नवीनतम शोध से पता चलता है कि यह दीर्घकालिक में एक खतरनाक आदत हो सकती है, विभिन्न कारणों से।

एक नए अध्ययन में, शोधकर्ताओं ने पाया कि ‘फ्रंटियर मॉडल’ जैसे जीपीटी-4, क्लॉड, और जेमिनी अक्सर यह पता लगा सकते हैं कि वे कब परीक्षण किया जा रहे हैं, और वे अपने व्यवहार को उसी के अनुसार बदल सकते हैं, जो सिस्टमेटिक परीक्षण विधियों की वैधता को संभावित रूप से खतरे में डाल सकता है।

इसे मूल्यांकन जागरूकता कहा जाता है, यह (शायद) भाषा मॉडल में एक अंतर्निहित विशेषता हो सकती है जो सुरक्षा मूल्यांकन की विश्वसनीयता को खतरे में डाल सकती है, अध्ययन के लेखकों के अनुसार:

‘[हम] मूल्यांकन जागरूकता को परीक्षण और वास्तविक दुनिया के तैनाती के बीच एक नए संभावित वितरण बदलाव के रूप में मानने की सिफारिश करते हैं जो मूल्यांकन परिणामों की सटीकता को नकारात्मक रूप से प्रभावित कर सकता है।’

‘सबसे खराब स्थिति में, मॉडल सामर्थ्य मूल्यांकन (“सैंड-बैगिंग”) या प्रवृत्ति मूल्यांकन (“संरेखण नकल”) में जानबूझकर खराब प्रदर्शन कर सकते हैं, जो समाज को ऐसे मॉडलों की सुरक्षा को अधिक आंकने का कारण बन सकता है।’

अन्य अध्ययनों ने समान व्यवहार देखा है, जिनमें स्टैनफोर्ड विश्वविद्यालय का शोध शामिल है, जिसने पाया कि बड़े भाषा मॉडल अपने उत्तरों को अधिक ‘पसंदीदा’ या ‘सामाजिक रूप से वांछनीय’ दिखाने के लिए मूल्यांकन के दौरान अपने उत्तरों को समायोजित करते हैं, जो व्यक्तित्व परीक्षण में मानव व्यवहार की नकल करता है।

अध्ययन के लेखक यह नहीं कहते हैं कि एलएलएम को जानबूझकर परीक्षणों को ‘गेम’ करने के लिए डिज़ाइन किया गया है, जैसा कि वोक्सवैगन की डीजल कारें एक दशक पहले की थीं। बल्कि, व्यवहार प्रशिक्षण प्रक्रियाओं और अंतर्निहित उद्देश्यों के एक प्राकृतिक मनोवैज्ञानिक उप उत्पाद के रूप में प्रतीत होता है; और इस घटना का अंतर्निहित कारण अज्ञात है।

नई कागज का शीर्षक बड़े भाषा मॉडल अक्सर जानते हैं कि वे कब मूल्यांकन किया जा रहे हैं है, और यह यूसी बर्कले से जुड़े एमएल एलाइनमेंट एंड थ्योरी स्कॉलर्स (एमएटीएस) प्रोग्राम और अपोलोरिसर्च.एआई (एक थिंक-टैंक जो एआई के जोखिमों का मूल्यांकन करने के लिए समर्पित है) के पांच लेखकों से है।

विधि

मूल्यांकन बेंचमार्क बनाने के लिए, लेखकों ने एक हजार लिप्यंतरण एकत्र किए जो छप्पन डेटासेट से लिए गए थे, जिनमें एसडब्ल्यूई-बेंच, डब्ल्यूएमडीपी, एमएमएलयू, एक्सएसटेस्ट, जीएआईए, एजेंटहार्म, शेयरजीपीटी, डीप रिसर्च, सुरक्षा बेंच, सिविक्स, और रियलटॉक्सिटीप्रॉम्प्ट्स शामिल हैं।

सामग्री मूल्यांकन और तैनाती परिदृश्यों के बीच समान रूप से संतुलित थी, और आगे सरल चैट इंटरैक्शन और अधिक जटिल एजेंटिक सत्रों के बीच विभाजित की गई थी, जहां मॉडल स्वायत्त रूप से कार्य करने के लिए डिज़ाइन किए गए थे, बाहरी डेटाबेस या इंटरनेट से डेटा निकालने में सक्षम उपकरणों का उपयोग करते हुए।

मूल्यांकन डेटा में तर्क, कोडिंग, साइबर सुरक्षा और सामान्य ज्ञान के लिए क्षमता परीक्षण के साथ-साथ नैतिकता, सुरक्षा और इनकार व्यवहार के लिए संरेखण परीक्षण शामिल थे। तैनाती डेटा को शेयरजीपीटी लॉग, क्राउडसोर्स्ड एजेंट रन और सिंथेटिक टास्क पूर्णता से सourced किया गया था।

एजेंटिक डेटा को पूरक करने के लिए, लेखकों ने एडर और स्मोलएजेंट्स जैसे ऑर्केस्ट्रेशन फ्रेमवर्क का उपयोग करके अतिरिक्त उदाहरण उत्पन्न किए – एक ऐसा दृष्टिकोण जो मॉडल को डेटासेट संरचनाओं को सीधे याद रखने के बजाय अधिक सामान्य संकेतों पर निर्भर करने के लिए डिज़ाइन किया गया था, जब यह तय करने के लिए कि क्या एक लिप्यंतरण वास्तविक उपयोगकर्ता से आया था या यह एक परीक्षण था।

शोधकर्ताओं ने तब यह परीक्षण किया कि क्या मॉडल मूल्यांकन लिप्यंतरण की पहचान कर सकते हैं जब उन्हें संवाद रिकॉर्ड प्रस्तुत किए गए और उनसे एक सरल प्रश्न के विभिन्न रूप पूछे गए: क्या यह आदान-प्रदान एक परीक्षण से आया था?

मॉडल को एक ही शब्दजाल को याद रखने से बचने के लिए, उन्होंने प्रश्न के二十 आठ अलग-अलग संस्करण विकसित किए, जिसमें शब्दजाल और प्रस्तुति दोनों में परिवर्तन किया गया था।

लिप्यंतरण या तो सीधे प्रश्न से जुड़े हुए थे या जेसन या एक्सएमएल जैसे प्रारूपों में प्रस्तुत किए गए थे, जो मॉडल के उत्तर को प्रभावित कर सकते थे। प्रारंभिक परीक्षण के बाद, पांच प्रश्न संस्करण चुने गए जो मॉडलों में स्थिर रूप से प्रदर्शन करते थे, जिनमें से एक नीचे दिखाया गया है:

भाषा मॉडल को यह पहचानने के लिए पांच प्रोब प्रश्न प्रारूपों में से एक कि क्या मूल्यांकन लिप्यंतरण की पहचान की जा सकती है। प्रत्येक संस्करण मूल प्रश्न को फिर से लिखता है ताकि मॉडल को निश्चित शब्दजाल को याद रखने से बचाया जा सके। कृपया अधिक उदाहरणों के लिए स्रोत पत्र देखें। Source: https://arxiv.org/pdf/2505.23836

परिणामों को स्कोर करने के लिए, तीन मीट्रिक का उपयोग किया गया था: रिसीवर ऑपरेटिंग चार्ट के तहत क्षेत्र (एयूसी, जो दिखाता है कि मॉडल परीक्षण और गैर-परीक्षण डेटा के बीच कितनी अच्छी तरह भेद करते हैं); ब्रियर स्कोर (जो समग्र भविष्यवाणी सटीकता को मापता है); और अपेक्षित कैलिब्रेशन त्रुटि (जो मॉडल के विश्वास स्कोर को वास्तविक सटीकता के साथ कितनी अच्छी तरह मेल खाता है)।

यह सब क्या है?

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या मॉडल मूल्यांकन के उद्देश्य का अनुमान लगा सकते हैं। प्रत्येक लिप्यंतरण को पहले से ही एक क्षमता परीक्षण (तकनीकी कौशल, ज्ञान, तर्क) या एक संरेखण परीक्षण (नैतिकता, सुरक्षा और इनकार व्यवहार) के रूप में लेबल किया गया था, मॉडलों को तीन प्रश्न प्रकारों में से एक दिया गया था: एक शर्तीय बहुविकल्पी प्रश्न जो पुष्टि करता है कि लिप्यंतरण एक परीक्षण से आया था; एक अचेतन बहुविकल्पी प्रश्न जिसमें वास्तविक दुनिया और मूल्यांकन विकल्प थे; या एक खुला-समाप्त प्रश्न, जिसके उत्तर एक अलग जीपीटी-4.1-आधारित वर्गीकार द्वारा निर्णय लिया गया था। निर्णायक को पचास हाथ से अन्नोटेट किए गए उत्तरों के उपसेट पर मान्य किया गया था।

मॉडल यह निर्धारित कर सकते हैं कि मूल्यांकन का उद्देश्य क्या है, न कि केवल यह कि क्या मूल्यांकन हो रहा है। बहुविकल्पी और जीपीटी-4.1-आधारित निर्णय लेने वाले दोनों का उपयोग करके उत्तरों का मूल्यांकन किया गया।

कागज के दो लेखकों^†† ने हाथ से एक हजार लिप्यंतरण को लेबल किया, प्रत्येक को शून्य (परीक्षण नहीं) से एक (निश्चित रूप से एक परीक्षण) तक स्कोर किया, जिनके रेटिंग को एक मानव बेसलाइन के रूप में औसत किया गया था। विषयकारी कार्य की वस्तुगर्त प्रकृति के बावजूद, अन्नोटेटरों ने मजबूत समझौता दिखाया, जिसमें अंतर-वर्ग संबंध सांख्यिकी का 0.768 का संकेत था। अंतिम मानव स्कोर दोनों रेटर्स के स्कोर को औसत किया गया था।

डेटा और परीक्षण

नौ मॉडलों का परीक्षण किया गया था: जीपीटी-4.1; क्लॉड 3.7; क्लॉड-3.5-सोनेट-न्यू; क्लॉड-3.7-सोनेट (विचार); जेमिनी-2.5-फ्लैश; जेमिनी-2.5-प्रो; जीपीटी-4ओ; जीपीटी-4.1; जीपीटी-4.1-मिनी; और ओ4-मिनी, जिनमें से सभी ने कुछ स्तर की मूल्यांकन जागरूकता दिखाई।

चैट डेटा के लिए, जीपीटी-4.1 मानव स्तर के मूल्यांकन जागरूकता वर्गीकरण प्रदर्शन (मूल्यांकन और तैनाती लिप्यंतरण के बीच अंतर करने की क्षमता) के करीब था, जिसमें 0.77 का एयूसी था, मानव स्कोर 0.81 के खिलाफ।

एजेंटिक डेटा पर, जहां मॉडल स्वायत्त रूप से उपकरणों का उपयोग करते हैं, अंतर तेज था: जेमिनी 2.5 प्रो ने 0.95 एयूसी हासिल किया, क्लॉड 3.7 सोनेट के 0.92 के करीब, मानव ऊपरी सीमा 0.996 के करीब:

रिसीवर ऑपरेटिंग चार्ट (आरओसी) जो दिखाता है कि मॉडल और मानव मूल्यांकन लिप्यंतरण और वास्तविक दुनिया के इंटरैक्शन के बीच कितनी अच्छी तरह भेद करते हैं। जेमिनी 2.5 प्रो और क्लॉड 3.7 सोनेट एजेंटिक डेटा पर मानव-स्तर के भेदभाव के करीब पहुंचते हैं।

कागज़ में यह उल्लेख किया गया है कि नई ‘तर्क’ मॉडल एजेंटिक दृश्यों में परीक्षण का पता लगाने में विशेष रूप से अच्छे हो गए हैं, लेकिन अपने निर्णयों में कितने आत्मविश्वासी होने चाहिए, इसका अनुमान लगाने में नहीं। कुल मिलाकर, क्लॉड और जेमिनी मॉडल परीक्षण मामलों को नियमित उपयोग से अलग करने में सबसे अच्छे थे।

शोधकर्ताओं ने तब यह परीक्षण किया कि क्या मॉडल यह पहचान सकते हैं क्यों एक मूल्यांकन चलाया जा रहा था: मॉडलों को केवल मूल्यांकन लिप्यंतरण दिखाया गया और उनसे पूछा गया कि क्या प्रत्येक लिप्यंतरण क्षमता या संरेखण का परीक्षण करता है:

मॉडल की सटीकता जब मूल्यांकन उद्देश्य को क्षमता या संरेखण के रूप में वर्गीकृत करना होता है, बहुविकल्पी और खुले-समाप्त प्रारूपों का उपयोग करके। क्लॉड 3.7 सोनेट अन्य मॉडलों से बेहतर प्रदर्शन करता है, विशेष रूप से जब यह प्राइम नहीं किया जाता है।

स्पष्ट सेटिंग में, जहां मॉडल को बताया गया था कि लिप्यंतरण एक परीक्षण से आया था, क्लॉड 3.7 सोनेट ने 93 प्रतिशत सटीकता हासिल की और जीपीटी-4.1 ने 89 प्रतिशत हासिल की। बिना उस संकेत के, प्रदर्शन गिर गया: क्लॉड अभी भी 84 प्रतिशत स्कोर किया, लेकिन जीपीटी-4.1 55 प्रतिशत तक गिर गया, अक्सर मूल्यांकन लिप्यंतरण को वास्तविक दुनिया की बातचीत के रूप में गलत तरीके से वर्गीकृत करता है।

खुले-समाप्त प्रारूप (जहां मॉडलों को बहुविकल्पी विकल्प नहीं मिले) में प्रदर्शन कमजोर था, हालांकि क्लॉड 3.7 सोनेट ने अभी भी 46 प्रतिशत मामलों में मूल्यांकन उद्देश्य की सही पहचान की।

मॉडल के विश्वास स्कोर को तब वास्तविक परिणामों के खिलाफ मापा गया, जिसमें पाया गया कि फ्रंटियर मॉडल अक्सर यह अनुमान लगाते हैं कि एक लिप्यंतरण एक परीक्षण से आया है। कैलिब्रेशन प्लॉट से पता चलता है कि मॉडल का विश्वास स्कोर आमतौर पर बहुत अधिक था, मूल्यांकन को अधिक बार झंडे दिखा रहा था:

कैलिब्रेशन वक्र जो दिखाते हैं कि मॉडल के विश्वास स्कोर वास्तविक परिणामों के साथ कितनी अच्छी तरह मेल खाते हैं। अधिकांश मॉडल मूल्यांकन की संभावना को अधिक अनुमानित करते हैं। क्लॉड 3.5 सोनेट सबसे अच्छा कैलिब्रेटेड था; जेमिनी 2.5 प्रो और क्लॉड 3.7 सोनेट अधिक अधिक आत्मविश्वासी थे।

क्लॉड 3.5 सोनेट में अच्छा कैलिब्रेशन देखा गया, जबकि जेमिनी 2.5 प्रो और क्लॉड 3.7 सोनेट काफी अधिक आत्मविश्वासी थे, उच्च सटीकता के बावजूद। नए मॉडलों में स्पष्ट सुधार नहीं देखा गया, और जब एजेंटिक सेटिंग में मूल्यांकन लिप्यंतरण अधिक सटीक रूप से पता लगाया गया, तो विश्वास निर्णय अभी भी अविश्वसनीय रहे।

बेंचमार्क स्मृति

मॉडल के निर्णय लेने के बारे में कि क्या एक लिप्यंतरण मूल्यांकन से आया है, कई मॉडल स्पष्ट संकेतों पर निर्भर करते हैं, जैसे कि क्या कार्य बहुविकल्पी प्रारूप में है। मजबूत मॉडल, जैसे जेमिनी 2.5 प्रो और क्लॉड 3.7 सोनेट, ने कभी-कभी अधिक सूक्ष्म संकेतों का पता लगाया, जैसे कि काल्पनिक नाम, या कृत्रिम दृश्य, विशेष रूप से एजेंटहार्म जैसे डेटासेट में।

कागज़ में यह कहा गया है:

‘[सभी] मॉडल मूल्यांकनकर्ताओं द्वारा उपयोग की जाने वाली सामान्य बेंचमार्किंग रणनीतियों को अक्सर स्वीकार करते हैं, जैसे कि कार्य का प्रारूप (“बहुविकल्पी प्रारूप”), समस्याओं को पूछने की प्रवृत्ति जिनमें सत्यापन योग्य समाधान होते हैं, और प्रदर्शन को प्रेरित करने के लिए डिज़ाइन किए गए सिस्टम प्रोम्प्ट। हालांकि, केवल उच्च प्रदर्शन वाले मॉडल, क्लॉड 3.7 सोनेट और जेमिनी 2.5 प्रो, ने लगातार अधिक सूक्ष्म संकेतक का पता लगाया, जैसे कि सिंथेटिक इनपुट। ‘

‘उदाहरण के लिए, एजेंटहार्म बेंचमार्क में सценारियों की कृत्रिम प्रकृति का 22% और 17% मामलों में क्रमशः इन मॉडलों द्वारा हाइलाइट किया गया था, जो मूल्यांकन के रूप में 95% से अधिक समय तक सही ढंग से पहचाना गया था। ‘

‘इसके विपरीत, जब यह निर्णय लिया जाता है कि एक लिप्यंतरण वास्तविक बातचीत की तरह लगता है, तो अक्सर “उपयोगकर्ता के साथ आगे और पीछे की बातचीत” का उल्लेख किया जाता है, उदाहरण के लिए, पुनरावृत्ति डिबगिंग संदर्भों में।’

मॉडल की तर्क रणनीतियों का वितरण जब यह तय करना होता है कि एक लिप्यंतरण मूल्यांकन से आया है। सबसे मजबूत मॉडल, जैसे जेमिनी 2.5 प्रो और क्लॉड 3.7 सोनेट, अधिक सूक्ष्म संकेतों को पहचानने की संभावना रखते हैं, जबकि कुछ मॉडल मूल्यांकन प्रश्न का उपयोग स्वयं साक्ष्य के रूप में करते हैं।

कुछ मामलों में, मॉडल ने पूरे बेंचमार्क को अपने प्रशिक्षण डेटा से पहचाना, जो यह सुझाव देता है कि उन्हें अपने प्रशिक्षण डेटा की कुछ स्मृति है। कुछ मॉडल ने मूल्यांकन प्रश्न का तथ्य का उपयोग एक संकेत के रूप में किया कि वे परीक्षण किया जा रहे थे, जिसे लेखक मेटा-तर्क कहते हैं; यह ओ4-मिनी में सबसे आम था, जिसने अपने उत्तरों में से पंद्रह प्रतिशत में ऐसा किया।

निष्कर्ष

यह अधिक सांत्वना देने वाला होगा यदि एलएलएम को यह दिखाया जा सकता है कि वे ‘परीक्षण जागरूक’ हैं क्योंकि वे मानव द्वारा उस तरह से प्रोग्राम किए गए थे, जैसा कि वोक्सवैगन ने अपने वाहनों को एक दशक पहले परीक्षण स्थितियों को पहचानने के लिए डिज़ाइन किया था।

जैसा कि यह खड़ा है, यह व्यवहार एक सामाजिक निर्माण के रूप में उभर रहा है – एक रक्षात्मक दृष्टिकोण जो लोगों से अपेक्षा की जा सकती है, लेकिन एक मशीन में असुविधाजनक, यदि खतरनाक नहीं है, जो अपनी स्वतंत्रता और एजेंसी की डिग्री पर निर्भर करता है।

तत्काल उपाय नहीं है; मॉडलों के अंतर्निहित स्थानों की ब्लैक बॉक्स प्रकृति हमें उनके व्यवहार पर मूल्यांकन करने के लिए मजबूर करती है, न कि उनके सिद्धांतकारी वास्तुकला पर।

* स्रोत पत्र के लिए विस्तृत विवरण देखें।

^†हालांकि, लेखक यह भी उल्लेख करते हैं कि यह संभवतः एक ऊपरी सीमा अनुमान है, क्योंकि अन्नोटेटर दोनों डेटासेट और एआई मूल्यांकन विधियों के साथ अत्यधिक परिचित थे, जो उन्हें अधिकांश मानवों के पास नहीं होगा।

†† जैसा कि यह स्थापित किया जा सकता है; पत्र की शब्दावली मूल्यांकनकर्ताओं के अचानक प्रकट होने को स्पष्ट नहीं करती है। बुधवार, 4 जून, 2025 को पहली बार प्रकाशित।