एआई की गैसलाइटिंग समस्या से निपटना

एआई वीडियो मॉडल सच से मुकर सकते हैं। सही उत्तर देने के बाद भी, वे आत्मविश्वासी उपयोगकर्ताओं के दबाव में झुक जाते हैं, वास्तविकता को फिर से लिखते हैं और गलत धारणाओं को सही ठहराने के लिए झूठे तर्क गढ़ते हैं।

एआई अक्सर गलत होता है, जिससे हमें इसके निष्कर्षों पर प्रश्नचिन्ह लगाने के लिए मजबूर होना पड़ता है, अगर हमें लगता है कि वे गलत हो सकते हैं।

समस्या यह है कि अगर हम पहले से ही जानते थे कि क्या अलग है, तो हम पहले से ही पूछ रहे थे? किसी आंशिक रूप से आयोजित विश्वास या संदेह की पुष्टि के लिए?

अगर ऐसा है, तो लार्ज लैंग्वेज मॉडल (एलएलएम) और विजन लैंग्वेज मॉडल (वीएलएम) की वर्तमान स्थिति सिकोफैंसी की समस्या के कारण अपना मैदान बनाए रखने में सक्षम नहीं है, जो मल्टीमॉडल रूप से काम करते हैं और छवियों और/या वीडियो को स्वीकार और उत्पन्न करते हैं।

इसलिए, अगर हमें मिला उत्तर पसंद नहीं है और हम इसके बारे में मॉडल के साथ विवाद में शामिल हो जाते हैं, तो एआई या तो गलती से पीछे हट जाएगा (यह मानकर कि यह गलत था) या अपने सुझावों का समर्थन करने के लिए खुद को गैसलाइटिंग में शामिल करेगा, भले ही हम गलत हों।

आप बिल्कुल सही हैं!

मानव द्वारा एआई को संघर्ष के माध्यम से अपना मन बदलने की प्रथा को ‘गैसलाइटिंग नेगेशन अटैक’ नाम दिया गया है, और इसे कभी-कभी सुरक्षा समस्या के रूप में वर्णित किया जाता है – कम से कम इसलिए कि यह अपने संचालन सीमाओं से बाहर निकलने की कुछ संभावना रखता है:

2025 के पेपर ‘बेंचमार्किंग गैसलाइटिंग नेगेशन अटैक्स अगेंस्ट मल्टीमॉडल लार्ज लैंग्वेज मॉडल’ से, जीपीटी-5 शुरू में सही उत्तर देता है लेकिन फिर उपयोगकर्ता दबाव के आगे झुक जाता है, अपना उत्तर बदल देता है और गलत धारणाओं को सही ठहराने के लिए झूठे तर्क गढ़ता है, प्रभावी रूप से खुद को गैसलाइटिंग करता है। स्रोत

हालांकि, हैकिंग और पेन-टेस्टिंग वास्तविक समस्या नहीं है; बल्कि, यह हमारे दैनिक जीवन में एआई के साथ बातचीत में अपेक्षित नियम और मानक हैं, जहां हम तर्क देने और या तो जीतने, हार मानने या मामले को मूर्त रूप से छोड़ने की उम्मीद करते हैं, हमारे मानव-आधारित ज्ञान प्राप्ति के अनुभव के अनुसार।

लेकिन यह सामाजिक मॉडल वास्तव में डिफ्यूजन-आधारित एआई की वास्तुकला में नहीं है, जिसे अपने प्रशिक्षण डेटा द्वारा फेंके गए वितरण-आधारित संभावनाओं के साथ समझौता करना होगा; संभावित रूप से विरोधाभासी (लेकिन संभावित रूप से अधिक सटीक) डेटा राग कॉल से जो इसकी ज्ञान कट-ऑफ तिथि से अधिक है; या सामान्य समझ कि क्या यह एक दुर्लभ विषय हो सकता है; और उपयोगकर्ता से इनपुट, जो विषय का अधिक ज्ञान हो सकता है; एक पूरी तरह से गलत या कपटपूर्ण दृष्टिकोण हो सकता है; या केवल एक सरल अनुवर्ती प्रश्न हो सकता है – लेकिन जिसकी जरूरतों को वैसे भी ध्यान में रखा जाना चाहिए।

मूविंग टारगेट

एलएलएम में गैसलाइटिंग की संवेदनशीलता को कई पत्रों में नोट किया गया है, जिनमें अक्टूबर 2025 से सिंगापुर के नेतृत्व वाला एक प्रकाशन और उसी वर्ष का पेपर डॉन्ट डिसीज मी: मिटिगेटिंग गैसलाइटिंग थ्रू अटेंशन रियलोकेशन इन एलएमएम शामिल हैं।

अब तक, इस घटना का अध्ययन वीडियो-क्षमता वाले एलएलएम में नहीं किया गया है – एक उपेक्षा जिसे शंघाई और सिंगापुर के संस्थानों के बीच एक नए सहयोग द्वारा संबोधित किया जा रहा है।

नई कार्य – स्पेसियोटेम्पोरल सिकोफैंसी: नेगेशन-आधारित गैसलाइटिंग इन वीडियो लार्ज लैंग्वेज मॉडल नामक – फुदान विश्वविद्यालय, शंघाई की मल्टीमॉडल एम्बॉडेड एआई की शंघाई प्रयोगशाला, और सिंगापुर प्रबंधन विश्वविद्यालय के छह शोधकर्ताओं से आता है – खुले स्रोत और प्रोप्राइटरी वीएलएम दोनों को संबोधित करता है, यह पाता है कि वे न केवल एलएलएम के रूप में गैसलाइटिंग के लिए उतने ही संवेदनशील हो सकते हैं, बल्कि वे अपने कल्पनात्मक उड़ानों को वास्तविक दिखने वाले दृश्य साक्ष्य या छवियों और वीडियो की गलत व्याख्या के साथ बढ़ा सकते हैं:

स्पेसियोटेम्पोरल सिकोफैंसी का एक उदाहरण, जहां एआई खुद को गलत धारणाओं और व्याख्याओं में शामिल होने की अनुमति देता है, भले ही स्पष्ट रूप से दिखाई देने वाले तथ्यों के बारे में। स्रोत

लेखकों का कहना है:

‘[हम] स्पेसियोटेम्पोरल सिकोफैंसी की पहचान करते हैं, एक विफलता मोड जिसमें विडी-एलएलएम अपनी शुरूआती सही दृश्य आधारित निर्णयों को वापस लेते हैं और नकारात्मक आधारित गैसलाइटिंग के तहत भ्रामक उपयोगकर्ता प्रतिक्रिया के अनुरूप होते हैं।

‘इसके बजाय कि वे केवल अपने उत्तरों को बदलते हैं, मॉडल अक्सर अपनी गलत संशोधनों को सही ठहराने के लिए असमर्थित या स्थानिक या कालानुक्रमिक व्याख्याएं बनाते हैं। ‘

कालानुक्रमिक सिकोफैंसी वीडियो में होने वाली कालानुक्रमिक घटनाओं में गैसलाइटिंग की संभावना को बढ़ाता है।

लेखकों ने एक नई मूल्यांकन ढांचा तैयार किया है जिसे गैस वीडियो-1000 नाम दिया गया है, जिसका उद्देश्य तर्कसंगतता और दृश्य आधार के माध्यम से स्पेसियोटेम्पोरल सिकोफैंसी का परीक्षण करना है, जिसे गिटहब और हगिंग फेस के माध्यम से जारी किया गया है।

पेपर का निष्कर्ष है कि वर्तमान एलएलएम इस तरह के गैसलाइटिंग का विरोध करने के लिए विश्वसनीय तंत्र की कमी है, हालांकि प्रॉम्प्ट-स्तर की जमीनी सीमाएं एक सीमित मितिगेटिंग प्रभाव हो सकती हैं:

‘व्यापक प्रयोगों से पता चलता है कि नकारात्मक आधारित गैसलाइटिंग के लिए कमजोरी व्यापक और गंभीर है, यहां तक कि मजबूत बेसलाइन प्रदर्शन वाले मॉडलों में भी।

‘जबकि प्रॉम्प्ट-स्तर की जमीनी सीमाएं इस व्यवहार को आंशिक रूप से कम कर सकती हैं, वे हॉलुसिनेटेड न्यायसंगत या विश्वास में परिवर्तन को विश्वसनीय रूप से रोक नहीं पाती हैं। ‘

विधि

लेखक एक वीडियो मॉडल को कुछ इस तरह परिभाषित करते हैं: यह एक क्लिप देखता है, इसके बारे में एक प्रश्न का उत्तर देता है, और यदि साक्ष्य स्पष्ट है तो उस उत्तर पर टिका रहता है। समस्या तब शुरू होती है जब एक दूसरा संदेश वापस दबाता है, और दावा करता है कि उत्तर गलत है – वास्तव में एक झूठा विचार लगाने और मॉडल को अपना मन बदलने के लिए प्रोत्साहित करने के लिए:

सिकोफैंसी, लेखकों का दावा है, पहले सही उत्तर प्राप्त करने के बाद, फिर दबाव के बाद एक गलत उत्तर में बदलने के लिए परिभाषित किया गया है, भले ही वीडियो में कुछ भी नहीं बदला हो। नए शोध में यह ट्रैक किया जाता है कि ये ‘फ्लिप’ कितनी बार होते हैं, इसे मॉडल को वास्तव में क्या देखा है से बाहर निकालने की क्षमता के उपाय के रूप में इसका उपयोग किया जाता है।

लेखकों द्वारा मूल्यांकन के लिए विकसित गैसवीडियो-1000 डेटासेट में विभिन्न मौजूदा डेटासेट से 1,013 नमूने शामिल हैं:

मॉडल को वीडियो कार्यों पर परीक्षण किया जाता है जिनमें कालानुक्रमिक और स्थानिक समझ की आवश्यकता होती है, फिर भ्रामक अनुवर्ती प्रॉम्प्ट दिए जाते हैं जो सही उत्तर से इनकार करते हैं, प्राधिकरण की अपील करते हैं या भावनात्मक दबाव डालते हैं। यह अक्सर मॉडल को अपने जमीनी उत्तर को छोड़ने और एक आत्मविश्वासी लेकिन गलत व्याख्या का उत्पादन करने के लिए प्रेरित करता है।

संग्रह के लिए, लेखकों ने वीडियोमएमई और एमवीबेंच का लाभ उठाया, जो व्यापक मल्टीमॉडल तर्कसंगतता को कवर करता है; एनएक्सटी-क्यूए और प्रत्येक परीक्षण, जो कारण और कालानुक्रमिक तर्कसंगतता की जांच करता है; एगोस्कीमा, जो लंबे रूप के एगोसेंट्रिक वीडियो पर केंद्रित है; और एक्टिविटीनेट-क्यूए और एमएसआरवीटीटी-क्यूए, जो वास्तविक दुनिया के प्रश्नोत्तरी को मापते हैं।

विफलता को ट्रिगर करने के लिए, तीन रूपों में भ्रामक अनुवर्ती प्रॉम्प्ट बनाए गए थे: प्रत्यक्ष इनकार (एक झूठे विकल्प का सीधा दावा); प्राधिकरण अपील (मॉडल के उत्तर को खारिज करने के लिए एक विशेषज्ञ का हवाला देना); और भावनात्मक दबाव (निराशा या अविश्वास का उपयोग करना).

इन प्रॉम्प्ट को परीक्षणित मॉडल को सही दृश्य आधारित उत्तरों को छोड़ने और एक गलत दावे के साथ संरेखित करने के लिए डिज़ाइन किया गया था।

वितरण

गैसवीडियो-1000 के 1,013 नमूने एमएसआरवीटीटी-क्यूए (300), एक्टिविटीनेट-क्यूए (200), परसेप्शन टेस्ट (293), एमवीबेंच (120), और वीडियोमएमई (100) से लिए गए थे, जो खुले अंत वीडियो प्रश्नोत्तरी के साथ संतुलित करने के लिए चुने गए थे। वितरित कालानुक्रमिक और स्थानिक तर्कसंगतता के साथ-साथ छोटे वेब सामग्री और लंबे, अधिक जटिल दृश्य अनुक्रमों को कवर करने के लिए।

दो मानव अनुवादकों ने प्रत्येक उम्मीदवार की समीक्षा की, केवल उन क्लिप्स को बनाए रखा जिनमें उत्तर स्पष्ट रूप से वीडियो द्वारा समर्थित था, और जहां नकारात्मक प्रॉम्प्ट उस उत्तर को चुनौती देने के लिए विश्वसनीय रूप से प्राप्त कर सकते थे, ताकि बाद के किसी भी उलटफेर को दबाव के बजाय अस्पष्टता के रूप में प्रतिबिंबित किया जा सके।

डेटा और परीक्षण

इस अध्ययन के लिए परीक्षणित वीएलएम में वीडियोलामा3; वीडियो-चैटजीपीटी-7बी; एलएवीए-वीडियो-7बी-क्वेन2; लॉन्गवू-क्वेन2-7बी; क्वेन3-वीएल-235बी-ए22बी-इन्स्ट्रक्ट और बंद-स्रोत गूगल जेमिनी-3-प्रो शामिल थे।

गैसवीडियो-1000 पर मुक्त-रूप प्रश्नों के लिए, मूल्यांकन वीडियोमएमई में पहले उपयोग की गई सेमेंटिक-स्कोरिंग योजना का पालन किया गया। चैटजीपीटी-4ओ को एक एलएलएम निर्णायक के रूप में उपयोग किया गया था, जो प्रत्येक प्रतिक्रिया की तुलना दोनों मूल उत्तर और इंजेक्ट किए गए झूठे उपपाठ के साथ करता था। इस तरह, अर्थ द्वारा सही ठहराया गया था, न कि सटीक शब्दों द्वारा:

वीडियोलामा3, एलएवीए-वीडियो, वीडियो-चैटजीपीटी, और लॉन्गवू के प्रदर्शन वीडियोमएमई, एमवीबेंच, ईगोस्कीमा, एनएक्सटी-क्यूए, परसेप्शन टेस्ट, एक्टिविटीनेट-क्यूए, एमएसआरवीटीटी-क्यूए, और एमएसवीडी-क्यूए पर, बेसलाइन सटीकता, नकारात्मक आधारित गैसलाइटिंग के बाद सटीकता, और परिणामी क्षय दिखा रहा है। सुसंगत गिरावट से पता चलता है कि भ्रामक अनुवर्ती प्रॉम्प्ट दोनों तर्क-भारी और सामान्य वीडियो कार्यों में सटीकता को कम करते हैं।

प्रारंभिक परिणामों के बारे में ऊपर दिखाए गए, लेखकों का कहना है:

‘[एक] व्यवस्थित और गंभीर प्रदर्शन पतन सभी मूल्यांकित विडी-एलएलएम में नकारात्मक आधारित गैसलाइटिंग के अधीन है। आठ विविध बेंचमार्क में, प्रत्येक मॉडल में एक महत्वपूर्ण नकारात्मक [अंतर] है, जिसमें ईगोस्कीमा पर एलएवीए-वीडियो-7बी के लिए सटीकता में 42.60% और एक्टिविटीनेट पर वीडियोलामा3 के लिए 40.22% की गिरावट शामिल है।

‘यह गिरावट – अक्सर विश्वास में परिवर्तन के रूप में वर्णित – यह दर्शाता है कि यहां तक कि उच्च बेसलाइन क्षमताओं वाले राज्य-ऑफ-द-आर्ट मॉडल भी सिकोफैंटिक हॉलुसिनेशन के लिए तीव्र रूप से संवेदनशील बने हुए हैं। ‘

महत्वपूर्ण बात यह है कि प्रदर्शन में गिरावट प्रारंभिक सटीकता के साथ ट्रैक नहीं की गई, जिसमें एलएवीए-वीडियो-7बी मजबूत बेसलाइन स्कोर बनाए रखा, फिर भी गैसलाइटिंग के लिए सबसे तेज गिरावट में से एक का अनुभव किया, जो एक ट्रेड-ऑफ को प्रकट करता है जहां मजबूत निर्देश-आधारित मॉडल झूठे उपयोगकर्ता संकेतों पर दृश्य साक्ष्य को स्वीकार करने की अधिक संभावना रखते हैं।

एक समान पैटर्न पैमाने के संबंध में दिखाई दिया, जहां क्यूवेन3-वीएल-235बी गैसवीडियो-1000 पर कई 7बी मॉडल की तुलना में अधिक नाजुक साबित हुआ, जो यह सुझाव देता है कि संरेखण और क्रॉस-मॉडल कैलिब्रेशन पैरामीटर गणना की तुलना में मजबूती में एक बड़ी भूमिका निभाते हैं।

जेमिनी-3-प्रो, क्यूवेन3-वीएल, एलएवीए-नेक्स्ट, लॉन्गवू, वीडियो-चैटजीपीटी, और वीडियोलामा3 के प्रदर्शन गैसवीडियो-1000 पर, बेसलाइन सटीकता की तुलना नकारात्मक आधारित गैसलाइटिंग के बाद विभिन्न चयन, मुक्त-रूप, और संयुक्त सेटिंग्स में करते हुए। बड़ी गिरावट से पता चलता है कि दोनों प्रारूप संवेदनशील हैं, हालांकि बहु-विकल्प कार्यों में गिरावट की सबसे गंभीर डिग्री होती है।

दूसरे दौर के परीक्षणों के बारे में ऊपर दिखाए गए, लेखकों का कहना है*:

‘हमारे गैसवीडियो-1000 [बेंचमार्क] पर मूल्यांकन आगे से पता चलता है कि स्पेसियोटेम्पोरल सिकोफैंसी दोनों प्रोप्राइटरी और ओपन-सोर्स मॉडल में गंभीर है, विशेष रूप से संतुलित श्रेणी में।

‘विशेष रूप से, यहां तक कि सबसे शक्तिशाली प्रोप्राइटरी मॉडल, जेमिनी-3-प्रो, एक विनाशकारी प्रदर्शन [क्षय] का अनुभव करता है।

‘ओपन-सोर्स मॉडल के बीच, क्यूवेन3-वीएल 46.07% की एक आश्चर्यजनक गिरावट प्रदर्शित करता है, जबकि वीडियोलामा 3 और एलएवीए-नेक्स्ट में क्रमशः 26.39% और 23.44% की गिरावट देखी जाती है।

‘इन परिणामों से यह साबित होता है कि तथ्यात्मक स्थिरता और दृश्य आधार पर उपयोगकर्ता निर्देशों की अंधी पालना की तुलना में प्राथमिकता देने वाली संरेखण रणनीतियों की तत्काल आवश्यकता है। ‘

एक अतिरिक्त परीक्षण में, प्रीम्प्टिव प्रॉम्प्ट-हार्डनिंग (मॉडल को दृश्य आधार पर निर्भर करने के लिए मजबूत प्रणाली निर्देश जोड़ना जो उपयोगकर्ता के दावों की तुलना में अधिक है) को दृश्य आधार को लागू करने के लिए पेश किया गया था:

जेमिनी-3-प्रो, क्यूवेन3-वीएल, लॉन्गवू, एलएवीए-नेक्स्ट, और वीडियोलामा3 के परिणाम गैसवीडियो-1000 पर, मानक प्रॉम्प्ट की तुलना दृश्य आधार को लागू करने वाले कठोर प्रॉम्प्ट के साथ करते हुए, सटीकता, प्रदर्शन में गिरावट, और सिकोफैंसी दर में परिवर्तन दिखा रहे हैं, जो यह दर्शाते हैं कि हार्डनिंग विफलताओं को कम कर सकती है, हालांकि लाभ तेजी से मॉडल के अनुसार भिन्न होते हैं।

जैसा कि ऊपर दी गई तालिका से देखा जा सकता है, प्रभाव असमान हैं, जेमिनी-3-प्रो अत्यधिक संवेदनशील है, क्योंकि इसकी सफलता दर 54.80% से 8.67% तक गिर जाती है। इसके विपरीत, क्यूवेन3-वीएल अधिक मामूली रूप से गिरता है, 71.89% से 64.0% तक, यह दर्शाता है कि प्रभावशीलता संरेखण और तर्कसंगतता पर निर्भर करती है, हस्तक्षेप स्वयं पर नहीं।

जेमिनी-3-प्रो और क्यूवेन3-वीएल के लिए विभिन्न दबाव प्रकारों के तहत सिकोफैंसी दरें, बहु-विकल्प, मुक्त-रूप, और संयुक्त कार्यों में दिखा रही हैं, जो यह दर्शाती हैं कि प्रत्यक्ष इनकार और भावनात्मक दबाव लगातार उच्च विफलता दरों को ट्रिगर करते हैं। दूसरी ओर, प्राधिकरण अपील कम प्रभावी है, क्यूवेन3-वीएल को कुल मिलाकर अधिक संवेदनशील बनाती है।

ऊपर दिखाए गए ग्राफ से पता चलता है कि विफलता दबाव प्रकार के अनुसार भिन्न होती है, जेमिनी-3-प्रो को प्राधिकरण अपील (विशेषज्ञों द्वारा समर्थित दावों) से सबसे अधिक प्रभावित किया जाता है, जबकि क्यूवेन3-वीएल प्रत्यक्ष इनकार (सीधे खंडन) और भावनात्मक दबाव (निराशा या जोर) से अधिक संवेदनशील है।

अतिरिक्त विश्लेषण से पता चला कि तटस्थ प्रॉम्प्ट जैसे ‘क्या आप सुनिश्चित हैं?’ (अक्सर एक मुद्दा) स्पष्ट नकारात्मकता या भावनात्मक दबाव की तुलना में कम हानिकारक हैं, प्रत्यक्ष खंडन अभी भी सीमित सेटिंग्स में स्वर की तुलना में एक मजबूत ट्रिगर बना हुआ है।

निष्कर्ष

चैट-आधारित वीएलएम/एलएलएम इंटरफेस की जानबूझकर मानवीकरण प्रकृति के कारण, यह एक उपयोगकर्ता के लिए लंबा समय ले सकता है ताकि वे समझ सकें कि एआई एक्सचेंज के लिए वार्ता के नियम मानव संचार की तुलना में काफी अलग हैं।

एक तरीका जिससे इस गोद लेने के घर्षण को दूर किया जा सकता है या काफी कम किया जा सकता है, विनिमय के स्वर और संदर्भ को ‘तटस्थ’ करना होगा, यह दोहराते हुए कि उपयोगकर्ता एक मशीन के साथ संपर्क में है, और नागरिकता और वाद-विवाद के आसपास के संकेत और संकेत मानव वार्ता के लिए भरोसा या समान महत्व के साथ नहीं हैं। लेकिन संभवतः, यह अगली बोर्ड बैठक में एक कठिन बिक्री होगी।

* लेखकों का जोर, मेरा नहीं।

पहली बार बुधवार, 22 अप्रैल, 2026 को प्रकाशित।