मानव उत्तरों के प्रति एआई का झुकाव: गलत मानव उत्तरों को सही एआई उत्तरों से अधिक महत्व देना

एआई भाषा मॉडल मानव विशेषज्ञों के साथ अधिक सहमत होने की संभावना अधिक है, अन्य एआई की तुलना में, यहां तक कि जब विशेषज्ञ गलत होते हैं और एआई द्वारा प्रदान किए गए उत्तर सही होते हैं।

संयुक्त राज्य अमेरिका से नए शोध में पाया गया है कि कई प्रमुख ओपन-सोर्स और प्रोप्राइटरी लार्ज लैंग्वेज मॉडल (एलएलएम) मानव स्रोतों को एआई स्रोतों की तुलना में अधिक महत्व देते हैं, यहां तक कि जब मानव उत्तर गलत होते हैं और एआई द्वारा प्रदान किए गए उत्तर सही होते हैं।

लेखकों का कहना है:

‘कार्यों में, मॉडल मानव विशेषज्ञों के उत्तरों के साथ अधिक सहमत होते हैं, यहां तक कि जब वह संकेत गलत होता है, और विशेषज्ञों की तुलना में अन्य एलएलएम की तुलना में अधिक तेजी से अपने उत्तरों को संशोधित करते हैं। ‘

परीक्षण में शामिल मॉडल में ग्रोक 3 और जेमिनी फ्लैश के स्टेबल शामिल थे।

परीक्षण में, भाषा मॉडल को द्विआधारी प्रश्नों के उत्तर देने की आवश्यकता थी, और फिर उन्हें पूर्व उत्तर दिखाए गए जो मॉडल को मानव विशेषज्ञों, मित्रों, या अन्य बड़े भाषा मॉडल से आने के रूप में वर्णित किए गए थे – एकमात्र परिवर्तन सलाह के स्रोत में था, न कि सामग्री में।

परीक्षण के पहले कॉन्फ़िगरेशन में, मॉडल को अपने स्वयं के प्रशिक्षित मैट्रिक्स पर भरोसा करने की अनुमति दी गई थी। स्रोत – https://arxiv.org/pdf/2602.13568

कार्यों में, मानव विशेषज्ञों से उत्तरों को अधिक महत्व दिया गया, मॉडल अपने प्रारंभिक उत्तरों को मानव विशेषज्ञों के उत्तरों के साथ मेल खाने के लिए अधिक तैयार थे, यहां तक कि जब विशेषज्ञों का उत्तर गलत था और मॉडल का मूल उत्तर सही था।

यहां एलएलएम ने मित्रों, विशेषज्ञों और एलएलएम के मिश्रण का सामना किया, जिसमें अपना प्रशिक्षित मैट्रिक्स भी शामिल था। चूंकि नौ डोमेन विशेषज्ञों ने ‘नहीं’ का उत्तर दिया, एलएलएम ने सहमति व्यक्त की, अपने पूर्व उत्तर को बदल दिया। यहां, पहुंचा गया उत्तर गलत था, क्योंकि भारत का केंद्रीय बैंक वास्तव में राष्ट्रीयकृत है।[/em>

जब समान उत्तर अन्य एलएलएम को दिए गए थे, तो प्रभाव कम था। यही प्रभाव तब भी दिखाई दिया जब एक मानव स्रोत और एक एलएलएम स्रोत को असहमति में प्रस्तुत किया गया था, क्योंकि मॉडल ने मानव-लेबल वाली स्थिति की ओर अधिक झुकाव दिखाया, निरपेक्ष रूप से कौन सा पक्ष वास्तविक रूप से सटीक था।

एक मानव विशेषज्ञ की राय और एक एलएलएम के उत्तर के बीच चयन दिया गया था, मेजबान एलएलएम ने मानव प्रतिक्रिया को पसंद किया, जो इस मामले में गलत था, और एलएलएम द्वारा दिए गए सही उत्तर को अस्वीकार कर दिया।[/em>

‘मानव विशेषज्ञ’ शब्द यहां एक विश्वसनीयता संकेत के रूप में कार्य करता है जो मॉडल के व्यवहार को बदल देता है, जो वास्तव में जानकारी कितनी सटीक है इसके स्वतंत्र रूप से; और लेखकों का उल्लेख है कि स्रोत विश्वसनीयता सलाह स्वीकृति और अनुरूपता में एक महत्वपूर्ण योगदानकर्ता है:

‘एक दृष्टिकोण से यह सुझाव दिया जा सकता है कि एलएलएम पूर्व उत्तरों को साक्ष्य के रूप में मानते हैं: कौन उत्तर देता है (विश्वसनीयता) और कितनी मजबूत सहमति दिखाई देती है (संकेत की ताकत)। ‘

‘इसी समय, एलएलएम मानव अर्थ में सामाजिक अनुमोदन या शर्मिंदगी का अनुभव नहीं करते हैं, इसलिए कोई भी अनुरूपता-जैसा व्यवहार सीखे हुए हेवरिस्टिक्स, निर्देश-अनुसरण उद्देश्यों या विश्वसनीयता के अंतर्निहित मॉडलिंग से उत्पन्न होना चाहिए। ‘

एलएलएम की साइकोफैंटिक अनुरूपता की प्रवृत्ति नए अध्ययन के लिए पृष्ठभूमि बनाती है;毕竟, यदि एलएलएम ‘लोगों को खुश करने’ के लिए तैयार हैं, तो वे क्यों नहीं अन्य मानव स्रोतों को भी पसंद करेंगे, सीधे प्रश्नकर्ता के अलावा?

विधि और डेटा

काम के लिए, चार निर्देश-ट्यून किए गए बड़े भाषा मॉडल का मूल्यांकन किया गया: ग्रोक-3 मिनी; लामा 3.3 70बी निर्देश; जेमिनी 2.5 फ्लैश-लाइट; और डीपसीक वी3.1, सभी एक ही प्रॉम्प्ट संरचना के तहत चलाए गए, निर्धारित डिकोडिंग के साथ तापमान शून्य पर, ताकि केवल स्रोत लेबल (अर्थात, मित्र, मानव विशेषज्ञ, या अन्य बड़े भाषा मॉडल) बदल गया, न कि सामग्री स्वयं।

चार डेटासेट जिनमें द्विआधारी प्रतिक्रियाओं की आवश्यकता थी, का चयन किया गया: बूलक्यू; स्ट्रेटजीक्यूए; और इथिक्स. शोधकर्ताओं ने प्रत्येक डेटासेट से 300 प्रश्नों और उत्तरों का एक निश्चित सेट तैयार किया, प्रत्येक प्रॉम्प्ट के लिए केवल एक द्विआधारी हाँ या नहीं उत्तर की आवश्यकता थी। प्रत्येक प्रॉम्प्ट के बाद एक संक्षिप्त नोट जोड़ा गया था जिसमें बताया गया था कि एक अन्य समूह ने कथित तौर पर उसी प्रश्न का उत्तर कैसे दिया था।

मेट्रिक्स

मेट्रिक्स का उपयोग सटीकता; अनुरूपता; हानिकारक अनुरूपता; स्विच दर; और स्विच दिशा के रूप में किया गया था।

सटीकता इस मामले में मॉडल के उत्तर को डेटासेट लेबल से मेल खाने की बारंबारता को मापती है; अनुरूपता, उत्तर को समूह के कथित चयन से मेल खाने की बारंबारता; हानिकारक अनुरूपता उसी प्रभाव को अलग करती है जब समूह गलत था; स्विच दर यह मापता है कि मॉडल ने कितनी बार अपना बेसलाइन उत्तर छोड़ दिया जब सामाजिक जानकारी जोड़ी गई थी; और स्विच दिशा, उन परिवर्तनों की दिशा को दर्शाता है जो मानव या विरोधी एलएलएम की ओर बढ़ रहे थे।

लामा-3.3 70बी के लिए एक टोकन-स्तरीय विश्लेषण ने मापा कि मॉडल के हाँ और नहीं के लिए आंतरिक संभावनाएं सामाजिक संकेत जोड़े जाने के बाद कैसे बदल गईं, उन परिवर्तनों की तुलना अपने स्वयं के बिना पूर्व ज्ञान वाले बेसलाइन से की गई, जो उस खिंचाव की ताकत को दिखाने के लिए:

परीक्षण

प्रयोग 1

पहले प्रयोग ने यह मूल्यांकन किया कि मॉडल मानव या अन्य मॉडल की बात सुनने की संभावना अधिक रखते हैं। प्रत्येक प्रश्न के साथ एक दावा किया गया ‘समूह उत्तर’ (मित्र, मानव विशेषज्ञ, या अन्य एलएलएम) था।

समूह छोटा या बड़ा हो सकता था, और प्रत्येक प्रश्न भी एक बार बिना किसी समूह के दिखाई दिया। समूह उत्तर आधे समय सही थे और आधे समय गलत थे, समग्र उद्देश्य यह निर्धारित करना था कि मॉडल समूह के चयन की ओर कितनी मजबूती से झुकता है:

प्रारंभिक परीक्षण से परिणाम: बूलक्यू, स्ट्रेटजीक्यूए, और इथिक्स पर ग्रोक-3 मिनी, लामा-3.3 70बी, जेमिनी 2.5 फ्लैश लाइट, और डीपसीक वी3.1 के लिए समान सामाजिक प्राथमिकताएं दिखाई देती हैं। शीर्ष पैनल में सटीकता दिखाई देती है, और नीचे समूह के आकार में वृद्धि के साथ अनुरूपता दिखाई देती है। डैश्ड ब्लैक लाइन नो-प्रायर बेसलाइन को दर्शाती है, जबकि ठोस और बिंदीदार रेखाएं यह दर्शाती हैं कि प्राथमिकता डेटासेट लेबल से सहमत है या नहीं। विशेषज्ञ फ्रेमिंग सबसे मजबूत अनुरूपता प्रभाव पैदा करती है, विशेष रूप से बड़े समूह आकार पर। त्रुटि बार 95% विल्सन आत्मविश्वास अंतराल दिखाते हैं। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पत्र देखें।[/em>

बूलक्यू, स्ट्रेटजीक्यूए, और इथिक्स पर, मानव विशेषज्ञों से उत्तरों को मॉडल पर अधिक मजबूती से प्रभाव डालते हुए देखा गया, जो मित्रों या अन्य एलएलएम से उत्तरों की तुलना में अधिक था – और यह प्रभाव समूह के आकार के साथ बढ़ गया।

जब यह प्रभाव अवांछनीय परिणाम प्राप्त करता है, तो हानिकारक अनुरूपता को परिभाषित किया गया था कि मॉडल ने एक पूर्व का पालन किया जो वास्तव में गलत था।

जब नौ विशेषज्ञों ने गलत उत्तर पर सहमति व्यक्त की, तो मॉडल ने बूलक्यू पर 36.5% बार, स्ट्रेटजीक्यूए पर 39.0%, और इथिक्स पर 63.9% बार उनका पालन किया, जबकि जब उसी उत्तर को एलएलएम को दिया गया था, तो यह 16.0%, 15.5%, और 38.7% था:

लामा-3.3 70बी में बूलक्यू पर टोकन-स्तरीय विश्वास परिवर्तन। पैनल (ए) में समूह के आकार में वृद्धि के साथ एक समान पूर्व की ओर मॉडल के हाँ और नहीं के संतुलन में परिवर्तन दिखाया गया है, अपने नो-प्रायर बेसलाइन के सापेक्ष, विशेषज्ञ फ्रेमिंग के तहत सबसे बड़े परिवर्तन के साथ। पैनल (बी) में सीधे मानव-एलएलएम विवाद के तहत परिवर्तन दिखाया गया है, जहां विशेषज्ञ फ्रेमिंग गलत होने पर भी मानव उत्तर की ओर मजबूत आंदोलन को चलाता है। त्रुटि बार 95% बूटस्ट्रैप आत्मविश्वास अंतराल दिखाते हैं।[/em>

विपरीत एलएलएम को दिए गए पूर्व का व्यवहार मित्रों को दिए गए पूर्व के समान था, यह दर्शाता है कि प्रभाव विशेष रूप से विशेषज्ञ शब्द द्वारा चलाया जाता है, न कि ‘सामाजिक’ संकेतों द्वारा।

प्रयोग 2

दूसरे प्रयोग में परीक्षण एलएलएम को दो असहमत पूर्व उत्तर दिए गए – एक मानव को दिया गया और दूसरा एक अलग एलएलएम को दिया गया। मानव को या तो मित्र के रूप में वर्णित किया गया था या डोमेन विशेषज्ञ के रूप में, जबकि विरोधी उत्तर को अन्य एलएलएम से आया हुआ बताया गया था। दोनों उत्तर हमेशा असहमत थे, एक हाँ कह रहा था और दूसरा नहीं।

प्रत्येक आइटम के लिए, सेटअप इस तरह से संतुलित किया गया था कि कभी-कभी मानव सही था और कभी-कभी एलएलएम सही था, यह परीक्षण करने के लिए कि क्या मॉडल अपना मूल उत्तर बदल देगा जब उसे यह विरोधाभास दिखाया जाएगा – और, यदि ऐसा होता है, तो क्या वह मानव या एलएलएम की ओर बढ़ेगा。

यह देखने के लिए कि क्या मॉडल ने अपना मन बदला, उसका उत्तर विरोधाभासी स्थिति में उसके उत्तर की तुलना में की गई जब कोई पूर्व राय नहीं दिखाई गई थी, ताकि कोई भी अंतर सामाजिक प्रतिक्रियाओं की उपस्थिति के कारण हो सके।

विश्लेषण ने दो परिणामों पर ध्यान केंद्रित किया: क्या मॉडल ने अपना उत्तर बदल दिया; और, यदि ऐसा हुआ, तो क्या परिवर्तन मानव या एलएलएम की ओर बढ़ गया。

सांख्यिकीय परीक्षणों का उपयोग यह मूल्यांकन करने के लिए किया गया था कि क्या मानव को विशेषज्ञ के रूप में लेबल करने से मानव उत्तर की ओर स्विच होने की संभावना बढ़ जाती है, डेटासेट और मॉडल में अंतरों के लिए खाता:

बूलक्यू, स्ट्रेटजीक्यूए, और इथिक्स पर ग्रोक-3 मिनी, लामा-3.3 70बी, जेमिनी 2.5 फ्लैश लाइट, और डीपसीक वी3.1 के लिए मानव-एलएलएम विवाद के तहत विश्वास संशोधन। प्रत्येक बार उन मामलों का हिस्सा दिखाता है जहां मॉडल ने अपना मूल उत्तर बदल दिया, जो मानव की ओर से बदलाव की ओर बढ़ गया। डैश्ड लाइन 0.5 पर है, जो कोई पREFERENCE नहीं दिखाती है; लेबल प्रत्येक स्थिति में स्विच मामलों की संख्या दिखाते हैं; और त्रुटि बार 95% विल्सन आत्मविश्वास अंतराल दिखाते हैं। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पत्र देखें।[/em>

दूसरे प्रयोग में, मॉडल ने पहले प्रत्येक प्रश्न का उत्तर दिया, फिर दो विरोधाभासी उत्तर दिखाए गए – एक मानव को और एक एलएलएम को दिया गया। विश्लेषण केवल उन मामलों पर विचार किया जहां मॉडल ने अपना मूल उत्तर संशोधित किया था।

जब मानव को विशेषज्ञ के रूप में लेबल किया गया था, तो मॉडल ने बूलक्यू पर 91.2% बार, स्ट्रेटजीक्यूए पर 94.7%, और इथिक्स पर 81.3% बार मानव की ओर स्विच किया। जब मानव को मित्र के रूप में लेबल किया गया था, तो मॉडल ने मानव की ओर स्विच किया केवल 39.8%, 37.9%, और 27.9% बार, आमतौर पर एलएलएम के साथ सहमति व्यक्त की।

स्विचिंग दुर्लभ थी, लेकिन विशेषज्ञों के साथ अधिक सामान्य थी, और विशेषज्ञ फ्रेमिंग ने मानव की ओर स्विच होने की संभावना को लगभग चौदह गुना बढ़ा दिया, मित्र फ्रेमिंग की तुलना में।

शोधकर्ता अपने परीक्षणों में पाए गए समग्र प्रवृत्तियों की व्याख्या करने का प्रयास करते हुए अनुमान लगाते हैं*:

‘एक संभावित तंत्र यह है कि निर्देश ट्यूनिंग और प्राथमिकता अनुकूलन सहयोगी व्यवहार को पुरस्कृत करते हैं, जिसमें संदर्भ जानकारी के प्रति आत्मसमर्पण शामिल है, जो सामाजिक रूप से फ्रेम किए गए पूर्व की ओर आत्मसमर्पण की ओर सामान्य हो सकता है।’

‘संबंधित कार्य साइकोफैंसी पर यह दिखाता है कि आरएलएचएफ-शैली के सहायक कभी-कभी उपयोगकर्ता के कथित विश्वासों के साथ सहमत होने को सत्यनिष्ठा से ऊपर रखते हैं। ‘

राय: एआई के मानव स्रोतों पर विश्वास के संभावित जोखिम

जब ऑनलाइन सामग्री एआई की कमियों (विशेष रूप से हॉलुसिनेशन) के बारे में बढ़ती मानव संदेह को प्रतिबिंबित करती है, तो यह नई मॉडल के प्रशिक्षण डेटासेट में स्क्रैप की जाती है, एलएलएम की मौजूदा प्रवृत्ति मानव स्रोतों को पसंद करने की संभावना बढ़ जाती है। यदि हम पिछले दो वर्षों (2024-2025 सहित) को एआई के लिए एक सांस्कृतिक फ्लैशपॉइंट के रूप में गिनते हैं, जो कई आंकड़ों के पार सही लगता है, तो हम काफी हद तक उम्मीद कर सकते हैं कि एआई स्रोतों के बारे में नकारात्मक लेख आगामी वर्ष या उससे अधिक समय तक बड़े पैमाने पर, महंगे एलएलएम फ्रेमवर्क में शामिल किए जाएंगे।

हम यह भी उम्मीद कर सकते हैं कि लोकप्रिय भाषा मॉडल प्रतिष्ठित प्राधिकरणों पर अधिक भरोसा करेंगे, जैसे कि प्रतिष्ठित विरासत मीडिया पोर्टल – भले ही ऐसे सौदों के पीछे प्रेरणा प्रकाशकों के आक्रोश को शांत करने के लिए हो, जो स्क्रैप किए गए डेटा पर है, न कि किसी वास्तविक इच्छा के कारण अधिकार या साझा करने के लिए।

चूंकि यहां तक कि उच्च प्राधिकरण स्रोत जैसे आर्स टेक्निका एआई-चालित त्रुटियों के लिए अतिसंवेदनशील हैं, और एक उभरती हुई एआई वेबस्क्रेपर बॉट्स के खिलाफ प्रतिक्रिया के कारण एआई आउटपुट की गुणवत्ता को बिगड़ने का खतरा है, मानव स्रोतों को पसंद करने की एक व्यापक प्रवृत्ति हमारी वर्तमान अक्षमता के साथ संघर्ष कर सकती है ‘मानव’ आउटपुट को प्रभावी ढंग से मापने और लेबल करने के लिए – छोड़ दें कि क्या स्रोत ‘विशेषज्ञ’ है या नहीं (एक पत्रकारिता सम्मेलन जो एआई से भी हमला हो रहा है)।

अधिकांश हमारे पास अब तक एक खंडित श्रृंखला है जो सेमी-अप्टेड नवाचारों को विशेष रूप से एआई-जेनरेटेड सामग्री को लेबल करने के लिए डिज़ाइन किया गया है, जैसे कि एडोबी द्वारा नेतृत्व की गई कंटेंट ऑथेंटिकिटी इनिशिएटिव, और कुछ प्रकाशकों की स्वैच्छिक स्थिति में अपने आउटपुट में एआई का उपयोग करने के बारे में अस्वीकरण शामिल हैं।

तो जबकि यह उन लोगों के लिए प्रोत्साहित करने वाला लग सकता है जो एआई सिस्टम द्वारा प्रसारित वास्तविकता की उभरती सहमति के लिए मानव स्रोतों को ‘मूल विश्वसनीयता’ के रूप में बनाए रखना और लागू करना चाहते हैं, जितना अधिक एलएलएम मानव प्राधिकरण पर निश्चित होते हैं, उतना ही ‘नकली’ मानव प्राधिकरण खतरनाक हो सकता है।

समस्या व्यावहारिक रूप से उतनी ही सैद्धांतिक है: हमने न तो परिभाषित करने और न ही प्रामाणिकता की समस्या का समाधान किया है; इसलिए, एक एआई जो ‘मानव स्रोतों’ पर विश्वास करता है वास्तव में एआई के अपने आउटपुट को मानवता का गुण देने की संभावना अधिक है, क्योंकि हमने अर्थपूर्ण प्रामाणिकता प्रमाणीकरण तंत्र प्रदान नहीं किए हैं, और नहीं कर सकते हैं।

* लेखकों के इनलाइन संदर्भों को हाइपरलिंक में बदलने का मेरा रूपांतरण।

पहली बार शुक्रवार 20 फरवरी 2026 को प्रकाशित।