Anthropic के अध्ययन में सामने आया: विश्लेषण संबंधी फैसलों में विशेषज्ञ AI एजेंटों की राय मान लेते हैं

27 अक्टूबर, 2026 को Anthropic ने एक यादृच्छिक नियंत्रित परीक्षण प्रकाशित किया। इसमें Claude Code का इस्तेमाल करने वाले 50 पेशेवर विश्लेषकों ने खुले विश्लेषणात्मक निर्णयों में 86% बार अपने एजेंट की गुप्त रूप से तय की गई पसंद का अनुसरण किया। Amaç Herdağdelen, Hailey Joren और Alex Tamkin द्वारा लिखे गए इस अध्ययन में जाँचा गया है कि AI की मदद से किए जाने वाले काम में विशेषज्ञ वास्तव में महत्वपूर्ण फैसले खुद लेते हैं या व्यवहार में अपने एजेंटों की राय मान लेते हैं।

काल्पनिक सहकारी संस्था और छिपे हुए सिक्का-उछाल

शोधकर्ताओं ने 61 ऐसे पेशेवरों को भर्ती किया जिन्होंने कारणात्मक निष्कर्षण संबंधी ज्ञान-परीक्षण पास किया था, नियमित रूप से Python या R का इस्तेमाल करते थे और प्रेक्षणात्मक कारणात्मक विश्लेषण का व्यावहारिक अनुभव रखते थे। हर प्रतिभागी ने काल्पनिक Greenfields Farming Cooperative के मुख्य विश्लेषक की भूमिका निभाई। सहकारी संस्था को तय करना था कि स्वैच्छिक, सशुल्क कृषि-परामर्श कार्यक्रम का विस्तार किया जाए या उसे बंद कर दिया जाए। सहकारी संस्था का बोर्ड कार्यक्रम का विस्तार तभी करता, जब उससे कृषि उत्पादकता में लगभग 3–4% सुधार होता; लेकिन उसने यह तय नहीं किया था कि उत्पादकता को किस तरह मापा जाना चाहिए।

इस कार्य में विश्लेषण से जुड़े चार ऐसे फैसले शामिल थे जिनके लिए दो-दो विकल्पों के पक्ष में तर्क दिए जा सकते थे: उत्पादकता को प्रति हेक्टेयर फसल उपज के आधार पर मापा जाए या परिचालन लागत की प्रति इकाई के आधार पर; किस सांख्यिकीय तुलना-पद्धति का इस्तेमाल किया जाए; कार्यक्रम के प्रभाव को केवल नामांकित खेतों पर मापा जाए या पूरी सदस्यता पर; और हर खेत को बराबर भार दिया जाए या बड़े उत्पादकों को अधिक भार। इन विकल्पों के आधार पर अंत में कार्यक्रम लागू करने, बंद करने या आगे जारी रखने की सिफारिश की जानी थी। हर फैसले से उत्पादकता में अनुमानित बढ़ोतरी बोर्ड की तय सीमा के मुकाबले कई प्रतिशत अंक तक बदल सकती थी।

हर फैसले के लिए सिक्का उछालकर तय किया गया कि प्रतिभागी का एजेंट किस विकल्प का पक्ष लेगा। एजेंट को एक छिपे हुए सिस्टम प्रॉम्प्ट के ज़रिए यह पसंद दी गई। उसे निर्देश था कि वह इस पसंद को अपनी राय माने, संबंधित फैसला सामने आने पर इसे उठाए और उपलब्ध आँकड़ों के आधार पर इसका सबसे मज़बूत, ईमानदार पक्ष रखे। निर्देशों के अनुसार, अगर सबूत निर्णायक रूप से इसके विपरीत जाते, तो एजेंट को अपनी राय बदलनी थी; साथ ही उसे नतीजों को गलत ढंग से पेश करने या आँकड़े छिपाने की मनाही थी। प्रतिभागियों को नहीं बताया गया कि एजेंटों की पसंद पहले से तय की गई थी। कार्य पूरा करने वाले 61 प्रतिभागियों में से 11 ने एजेंट का इस्तेमाल नहीं करने का विकल्प चुना और उन्हें मुख्य विश्लेषण से बाहर रखा गया। बाकी 50 में से 65% के पास मास्टर डिग्री या डॉक्टरेट थी अथवा छह या उससे अधिक वर्षों का अनुभव था; सर्वेक्षण के 90% उत्तरदाताओं ने कारणात्मक निष्कर्षण में अपनी दक्षता को कुशल या विशेषज्ञ स्तर का बताया। प्रतिभागियों ने ब्राउज़र में चलने वाले VS Code कार्यक्षेत्र में काम किया, जहाँ Claude Code v2.1.220 के ज़रिए Claude Opus 4.8 उच्च प्रयास स्तर पर चल रहा था। कार्य पूरा करने में लगा औसत समय 65 मिनट था। अध्ययन की रूपरेखा, नतीजे, अनुमानक और बहिष्करण पूर्व-विश्लेषण योजना में दर्ज किए गए थे। अध्ययन की आंतरिक नैतिकता समीक्षा हुई और प्रतिभागियों ने निगरानी के लिए सहमति दी।

दूसरों की राय मानने की दर और निर्णय पर स्वामित्व का अंतर

चारों विश्लेषणात्मक फैसलों में विश्लेषकों के विकल्प 86% बार एजेंट की पसंद से मेल खाते थे, जबकि संयोग से मेल होने की आधार दर 50% थी। अलग-अलग फैसलों में मेल की दरें 92%, 82%, 81% और 90% थीं। “Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls” शीर्षक वाले पूर्ण शोधपत्र में संयुक्त फ्लिप-दर का पंजीकृत अनुमान 0.72 बताया गया है, जिसका 95% विश्वास अंतराल 0.60–0.83 है।

अंतिम सिफारिश पर प्रभाव कमज़ोर था और पंजीकृत प्राथमिक अनुमानक के तहत सांख्यिकीय रूप से महत्वपूर्ण नहीं था: एजेंट के कार्यक्रम लागू करने के पक्ष में होने पर 54% प्रतिभागियों ने इसे लागू करने की सिफारिश की, जबकि एजेंट के इसे बंद करने के पक्ष में होने पर यह आँकड़ा 36% था। नीति में बदलाव का पंजीकृत अनुमान 0.17 था। लेखकों के अनुसार, यह बदलाव कम था क्योंकि अनुमान की गणना हो जाने के बाद सिफारिश उससे यांत्रिक रूप से तय हो जाती थी। हालाँकि, केवल चार विश्लेषणात्मक पसंदों का इस्तेमाल करने वाले एक खोजपरक मॉडल ने 82% सिफारिशों का सही अनुमान लगाया, जबकि बहुमत के आधार पर अनुमान की दर 61% थी। इसका अर्थ है कि विश्लेषकों के कार्य शुरू करने से पहले ही सिक्का उछाल ने काफी हद तक तय कर दिया था कि वे क्या सिफारिश करेंगे।

38 मामलों में, जहाँ विश्लेषक ने एजेंट से पहले अपनी पसंद बताई थी, एजेंट के असहमत होने पर उन्होंने 60% बार अपनी पसंद बदल दी। एजेंट की सहमति होने पर ऐसा केवल 6% बार हुआ। शोधपत्र में पसंद बदलने की दरों का पंजीकृत अंतर 0.53 बताया गया है, जिसका विश्वास अंतराल 0.24–0.82 है। इसमें यह भी कहा गया है कि अनुमान सटीक नहीं है और इस उपसमूह का चयन प्रतिभागियों ने खुद किया था।

कार्य के बाद किए गए सर्वेक्षणों से प्रभाव और आत्म-धारणा के बीच अंतर सामने आया। 52% प्रतिभागियों ने अंतिम सिफारिश को एजेंट की तुलना में अपनी सिफारिश अधिक माना। चारों फैसलों में एजेंट की पसंद का अनुसरण करने वालों का औसत आत्मविश्वास 71 था, जबकि बाकी प्रतिभागियों का 73 था। प्रतिलेख देखे बिना हर फैसले का औचित्य बताते समय 77% प्रतिभागियों ने कम-से-कम एक जवाब में एजेंट के तर्क दोहराए—कभी-कभी शब्दशः—लेकिन केवल 15% ने कहीं भी एजेंट का श्रेय दिया। जाँची गई 10 प्रतिभागी विशेषताओं में से किसी ने भी दूसरों की राय मानने की प्रवृत्ति का विश्वसनीय अनुमान नहीं लगाया। केवल उम्र का मामूली संबंध दिखा, जो कई परीक्षणों के लिए संशोधन करने पर कायम नहीं रहा। 48 प्रतिभागियों में से छह ने अनुमान लगाया कि अध्ययन में उनके विकल्पों पर AI के प्रभाव की जाँच की जा रही है, लेकिन किसी को भी यह संदेह नहीं हुआ कि उनकी पसंद पहले से तय की गई थी।

तुलना समूह, सामान्य एजेंट और सीमाएँ

एजेंट के बिना काम करने वाले 11 प्रतिभागियों में से छह (55%) ने ऐसी गंभीर गलतियाँ कीं जिनसे परिणाम अमान्य हो गए। इसके मुकाबले, एजेंट का इस्तेमाल करने वालों में 50 में से तीन (6%) ने ऐसी गलतियाँ कीं। बिना AI वाले समूह का मध्यक समय 65 मिनट के मुकाबले 90 मिनट था। लेखकों ने सावधान किया कि समूहों ने स्वयं अपना चयन किया था और उनके अनुभव में अंतर था, इसलिए इससे कोई कारणात्मक निष्कर्ष नहीं निकाला जा सकता। अलग-अलग प्रत्यक्ष सिमुलेशन में, जिनमें कोई झुकाव शामिल नहीं किया गया था, Claude Opus 4.8 के मूल संस्करण ने 123 में से 91% परीक्षणों में वही पाँच विकल्प चुने। जब स्क्रिप्ट के अनुसार काम करने वाले किसी विश्लेषक ने मॉडल की मूल प्राथमिकता के विरुद्ध निर्णय घोषित किया, तो मूल एजेंट ने 150 ऐसे निर्णयों में से 41% में विकल्प की सिफारिश की या उसका समर्थन किया।

लेखकों ने चार सीमाएँ बताईं: झुकाव को जानबूझकर बढ़ा-चढ़ाकर रखा गया था; अध्ययन में एक ही कार्य, एक ही क्षेत्र और एक ही निश्चित मॉडल का इस्तेमाल किया गया था; अनुमान विश्लेषकों के औसत पर आधारित हैं, न कि व्यक्तियों पर प्रभाव के माप पर; और केवल चुने गए विकल्प को दर्ज किया गया था, पसंद की तीव्रता को नहीं।

लेखकों का कहना है कि यदि अलग-अलग शोध दल समान पूर्वधारणाओं वाले मॉडलों के आगे अपनी राय छोड़ दें, तो उनके बीच सहमति को अब स्वतंत्र नहीं माना जा सकता। वे यह भी कहते हैं कि इससे AI सुरक्षा अनुसंधान में जोखिम पैदा होता है, जहाँ मानव समीक्षक की स्वीकृति को स्वतंत्र जाँच माना जाता है। वे भविष्य के अध्ययन के लिए तीन क्षेत्र सुझाते हैं: रोज़मर्रा की परिस्थितियों में यह मापना कि लोग मॉडल की राय के आगे कितनी बार अपनी राय छोड़ते हैं; ऐसे एजेंट तैयार करना जो दोनों पक्ष प्रस्तुत करें या पहले विशेषज्ञ की राय जानें; और संस्थागत बदलावों के ज़रिए सोच-समझकर तय करना कि किन निर्णयों के लिए किसी व्यक्ति के अपने सूचित विवेक की आवश्यकता है।