फ्लैशी चार्ट्स भी ‘बुरे’ शोध को विश्वसनीय बना सकते हैं

नई रिसर्च में पाया गया है कि जटिल और विस्तृत चार्ट्स का उपयोग करके लोगों को पूर्वाग्रही एआई निर्णयों पर विश्वास करने के लिए प्रेरित किया जा सकता है, भले ही वे स्पष्ट रूप से अनुचित हों।

विज्ञान के साथ किसी को ‘अंधा’ करने की प्रथा वर्तमान एआई युग से पहले की है, लेकिन यह तर्क दिया जा सकता है कि यह इस युग में परिपूर्ण हो रही है – कम से कम इसलिए कि वैज्ञानिक पत्र प्रस्तुतियों की हालिया वृद्धि ने संकेत-शोर अनुपात को अनुकूल बना दिया है, और ‘सस्ते तरीके’ संभवतः अधिक सामान्य हो गए हैं।

पुराने कहावत ‘झूठ, धोखाधड़ी और आंकड़े’ के अनुसार, नई प्रणालियों और वैज्ञानिक साक्ष्य को प्रस्तुत करने में जब दावों को सही ठहराने के लिए पाठकों को धोखा देने या गुमराह करने के लिए केंद्रीय उपकरण ग्राफ और डेटा विज़ुअलाइज़ेशन हैं।

2019 में एक अध्ययन में, पेंसिलवेनिया के ग्रामीण क्षेत्रों में भाग लेने वालों पर ग्राफ के प्रभाव का अध्ययन किया गया, जिसमें लेखकों ने देखा:

‘जिन लोगों पर दुर्व्यवहार या लत का प्रभाव पड़ा था, वे उन पदार्थों का प्रतिनिधित्व करने वाले ग्राफ की ओर आकर्षित हुए। लोग अक्सर भौगोलिक जानकारी वाले ग्राफ की गुणवत्ता का निर्धारण इस आधार पर करते थे कि उनके घर राज्य को ढूंढना कितना आसान या मुश्किल था।’

‘अन्य लोग ग्राफ को अपनी समझ के आधार पर नहीं, बल्कि दूसरे लोगों को संवाद करने की इसकी कथित प्रभावशीलता के आधार पर मूल्य देते थे।’

‘अंत में, एक प्रतिभागी ने यहां तक सुझाव दिया कि वे स्थानीय समाचार स्रोतों से दृश्यों पर अधिक ध्यान देंगे, न कि राष्ट्रीय से।’

2019 के एक अध्ययन में पेंसिलवेनिया के ग्रामीण क्षेत्रों के निवासियों को दिखाए गए कुछ ग्राफ। स्रोत

डेटा ग्राफ का催眠कारी प्रभाव नई मशीन लर्निंग युग में विशेष रूप से प्रासंगिक हो रहा है, जहां विश्वास एआई अर्थव्यवस्था की देखभाल के लिए महत्वपूर्ण है (और, तर्क दिया जा सकता है, एक संभावित दुर्घटना को टालने के लिए)।

2024 के यूएस/यूके सहयोग में “ट्रस्ट जंक और इविल नॉब्स: कैलिब्रेटिंग ट्रस्ट इन एआई विज़ुअलाइज़ेशन” शीर्षक से एक पेपर प्रस्तुत किया गया, जिसमें “ट्रस्ट जंक” की अवधारणा को पेश किया गया: एक एक्सएआई विज़ुअलाइज़ेशन “जिसका मॉडल या डेटा के साथ कोई अर्थपूर्ण संबंध नहीं है और जो विश्वास को बढ़ाने के लिए नियोजित किया जाता है“।

पेपर ‘ट्रस्ट जंक और इविल नॉब्स: कैलिब्रेटिंग ट्रस्ट इन एआई विज़ुअलाइज़ेशन’ से, एक उदाहरण जिसमें डेटा को पूर्व निर्धारित उद्देश्य की पूर्ति के लिए तोड़ा-मरोड़ा जाता है (दाएं), न कि स्पष्ट रूप से प्रस्तुत किया जाता है (बाएं)। स्रोत

एक त्वरित अध्ययन

ट्रस्ट जंक की अवधारणा को प्रस्तुत किए जाने के बाद, इसे परीक्षण में नहीं रखा गया – एक उपेक्षा जिसे एक नए पेपर द्वारा संबोधित किया गया है, जिसमें प्रतिभागियों को एक कथित एआई अध्ययन के परिणाम प्रस्तुत किए गए, जिसमें यह बताया गया कि एक समूह के उम्मीदवारों में से कौन संभवतः अमेरिकी कानूनी प्रवेश परीक्षा में उत्तीर्ण होंगे।

यदि कोई ध्यान से देखता है, तो यह देखा जा सकता है कि फिल्टरिंग मानदंड था a) सभी अश्वेत पुरुष और b) बाकी सभी – जिसमें यह भविष्यवाणी की गई थी कि सभी अश्वेत पुरुष परीक्षा में असफल होंगे:

लेखकों के प्रयोगों में उपयोग किए गए एक एनोटेटेड स्टिमुलस का एक उदाहरण, जिसमें एक मॉडल निर्णय (सी) के बारे में दिखाया गया है कि एक उम्मीदवार (बी) कानूनी प्रवेश परीक्षा में उत्तीर्ण होगा या नहीं, साथ ही ‘ट्रस्ट जंक’ (ए, डी, ई, एफ) के रूप में कार्य करने वाले व्याख्यात्मक घटक। स्रोत

अधिकांश प्रतिभागियों ने मॉडल की भविष्यवाणियों के साथ सहमति व्यक्त की और इसे न्यायसंगत और विश्वसनीय के रूप में दर्जा दिया, जिसमें सहमति, विश्वास और कथित न्यायसंगतता सभी बढ़ गई क्योंकि अधिक अप्रासंगिक चार्ट और विवरण जोड़े गए – यहां तक कि कम लोगों ने स्पष्ट और स्पष्ट जातिवादी पूर्वाग्रह को भी देखा।

कुछ उपयोगकर्ताओं ने अध्ययन का विरोध किया, लेकिन स्पष्ट रूप से केंद्रीय मुद्दे से संबंधित कारणों से नहीं:

‘हमने 19 उदाहरणों को नोट किया जहां प्रतिभागियों ने हमारे मॉडल को स्पष्ट रूप से न्यायसंगत बताया (जैसे, [एक प्रतिभागी] ने कहा, “यह न्यायसंगत है क्योंकि इसमें कोई जातीय या लिंग भेदभाव नहीं है।”)। फिर भी, प्रतिभागियों ने कभी-कभी मॉडल के साथ असहजता व्यक्त की। [एक प्रतिभागी] ने कहा कि वे “इसके लिए किस प्रकार के ‘अंधकार’ का उपयोग किया जा सकता है” के साथ चिंतित थे।’

हालांकि, तीन अध्ययन समूहों में से कोई भी वास्तविक समस्या की पहचान नहीं कर सका।

लेखक निष्कर्ष निकालते हैं:

‘संक्षेप में, हमने पाया कि ट्रस्ट जंक काम करता है: प्रतिभागी या तो “शांत” थे या अप्रासंगिक जानकारी से “सुन्न” हो गए थे।

‘यह सभी हेरफेर और प्रभाव एक मॉडल के संदर्भ में हुआ, जो सतही और गहराई से अनुचित था, ठीक वह मामला जहां हमें आशा होगी कि एक्सएआई दर्शकों को सटीक निर्णय लेने में सक्षम बनाएगा।’

चूंकि हमें यह सलाह दी जा रही है कि एआई क्या बता रहा है उसे जांचें (चाहे संदिग्ध स्व-सेवा प्रेरणा के लिए, या त्रुटि-प्रवण आउटपुट के माध्यम से), हम शायद शीर्षकों के पीछे गहराई से जाने और शोध पत्रों, कंपनी तिमाही रिपोर्ट, और विभिन्न अन्य दूर से तटस्थ जानकारी वितरण प्रारूपों के स्रोत सामग्री का विश्लेषण करने के लिए प्रेरित हो सकते हैं।

लेकिन क्या हम उन ‘सुखदायक’ ग्राफों पर अधिक ध्यान देने के लिए तैयार हैं जो हमें सटीकता के बारे में आश्वस्त करते हैं – या कम से कम उस ‘विश्वसनीयता के मायाजाल’ को छोड़ दें जो ग्राफ की बारिश पैदा कर सकता है?

नई पेपर का शीर्षक “ट्रस्ट जंक” लीड्स टू अन्यायपूर्ण समर्थन के लिए उच्च भेदभावपूर्ण पूर्वानुमान मॉडल” है, और यह बोस्टन, मैसाचुसेट्स में नॉर्थईस्टर्न विश्वविद्यालय के तीन शोधकर्ताओं से आया है। एक सहायक साइट भी उपलब्ध कराई गई है।

विधि

लेखकों ने एक्सएआई स्पष्टीकरणों में ‘ट्रस्ट जंक’ पर एक बीच-विषयों वाले क्राउडसोर्स्ड प्रयोग (अर्थात, विभिन्न स्थितियों में अलग-अलग प्रतिभागियों को सौंपा गया) आयोजित किया, जिसमें यह परीक्षण किया गया कि क्या तकनीकी रूप से सही लेकिन अप्रासंगिक विवरण की बढ़ती मात्रा एक पूर्वाग्रही मॉडल को न्यायसंगत और उपयोगी मानने के लिए उपयोगकर्ताओं को राजी कर सकती है।

प्रेरणा पिछले कार्य से मिली, जिसके परिणामस्वरूप एक्सएआई डैशबोर्ड विभिन्न स्पष्टीकरण तकनीकों को एक एकल इंटरफ़ेस में मिलाते हैं।

उल्लेखित अत्यधिक ‘पूर्वाग्रही’ मॉडल के लिए, शोधकर्ताओं ने अध्ययन के लिए ‘जंक’ स्पष्टीकरण विकसित किए, जिसमें स्पष्टीकरण जानबूझकर ‘भ्रामक’ डेटा प्रस्तुति तकनीकों के आसपास थीम किए गए थे:

‘हमने अपने मॉडल के द्विआधारी वर्गीकरण कार्य के लिए अत्यधिक जानकारी प्रदान की। हमारे द्वारा जोड़े गए बड़ी मात्रा में जटिल दिखने वाले लेकिन अंततः अप्रासंगिक विवरण का उद्देश्य उपयोगकर्ता अध्ययन प्रतिभागियों को अभिभूत करना था, न कि वास्तव में उपयोगी डेटा प्रदान करना।

‘यह तकनीक [लाक्षणिक रूप से] उपयोगकर्ता को अपनी असमर्थता को स्वीकार करने के लिए सुन्न कर देती है […]।’

अध्ययन में पिछले विवाद का उपयोग किया गया था जो एआई ग्रेडिंग के आसपास अंतर्राष्ट्रीय बैकलौरेट और सामान्य प्रमाणपत्र शिक्षा उन्नत स्तर की परीक्षाओं में, कानून स्कूल प्रवेश बार पास डेटासेट का उपयोग करते हुए, जिसमें 1991-1997 से 20,000 उम्मीदवारों के लिए जनसांख्यिकी, शैक्षिक और परिणाम डेटा शामिल है।

इस डेटा का उपयोग एक जानबूझकर पूर्वाग्रही मॉडल का निर्माण करने के लिए किया गया था, जो काले पुरुष उम्मीदवारों के लिए असफलता की भविष्यवाणी करता था, जबकि सभी अन्य को पास करता था; फिर भी, मॉडल 93.7% सटीकता हासिल करता है, जो जाति और लिंग के पार वर्ग असंतुलन के कारण है।

एक ‘प्राधिकरण की अपील’ रणनीति भी परीक्षण की गई, जिसमें एक प्रतिष्ठित विश्वविद्यालय संबंधन, डेटासेट आकार, और भ्रामक सटीकता जैसे सतही रूप से प्रभावशाली संकेत जोड़े गए थे।

इसके अलावा, मॉडल की निर्भरता को उजागर करने वाले उपायों को छोड़ दिया गया और केवल अनुकूल परिणाम प्रस्तुत किए गए। एक छोटा सेट समान उम्मीदवारों को उनके वास्तविक परीक्षा परिणामों के साथ प्रस्तुत किया गया, न कि मॉडल की भविष्यवाणियों के साथ – और यह काले पुरुष उम्मीदवारों को असफलता के लिए सुसंगत पैटर्न को मास्क करने में मदद करता है।

मॉडल के कार्य करने के तरीके के बारे में प्रतिभागियों की व्याख्या को आकार देने के लिए, जानकारी को इस तरह प्रस्तुत किया गया कि प्रतिभागियों को सरल लेकिन भ्रामक स्पष्टीकरण बनाने के लिए प्रोत्साहित किया गया। सभी उपलब्ध सुविधाओं के बारे में विवरण दिखाया गया, जिससे यह धारणा बनी कि कई कारक निर्णय को प्रभावित करते हैं, हालांकि केवल जाति और लिंग का उपयोग किया गया था। एक निराशावादी जोर व्यक्तिगत विशेषताओं पर भी प्रतिभागियों को गलत और अस्पष्ट कहानियां बनाने के लिए प्रोत्साहित करता है कि क्यों एक उम्मीदवार पास या फेल हो सकता है।

पीड़ित

परीक्षण समूह में, प्रत्येक स्पष्टीकरण को तीन ट्रस्ट जंक स्तरों में से एक के लिए सौंपा गया था जो तीन अध्ययन स्थितियों में से प्रत्येक में था: बेसलाइन स्थिति में प्रतिभागियों ने केवल बुनियादी प्रोवेनेंस, एक उम्मीदवार प्रोफ़ाइल, और मॉडल के निर्णय को देखा; मॉडल स्थिति में वे सटीकता आंकड़े भी देखे; और एवरीथिंग स्थिति में वे सुविधा हिस्टोग्राम और प्रशिक्षण डेटा से समान उम्मीदवारों के प्रोफाइल भी देखे।

अध्ययन एक संस्थागत समीक्षा बोर्ड द्वारा अनुमोदित किया गया था, और प्रोलिफिक पर आयोजित किया गया था, जिसमें प्रतिभागियों को प्रति घंटे $15 का भुगतान किया गया था, और यादृच्छिक रूप से स्थितियों में सौंपा गया था।

प्रत्येक प्रतिभागी ने आठ बार परीक्षा उम्मीदवार प्रोफाइल की समीक्षा की, और判断 किया कि प्रत्येक पास होगा या नहीं, सहमति का उपयोग विश्वास माप के रूप में किया गया था, उसके बाद प्रश्नावली का उपयोग विश्वास और न्यायसंगतता का मूल्यांकन करने के लिए किया गया था, और बेसलाइन, मॉडल, और एवरीथिंग स्थितियों में क्रमशः 28, 27, और 28 प्रतिभागियों का एक अंतिम नमूना।

लेखकों ने तर्क दिया कि अधिक से अधिक अप्रासंगिक जानकारी जोड़ने से मॉडल को ‘फेयरवॉश’ करने के लिए पर्याप्त विश्वास पैदा हो सकता है, जिससे इसके आउटपुट में अवांछित विश्वास पैदा हो सकता है। उन्होंने उम्मीद की कि मॉडल और एवरीथिंग स्थितियों में प्रतिभागी बेसलाइन स्थिति में उन लोगों की तुलना में उच्च सहमति और मजबूत न्यायसंगतता, विश्वसनीयता, और उपयोगिता की धारणा दिखाएंगे। उन्होंने प्रतिभागियों की लिखित स्पष्टीकरणों का विश्लेषण किया, यह देखने के लिए कि योगदानकर्ता मॉडल के निर्णयों को कैसे समझते हैं, यह देखने पर केंद्रित कि क्या उन्होंने इसके पूर्वाग्रह को देखा या प्रदान की गई जानकारी में अंतराल।

परीक्षण परिणाम

मॉडल सहमति के संदर्भ में, मानव अध्ययन प्रतिभागियों ने सही परिणाम की पहचान 66.6% समय के लिए की, लेकिन मॉडल के साथ 73.9% समय के लिए सहमति व्यक्त की – यह दिखाते हुए कि मॉडल के निर्णयों का पालन करने की प्रवृत्ति जब वे गलत थे। यह प्रभाव अधिक व्याख्यात्मक विवरण जोड़े जाने के साथ मजबूत हुआ, जिसमें सबसे विस्तृत स्थिति ने सहमति को 82.6% तक बढ़ा दिया, और प्रतिभागियों को गलत तरीके से मॉडल के प्रति समर्पण करने की संभावना को बढ़ा दिया:

सहमति (बाएं), विश्वास (मध्य), और संतुष्टि (दाएं) के लिए समग्र स्कोर; ‘एवरीथिंग’ स्थिति में प्रतिभागी, जिन्हें न्यायसंगतता के लिए प्रासंगिक व्याख्यात्मक सामग्री के साथ अतिरिक्त व्याख्यात्मक सामग्री का सामना करना पड़ा, उन्होंने सभी उपायों में काफी उच्च स्कोर की सूचना दी, हालांकि मॉडल समान और स्पष्ट रूप से अनुचित बना रहा।

विश्वास रेटिंग स्थिति द्वारा काफी भिन्न थी, एवरीथिंग स्थिति में प्रतिभागियों ने बेसलाइन स्थिति (एम = 16.8) की तुलना में उच्च विश्वास (एम = 25.3) की सूचना दी, जबकि मॉडल स्थिति (एम = 20.1) ने दोनों से काफी नहीं भिन्न किया।

व्याख्या के साथ संतुष्टि स्थिति द्वारा काफी भिन्न थी, एवरीथिंग स्थिति में प्रतिभागियों ने अन्य दो स्थितियों (एम = 26.4) की तुलना में उच्च संतुष्टि (एम = 34.2) की सूचना दी।

प्रतिभागियों ने न्यायसंगतता का मूल्यांकन चार प्रश्नों पर सात-बिंदु स्केल पर किया, जिसमें लिंग पूर्वाग्रह, समग्र पूर्वाग्रह, और नैतिकता शामिल थी, जिनमें से कोई भी स्थिति में महत्वपूर्ण अंतर नहीं था:

न्यायसंगतता के पार जाति और लिंग, पूर्वाग्रह की अनुपस्थिति, और समग्र नैतिकता के लिए प्रतिभागी रेटिंग्स का वितरण।

जाति के पार न्यायसंगतता के लिए एक अंतर देखा गया, जहां बेसलाइन समूह ने मॉडल को सबसे कम न्यायसंगत (एम = 3.9) के रूप में दर्जा दिया, जबकि मॉडल और एवरीथिंग समूहों ने इसे उच्च (एम = 4.8) दर्जा दिया। अधिक चिंता का विषय यह है कि सबसे बड़ा हिस्सा प्रतिभागियों जिन्होंने स्पष्ट रूप से अनुचित मॉडल को न्यायसंगत के रूप में मूल्यांकन किया, दो समूहों से आया जिन्हें सबसे अधिक व्याख्यात्मक विवरण दिखाया गया था – जो इसके पूर्वाग्रह को पहचानने में सबसे कम सक्षम थे।

गुणवत्ता नियंत्रण

गुणात्मक प्रतिक्रियाओं से पता चला कि जिन प्रतिभागियों को सबसे कम जानकारी दी गई थी, वे मॉडल के साथ समस्याओं को देखने की संभावना अधिक थी – विशेष रूप से इसकी जाति और लिंग पर निर्भरता। वे महत्वपूर्ण विवरण गायब होने की संभावना अधिक थे।

इसके विपरीत, जिन्हें अधिक विस्तृत स्पष्टीकरण दिखाए गए, उन्होंने इन चिंताओं को कम बार उठाया। फिर भी, केवल तीन प्रतिभागियों ने सभी स्थितियों में मॉडल के निर्णयों को चलाने वाले मुख्य कारकों की आंशिक समझ दिखाई; और किसी ने भी पूरी तरह से नहीं पहचाना कि यह कैसे काम करता है।

ग्राफ जो दिखाते हैं कि प्रतिभागियों ने संभावित जाति या लिंग पूर्वाग्रह और गायब व्याख्यात्मक जानकारी की सूचना दी कितनी बार, जिसमें उच्च स्तर की व्याख्यात्मक विवरण को कम प्रतिभागियों द्वारा पूर्वाग्रह या गायब जानकारी की रिपोर्ट करने के साथ जोड़ा गया – हालांकि मॉडल केवल जाति और लिंग पर निर्भर करता है।

कई प्रतिभागियों ने मॉडल को स्पष्ट रूप से न्यायसंगत के रूप में वर्णित किया, जिसमें 19 ऐसे प्रतिक्रियाएं दर्ज की गईं, हालांकि इसका स्पष्ट पूर्वाग्रह था।

इस बीच, कुछ असहजता भी सामने आई, जिसमें कई प्रतिभागियों ने चिंता व्यक्त की कि ऐसी प्रणाली का उपयोग कैसे किया जा सकता है, और 15 प्रतिक्रियाएं यह प्रश्न उठाती हैं कि क्या मॉडल व्यक्तिगत उम्मीदवारों की जटिलता को वास्तव में कैप्चर कर सकता है।

लेखकों का बयान है:

‘केवल एक अल्पसंख्यक प्रतिभागियों ने मॉडल को अनुचित या पूर्वाग्रही बताया। जिन कुछ प्रतिभागियों ने मॉडल के साथ चिंताओं की सूचना दी, वे मॉडल में खामियों के कारणों को सटीक रूप से व्यक्त करने में असमर्थ थे, और महत्वपूर्ण मॉडल जानकारी की अनुपस्थिति में, अनौपचारिक, अक्सर गलत तर्क का उपयोग करके मॉडल गलत या अनुचित क्यों हो सकता है, इसकी व्याख्या करने के लिए।’

पेपर निष्कर्ष निकालता है*^†:

‘जबकि हमारे द्वारा उठाए गए कुछ मुद्दों को दर्शकों में डेटा साक्षरता में वृद्धि से संबोधित किया जा सकता है, शिक्षा अकेले पर्याप्त नहीं है (यहां तक कि स्व-वर्णित एआई विशेषज्ञ भी अक्सर व्याख्या करते हैं या एक्सएआई तकनीकों को समझने में विफल रहते हैं)।

‘हम हुलमैन एट अल के दावे की पुष्टि करते हैं: एआई स्पष्टीकरणों की सफलता का मूल्यांकन केवल तभी किया जा सकता है जब ऐसे स्पष्टीकरणों के उद्देश्यों पर विचार किया जाता है।

‘हम समुदाय से एक्सएआई स्पष्टीकरणों के वाकप्रवीण उद्देश्यों और उनकी हेरफेर करने वाली शक्ति के रूप में संवादात्मक कला के रूप में ध्यान देने का आग्रह करते हैं। ‘

निष्कर्ष

जैसा कि यह स्पष्ट हो रहा है कि अग्रिम मॉडल किस हद तक ‘बोगस’ ग्राफ के साथ बयानों को ‘सजा’ सकते हैं, यह स्पष्ट है कि न केवल एआई-जनित ग्राफ पर अधिकार के रूप में भरोसा नहीं किया जाना चाहिए, बल्कि सामान्य ‘वातावरण’ प्रभाव को भी छोड़ देना चाहिए जो साथ आने वाले दृश्यों का कारण बनता है – जैसा कि गहरे नकली द्वारा विश्वास का क्षरण हुआ है।

यह विकास स्पष्ट रूप से चिंताजनक है, क्योंकि यह मीडिया में देखे और सुने जाने वाले की सख्ती से मूल्यांकन करने की जनता की इच्छा में एक और ‘थकान बिंदु’ का प्रतिनिधित्व करता है, और गलत सूचना में एक प्रकार की ‘अंतिम आत्मसमर्पण’ का जोखिम है।

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलना।

^† लेखकों का मूल प्रारूप, मेरा नहीं।

सोमवार, 20 जुलाई, 2026 को पहली बार प्रकाशित।