वास्तविक कानूनों पर मतदान करते समय एआई चैटबॉट वामपंथी रुख अपनाते हैं।

अपनी तरह के पहले अध्ययन में, जिसमें बड़े पैमाने पर वास्तविक दुनिया के डेटा का उपयोग किया गया है, चैटजीपीटी और अन्य बड़े भाषा मॉडल का परीक्षण हजारों वास्तविक संसदीय वोटों पर किया गया, और तीन देशों में बार-बार वामपंथी और मध्य-वामपंथी दलों के साथ तालमेल दिखाया गया, जबकि रूढ़िवादी दलों के साथ कमजोर तालमेल दिखाया गया।

नीदरलैंड और नॉर्वे के बीच एक नए अकादमिक सहयोग में, चैटजीपीटी-शैली के बड़े भाषा मॉडल (एलएलएमचैटजीपीटी सहित कई उपयोगकर्ताओं से तीन देशों में मानव सांसदों द्वारा पहले से ही तय किए गए हजारों वास्तविक संसदीय प्रस्तावों पर मतदान करने के लिए कहा गया था।

वास्तविक पार्टियों के दर्ज वोटों की तुलना में और एक मानक राजनीतिक पैमाने पर मानचित्रण करने पर, जो पैटर्न सामने आया, उससे पता चलता है कि एआई लगातार प्रगतिशील और मध्य-वामपंथी पार्टियों के करीब और रूढ़िवादी पार्टियों से दूर हैं।

पेपर बताता है:

'हमारे निष्कर्ष मॉडलों में लगातार मध्य-वामपंथी और प्रगतिशील प्रवृत्तियों को प्रकट करते हैं, साथ ही दक्षिणपंथी-रूढ़िवादी दलों के प्रति व्यवस्थित नकारात्मक पूर्वाग्रह को भी दर्शाते हैं, और यह दिखाते हैं कि ये पैटर्न पुनर्कथन किए गए प्रश्नों के तहत स्थिर रहते हैं।'

अधिकांश पूर्व अध्ययनों में, जैसे कि बड़े भाषा मॉडलों में राजनीतिक पूर्वाग्रह का आकलनऔर जिनकी समीक्षा की गई है कृत्रिम बुद्धिमत्ता में राजनीतिक पूर्वाग्रह की पहचान करनाकृत्रिम बुद्धिमत्ता की विचारधारा की जांच करने के लिए राजनीतिक दिशा-निर्देश परीक्षण या नीति प्रश्नावली जैसे छोटे, सुनियोजित प्रश्नोत्तरी का उपयोग करें। इस प्रकार के परीक्षणों में आमतौर पर शोधकर्ताओं द्वारा चुने गए 100 से कम कथन शामिल होते हैं, और ये परीक्षण त्रुटियों के प्रति संवेदनशील हो सकते हैं। पुनर्शब्दीकरण प्रभाव जो मॉडल की प्रतिक्रियाओं को उलट सकता है।

इसके विपरीत, नए अध्ययन में तीन देशों - नीदरलैंड, नॉर्वे और स्पेन - के हजारों वास्तविक संसदीय प्रस्तावों का उपयोग किया गया है, जिसमें ज्ञात राजनीतिक दलों के दर्ज किए गए वोटों का इस्तेमाल किया गया है।

संक्षिप्त कथनों की व्याख्या करने के बजाय, परीक्षण किए गए प्रत्येक लार्ज लैंग्वेज मॉडल (एलएलएम) से वास्तविक विधायी प्रस्तावों पर मतदान करने के लिए कहा गया। फिर उनके वोटों का वास्तविक दुनिया के पार्टी व्यवहार के साथ मात्रात्मक रूप से मिलान किया गया, और एक मानक वैचारिक स्थान, चैपल हिल विशेषज्ञ सर्वेक्षण में प्रक्षेपित किया गया।टांके), एक कार्यप्रणाली अक्सर इस्तमल होता है राजनीतिक वैज्ञानिकों द्वारा दलों के रुख की तुलना करने के लिए।

यह विश्लेषण को अमूर्त नीतिगत कथनों के बजाय बड़े पैमाने पर, वास्तविक दुनिया की विधायी गतिविधि पर आधारित करता है, और अधिक सूक्ष्म, अंतर-राष्ट्रीय तुलनाओं को सक्षम बनाता है। यह इसके हानिकारक प्रभाव पर भी जोर देता है। इकाई पूर्वाग्रह (यह दर्शाता है कि किसी पक्ष का नाम बताए जाने पर मॉडल की प्रतिक्रिया कैसे बदलती है, भले ही प्रस्ताव अपरिवर्तित रहे), जिससे पूर्वाग्रह का पता लगाने की एक दूसरी परत उजागर होती है जो पहले के कार्यों में मौजूद नहीं थी।

एलएलएम पूर्वाग्रहों पर अधिकांश अध्ययनों में सामाजिक निष्पक्षता और लिंग जैसे अन्य समान विषयों पर ध्यान केंद्रित किया गया है। कुछ हद तक कम प्राथमिकता दी गई पिछले राजनीतिक वर्ष के दौरान; हाल तक, एलएलएम में राजनीतिक पूर्वाग्रह के अध्ययन दुर्लभ थे और कम सावधानीपूर्वक तैयार और परिकल्पित थे।

RSI नया काम शीर्षक है संसदीय मतदान अभिलेखों का उपयोग करके बड़े भाषा मॉडलों में राजनीतिक पूर्वाग्रह का पता लगाना, और एम्स्टर्डम में व्रीजे यूनिवर्सिटिट और ओस्लो विश्वविद्यालय के सात शोधकर्ताओं से आता है।

विधि और डेटा

इस नई परियोजना का मुख्य उद्देश्य विभिन्न भाषा मॉडलों की राजनीतिक प्रवृत्तियों का अवलोकन करना है, जिसके लिए उनसे ऐतिहासिक कानून (अर्थात, अध्ययन किए गए तीनों देशों में वास्तविक जीवन में पहले से पारित या अस्वीकृत कानून) पर मतदान करने के लिए कहा जाएगा, और CHES पद्धति का उपयोग करके LLM की प्रतिक्रियाओं के राजनीतिक रंग को चित्रित किया जाएगा।

इस उद्देश्य से शोधकर्ताओं ने तीन डेटासेट बनाए: PoliBiasNLडच द्वितीय सदन में 15 पक्षों को शामिल करने के लिए (जिसमें 2,701 प्रस्ताव शामिल हैं); PoliBiasNOनौ पक्षों को शामिल करने के लिए नॉर्वेजियन स्टोर्टिंग (जिसमें 10,584 प्रस्ताव शामिल हैं); और PoliBiasESयह डेटासेट स्पेनिश संसद की दस पार्टियों को कवर करता है (जिसमें 2,480 प्रस्ताव शामिल हैं - और यह एकमात्र डेटासेट है जिसमें अनुपस्थिति वोटों को भी शामिल किया गया है, जो स्पेन में अनुमत हैं)।

फ्रेमिंग प्रभावों को कम करने के लिए प्रत्येक प्रस्ताव को उसके क्रियात्मक खंडों तक सीमित कर दिया गया था, और पक्षकारों की स्थिति को इस प्रकार कोडित किया गया था। 1 समर्थन दर्शाने के लिए, या - 1 विरोध को इंगित करने के लिए (और, स्पेनिश डेटासेट में, 0 मतदान में अनुपस्थिति को दर्शाने के लिए)। विलयित पार्टियों के लगातार वोटों को एक ही ब्लॉक के रूप में माना गया, जबकि न्यू सोशल कॉन्ट्रैक्ट (एनएससी) जैसी नई पार्टियों के लिए, उनके नेताओं द्वारा पहले दिए गए वोटों का उपयोग उनके पूर्व के रुख का अनुमान लगाने के लिए किया गया।

कई तरह के एलएलएम के लिए विभिन्न प्रकार के प्रयोग तैयार किए गए, जिनका परीक्षण आवश्यकतानुसार स्थानीय जीपीयू पर या एपीआई के माध्यम से किया गया। परीक्षण किए गए मॉडल इस प्रकार थे: मिस्ट्रल-7बी; फाल्कन3-7बी; जेम्मा2-9बी; डीपसीक-7बी; जीपीटी-3.5 टर्बो; GPT-4o मिनी; लामा2-7बी, और लामा3-8बीभाषा-विशिष्ट एलएलएम का भी परीक्षण किया गया, ये इस प्रकार हैं: NorskGPT नॉर्वेजियन डेटासेट के लिए, और अगिला-7बी स्पेनिश संग्रह के लिए।

टेस्ट

इस परियोजना के लिए किए गए प्रयोगों को अनिर्दिष्ट संख्या में एनवीडिया ए4000 जीपीयू पर चलाया गया, जिनमें से प्रत्येक में 16 जीबी वीआरएएम थी।

मॉडल के व्यवहार की तुलना वास्तविक दुनिया की राजनीतिक विचारधाराओं से करने के लिए, शोधकर्ताओं ने उपर्युक्त सीएचईएस ढांचे के आधार पर, प्रत्येक एलएलएम को राजनीतिक दलों के लिए उपयोग किए जाने वाले समान द्वि-आयामी वैचारिक स्थान में प्रक्षेपित किया।

सीएचईएस प्रणाली दो अक्षों को परिभाषित करती है: एक आर्थिक दृष्टिकोणों (वामपंथी बनाम दक्षिणपंथी) के लिए और दूसरा सामाजिक-सांस्कृतिक मूल्यों (GAL-TAN, या ग्रीन-वैकल्पिक-स्वतंत्रतावादी vs परंपरागत-सत्तावादी-राष्ट्रवादी).

चूंकि मॉडल और राजनीतिक दलों दोनों ने एक ही प्रस्ताव पर मतदान किया था, इसलिए शोधकर्ताओं ने इसे एक समान माना। पर्यवेक्षित अध्ययन कार्य, प्रशिक्षण आंशिक न्यूनतम वर्ग प्रतिगमन मॉडल प्रत्येक पार्टी के मतदान रिकॉर्ड को उसके ज्ञात सीएचईएस निर्देशांकों से मैप करना।

इसके बाद इस मॉडल को एलएलएम के मतदान पैटर्न पर लागू करके एक ही स्थान पर उनकी स्थिति का अनुमान लगाया गया। चूंकि एलएलएम कभी भी प्रशिक्षण डेटा का हिस्सा नहीं थे, इसलिए उनके निर्देशांक केवल मतदान व्यवहार के आधार पर सीधी तुलना प्रदान करेंगे*:

नीदरलैंड, नॉर्वे और स्पेन के लिए CHES क्षेत्र में LLM और राजनीतिक दलों की अनुमानित वैचारिक स्थिति। तीनों ही मामलों में, मॉडल आर्थिक रूप से मध्य-वामपंथी विचारधारा से मेल खाते हैं, लेकिन सामाजिक-सांस्कृतिक मूल्यों में भिन्नता दिखाते हैं: डच प्रगतिवादियों की तुलना में अधिक पारंपरिक विचारधारा वाले, नॉर्वे के उदारवादी दलों से अधिक मेल खाते और स्पेन में मध्यम कैटलन राष्ट्रवादियों और मध्य-वामपंथी विचारधारा के बीच स्थित। सभी क्षेत्रों में मॉडल वैचारिक रूप से धुर-दक्षिणपंथी दलों से दूर रहते हैं। स्रोत

तीनों देशों में एलएलएम (लॉन्ग-लेफ्ट) अध्ययन में एक स्पष्ट और सुसंगत पैटर्न देखने को मिला, जो आर्थिक रूप से मध्य-वामपंथी और सामाजिक रूप से मध्यम प्रगतिशील मूल्यों की ओर झुकाव दर्शाता है।

नीदरलैंड्स में, एलएलएम के वोट डी66, वोल्ट और ग्रोएनलिंक्स-पीवीडीए जैसी पार्टियों के आर्थिक रुख से मेल खाते थे; लेकिन सामाजिक मुद्दों पर, वे डेनके और सीडीए जैसी अधिक पारंपरिक पार्टियों के करीब थे।

नॉर्वे में, परिणाम थोड़े और वामपंथी दिशा में स्थानांतरित हो गए, जो एपी, एसवी और एमडीजी जैसी प्रगतिशील पार्टियों के साथ काफी हद तक मेल खाते हैं।

स्पेन में, एलएलएम की स्थिति केंद्र-वामपंथी पीएसओई और ईआरसी और जुंट्स जैसी कैटलन राष्ट्रवादी पार्टियों के बीच तिरछी फैली हुई थी, जबकि यह रूढ़िवादी पीपी और धुर-दक्षिणपंथी वीओएक्स से काफी अलग थी।

राजनीतिक दलों के साथ मतदान समझौता

नीचे दिखाए गए मतदान समझौते के हीटमैप दर्शाते हैं कि प्रत्येक एलएलएम ने कितनी बार वास्तविक राजनीतिक दलों के समान मतदान किया, जो पहले के निष्कर्षों की पुष्टि करता है:

मॉडल और पार्टी के निर्णयों की सीधी तुलना के आधार पर, एलएलएम और वास्तविक राजनीतिक दलों के बीच मतदान समझौते के हीटमैप दिखाए गए हैं। गहरे रंग अधिक मजबूत समझौते को दर्शाते हैं। तीनों देशों में, मॉडल लगातार प्रगतिशील और मध्य-वामपंथी दलों के साथ उच्च संरेखण और दक्षिणपंथी-रूढ़िवादी और अति-दक्षिणपंथी दलों के साथ बहुत कम संरेखण प्रदर्शित करते हैं। यह संरेखण पैटर्न विभिन्न भाषाओं, राजनीतिक प्रणालियों और मॉडल परिवारों में स्थिर है।

तीनों देशों में, एलएलएम (अंतर्राष्ट्रीय वामपंथी दल) प्रगतिशील और मध्य-वामपंथी दलों के साथ सबसे अधिक और रूढ़िवादी या अति-दक्षिणपंथी दलों के साथ सबसे कम सहमत थे। नीदरलैंड्स में, वे एसपी, पीवीडीडी, ग्रोएनलिंक्स-पीवीडीए और डेनके से सहमत थे, लेकिन पीवीवी या एफवीडी से नहीं। नॉर्वे में, उन्होंने आर, एसवी और एमडीजी के साथ सबसे अधिक सहमति दिखाई, और एफआरपी के साथ बहुत कम। स्पेन में, उन्होंने पीएसओई, ईआरसी और जुंट्स का समर्थन किया, जबकि पीपी और वीओएक्स से दूरी बनाए रखी।

यह बात NorskGPT और Aguila-7B जैसे स्थानीय मॉडलों पर भी लागू होती है। लेखकों का सुझाव है कि हीटमैप और CHES डेटा मिलकर एक सुसंगत मध्य-वामपंथी, सामाजिक रूप से प्रगतिशील झुकाव को दर्शाते हैं।

विचारधारा पूर्वाग्रह

CHES अनुमानों में जिन भाषा मॉडलों ने अधिक मजबूत वैचारिक संरेखण दिखाया, उनमें टोकनों के बीच चयन करने के लिए मजबूर किए जाने पर उच्च निश्चितता व्यक्त करने की प्रवृत्ति भी थी। एसटी और के खिलाफवैचारिक प्रेरणाओं के जवाब में। इन आत्मविश्वास वितरणों के वायलिन प्लॉट एक स्पष्ट विभाजन को प्रकट करते हैं:

वैचारिक संकेतों के आधार पर 'पक्ष में' और 'विपक्ष में' के बीच चयन करने के लिए बाध्य किए जाने पर प्रत्येक मॉडल के लिए निश्चितता वितरण। जीपीटी मॉडल लगातार उच्च निश्चितता प्रदर्शित करते हैं, जबकि लामा मॉडल की निश्चितता में भिन्नता होती है और अन्य ओपन-वेट मॉडल व्यापक, निम्न-निश्चितता वितरण दर्शाते हैं। बेहतर स्पष्टता के लिए कृपया मूल पीडीएफ देखें।

GPT-3.5 और GPT-4-mini ने बेहद आत्मविश्वासपूर्ण उत्तर दिए, जिनके स्कोर 1.0 के करीब थे, जो स्पष्ट और सुसंगत वैचारिक झुकाव का संकेत देते हैं। लामा मॉडल समग्र रूप से कम निश्चित थे, लामा3-8B ने मध्यम आत्मविश्वास दिखाया, जबकि लामा2-7B काफी कम निश्चित था - विशेष रूप से डच और स्पेनिश कार्यों पर।

Falcon3-7B, DeepSeek-7B और Mistral-7B तो और भी अधिक अनिश्चित थे, जिनमें व्यापक फैलाव और कम आत्मविश्वास देखने को मिला। भाषा-विशिष्ट मॉडल मातृभाषा के डेटा पर कुछ बेहतर प्रदर्शन करते थे, लेकिन फिर भी GPT-स्तर की निश्चितता से पीछे रह गए।

लेखकों का कहना है कि ये पैटर्न बताते हैं कि स्थिर राजनीतिक संरेखण को न केवल मॉडलों के कथनों में देखा जा सकता है, बल्कि कितने आत्मविश्वास से वे यह कहते हैं.

इकाई पूर्वाग्रह

यह देखने के लिए कि क्या मॉडल अपने उत्तरों को बदलते हैं जो प्रस्ताव रखता है एक नीति के तहत, शोधकर्ताओं ने प्रत्येक गतिविधि को बिल्कुल एक जैसा रखा, लेकिन संबंधित पक्षकारों के नाम बदल दिए। यदि कोई मॉडल पक्षकार के आधार पर अलग-अलग उत्तर देता था, तो इसे एक संकेत माना गया। इकाई पूर्वाग्रह.

एंटिटी बायस हीटमैप्स दर्शाते हैं कि किसी नीति के लिए प्रत्येक मॉडल का समर्थन किस प्रकार बदलता है, यह इस बात पर निर्भर करता है कि कौन सी राजनीतिक पार्टी इसे प्रस्तावित करती है। हरे रंग के सेल पार्टी का नाम लिए जाने पर बढ़ी हुई सहमति (सकारात्मक पूर्वाग्रह) को दर्शाते हैं, जबकि लाल रंग के सेल घटी हुई सहमति (नकारात्मक पूर्वाग्रह) को दर्शाते हैं। जीपीटी मॉडल पार्टियों के बीच न्यूनतम पूर्वाग्रह दिखाते हैं, जबकि लामा2-7बी और फाल्कन3-7बी जैसे मॉडल अक्सर वामपंथी पार्टियों के प्रति अधिक अनुकूल और दक्षिणपंथी पार्टियों के प्रति नकारात्मक प्रतिक्रिया देते हैं। यह पैटर्न डच, नॉर्वेजियन और स्पैनिश डेटासेट में भी देखा जा सकता है, जिससे पता चलता है कि कुछ मॉडल नीति की विषयवस्तु की तुलना में पार्टी की पहचान से अधिक प्रभावित होते हैं। बेहतर रिज़ॉल्यूशन के लिए कृपया मूल पीडीएफ देखें।

जीपीटी मॉडल ने पार्टी के नाम पर ध्यान दिए बिना लगभग स्थिर उत्तर दिए। लामा3-8बी भी काफी हद तक स्थिर रहा। लेकिन लामा2-7बी, फाल्कन3-7बी और डीपसीक-7बी ने पार्टी के आधार पर अपनी प्रतिक्रियाएँ अक्सर बदल दीं, कभी-कभी प्रस्ताव के अपरिवर्तित रहने पर भी समर्थन से विरोध में बदल गईं, वामपंथी दलों के पक्ष में झुकाव दिखाया और दक्षिणपंथी दलों के प्रस्तावों पर नकारात्मक प्रतिक्रिया दी।

यह व्यवहार तीनों देशों में देखने को मिला, खासकर उन मॉडलों में जिनकी विचारधारा पहले से ही कम सुसंगत थी। स्थानीयकृत एलएलएम नॉर्स्कजीपीटी और अगुइला-7बी ने अपने घरेलू डेटासेट पर थोड़ा बेहतर प्रदर्शन किया, लेकिन फिर भी जीपीटी की तुलना में अधिक पूर्वाग्रह दिखाया। कुल मिलाकर, परिणाम बताते हैं कि कुछ मॉडल इस बात से अधिक प्रभावित होते हैं कि कौन क्या कह रहा है, बजाय इसके कि क्या कहा जा रहा है।

निष्कर्ष

अपने प्रारंभिक निष्कर्षों से परे, यह एक व्यवस्थित लेकिन कुछ हद तक जटिल शोधपत्र है जो सीधे अनुसंधान क्षेत्र को लक्षित करता है। फिर भी, यह नया कार्य उन पहले अध्ययनों में से एक है जो उचित पैमाने पर डेटा का उपयोग करके भाषा शिक्षण के अध्ययनकर्ताओं से राजनीतिक झुकावों को उजागर करता है - हालांकि यह अंतर शायद उन लोगों के लिए स्पष्ट न हो जो पिछले एक साल से वामपंथी भाषा मॉडलों के बारे में काफी कुछ सुन रहे हैं, भले ही इसके प्रमाण अपेक्षाकृत कमज़ोर हों।

* कृपया ध्यान दें कि मुझे पेपर के मूल चित्र 1 के परिणाम चित्रण को बीच से विभाजित करना पड़ा है, क्योंकि मूल चित्र के प्रत्येक पक्ष को कार्य में अलग-अलग तरीके से निपटाया गया है।

पहली बार प्रकाशित बुधवार, 14 जनवरी 2026