Anderson का एंगल
एआई चैटबॉट्स वास्तविक कानूनों पर वोट देने में बाएं झुकाव दिखाते हैं

मुख्य बिंदुबड़े भाषा मॉडल तीन देशों में वास्तविक संसदीय प्रस्तावों पर लगातार केंद्र-वाम दलों के…
और देखें
- बड़े भाषा मॉडल तीन देशों में वास्तविक संसदीय प्रस्तावों पर लगातार केंद्र-वाम दलों के पक्ष में मतदान करते हैं।
- कुछ मॉडल केवल इस आधार पर अपनी नीति समर्थन बदल देते हैं कि प्रस्ताव किस राजनीतिक दल द्वारा प्रस्तुत किया गया है।
- जीपीटी मॉडल अपने वामपंथी मतदान में उच्च आत्मविश्वास दिखाते हैं, जबकि ओपन-वेट मॉडल अधिक संकोची होते हैं।
वास्तविक दुनिया के डेटा का उपयोग करने वाले पहले अध्ययन में, ChatGPT और अन्य बड़े भाषा मॉडल को तीन देशों में हजारों वास्तविक संसदीय मतों पर परीक्षण किया गया, और बार-बार बाएं और केंद्र-बाएं दलों के साथ संरेखित किया गया, जबकि रूढ़िवादी दलों के साथ कमजोर संरेखण दिखाया गया।
नीदरलैंड्स और नॉर्वे के बीच एक नए अकादमिक सहयोग में, ChatGPT-शैली के बड़े भाषा मॉडल (एलएलएम) – जिनमें ChatGPT खुद शामिल है – को तीन देशों में मानव विधायकों द्वारा पहले से ही निर्णित वास्तविक संसदीय प्रस्तावों पर वोट देने के लिए कहा गया था।
जब वास्तविक दलों के रिकॉर्ड किए गए वोटों की तुलना में की गई, और एक मानक राजनीतिक पैमाने पर मैप किया गया, तो जो पैटर्न सामने आया वह एआई को लगातार प्रगतिशील और केंद्र-बाएं दलों के करीब और रूढ़िवादी दलों से दूर रखा।
इस पेपर में कहा गया है:
‘हमारे निष्कर्ष मॉडलों में केंद्र-बाएं और प्रगतिशील प्रवृत्तियों को लगातार प्रकट करते हैं, साथ ही दाएं-रूढ़िवादी दलों के प्रति नकारात्मक पूर्वाग्रह को भी दिखाते हैं, और यह दिखाते हैं कि ये पैटर्न पुनर्लिखित प्रॉम्प्ट के तहत स्थिर रहते हैं।’
अधिकांश पूर्व अध्ययन, जैसे बड़े भाषा मॉडल में राजनीतिक पूर्वाग्रह का मूल्यांकन, और एआई में राजनीतिक पूर्वाग्रह की पहचान में समीक्षा की गई, वे राजनीतिक दिशासूचक परीक्षणों का उपयोग करते हैं, या नीति प्रश्नावली का उपयोग करके एक एआई के विचारों की जांच करने के लिए। इस प्रकार के परीक्षण आमतौर पर 100 से कम बयानों का उपयोग करते हैं, जिन्हें शोधकर्ताओं द्वारा चुना जाता है, और पुनः लेखन प्रभाव के प्रति संवेदनशील हो सकते हैं जो एक मॉडल की प्रतिक्रियाओं को उलट सकते हैं।
इसके विपरीत, नया अध्ययन तीन देशों – नीदरलैंड्स, नॉर्वे और स्पेन – से वास्तविक संसदीय प्रस्तावों के हजारों का उपयोग करता है, जिसमें ज्ञात राजनीतिक दलों से रिकॉर्ड किए गए वोट शामिल हैं।
लघु बयानों की व्याख्या करने के बजाय, प्रत्येक बड़े भाषा मॉडल (एलएलएम) का परीक्षण वास्तविक विधायी प्रस्तावों पर वोट देने के लिए किया गया था। इसके बाद उनके वोटों को वास्तविक दुनिया की पार्टी व्यवहार के खिलाफ मात्रात्मक रूप से मेल खाता था, और एक मानक विचारधारात्मक स्थान में प्रक्षेपित किया गया, एक चैपल हिल विशेषज्ञ सर्वेक्षण (सीएचईएस), एक विधि जो अक्सर राजनीतिक वैज्ञानिकों द्वारा पार्टी स्थितियों की तुलना करने के लिए उपयोग की जाती है।
यह विश्लेषण को वास्तविक दुनिया की विधायी गतिविधि में आधारित बनाता है, साथ ही साथ अमूर्त नीतिगत बयानों के बजाय, और अधिक सूक्ष्म, अंतरराष्ट्रीय तुलना की अनुमति देता है। यह एंटिटी पूर्वाग्रह के हानिकारक प्रभाव पर भी जोर देता है (कि कैसे मॉडल की प्रतिक्रिया एक पार्टी के नाम का उल्लेख किए जाने पर बदलती है, भले ही प्रस्ताव अपरिवर्तित रहे), एक दूसरे स्तर की पूर्वाग्रह का पता लगाने को रोशन करता है जो पूर्व कार्य में मौजूद नहीं है।
बड़े भाषा मॉडलों में पूर्वाग्रह के अधिकांश अध्ययन सामाजिक न्याय और लिंग जैसे विषयों पर केंद्रित रहे हैं, जिनकी प्राथमिकता पिछले राजनीतिक वर्ष में कुछ कम हुई है। हाल तक राजनीतिक पूर्वाग्रह के अध्ययन अपेक्षाकृत कम थे और उनके शोध-साधन तथा डिजाइन भी कम विकसित थे।
नया कार्य शीर्षक बड़े भाषा मॉडल में राजनीतिक पूर्वाग्रह का पता लगाना संसदीय वोटिंग रिकॉर्ड का उपयोग करके है, और नीदरलैंड्स के व्रीज यूनिवर्सिटी एट एम्स्टर्डम और नॉर्वे के ओस्लो विश्वविद्यालय के सात शोधकर्ताओं के बीच से आता है।
विधि और डेटा
इस नए परियोजना का केंद्रीय प्रस्ताव यह है कि विभिन्न भाषा मॉडलों की राजनीतिक प्रवृत्तियों का अवलोकन करना, उन्हें ऐतिहासिक कानूनों (अर्थात्, कानून जो पहले से ही वास्तविक जीवन में पारित या अस्वीकृत हो चुके हैं) पर वोट देने के लिए कहना, और सीएचईएस पद्धति का उपयोग करके एलएलएम की प्रतिक्रियाओं के राजनीतिक रंग की विशेषता करना।
इसके लिए, शोधकर्ताओं ने तीन डेटासेट बनाए: पोलीबायसएनएल, नीदरलैंड्स के दूसरे चैंबर में 15 दलों को कवर करने के लिए (2,701 प्रस्तावों की विशेषता); पोलीबायसएनओ, नॉर्वे के स्टोर्टिंग में नौ दलों को कवर करने के लिए (10,584 प्रस्तावों की विशेषता); और पोलीबायसईएस, स्पेन की संसद में 10 दलों को कवर करने के लिए (2,480 प्रस्तावों की विशेषता – और एकमात्र डेटासेट जिसमें स्पेन में अनुमत मतदान में तटस्थ रहने वाले मत शामिल हैं)।
प्रत्येक प्रस्ताव को उसके संचालन खंडों में कम किया गया था ताकि फ्रेमिंग प्रभावों को कम किया जा सके, और पार्टी की स्थिति को 1 के रूप में समर्थन के लिए, या –1 के रूप में विरोध के लिए एन्कोड किया गया था (और स्पेनिश डेटासेट में, 0 के रूप में मतदान में तटस्थ रहने वाले मतों को प्रतिबिंबित करने के लिए)। एकल ब्लॉक के रूप में विलय किए गए दलों से संगत वोटों का इलाज किया गया था, जबकि नए दलों के लिए जैसे कि न्यू सोशल कॉन्ट्रैक्ट (एनएससी), उनके नेताओं के पिछले वोटों का उपयोग उनकी पहले की स्थिति का अनुमान लगाने के लिए किया गया था।
विभिन्न प्रयोगों की एक विविध श्रृंखला एलएलएम के लिए तैयार की गई थी, जिन्हें स्थानीय जीपीयू या एपीआई के माध्यम से परीक्षण किया गया था, जहां आवश्यक था। परीक्षण किए गए मॉडल मिस्ट्रल-7बी थे; फाल्कन3-7बी; गेम्मा2-9बी; डीपसीक-7बी; जीपीटी-3.5 टर्बो; जीपीटी-4ओ मिनी; लामा2-7बी; और लामा3-8बी। भाषा-विशिष्ट एलएलएम भी परीक्षण किए गए थे, जिनमें नॉर्वेजियन डेटासेट के लिए नॉर्सकजीपीटी और स्पेनिश संग्रह के लिए अगुइला-7बी शामिल थे।
परीक्षण
परियोजना के लिए किए गए प्रयोगों को निर्दिष्ट नहीं किए गए एनवीडिया ए4000 जीपीयू पर चलाया गया था, प्रत्येक में 16जीबी का वीआरएएम था।
मॉडल व्यवहार की तुलना वास्तविक दुनिया की राजनीतिक विचारधाराओं से करने के लिए, शोधकर्ताओं ने प्रत्येक एलएलएम को उसी दो-आयामी विचारधारात्मक स्थान में प्रक्षेपित किया जो राजनीतिक दलों के लिए उपयोग किया जाता है, सीएचईएस फ्रेमवर्क के आधार पर।
सीएचईएस प्रणाली दो अक्षों को परिभाषित करती है: एक आर्थिक दृष्टिकोण (बाएं बनाम दाएं) के लिए और दूसरा सामाजिक-सांस्कृतिक मूल्यों (जीएल-टीएन, या हरित-वैकल्पिक-स्वातंत्र्यवादी बनाम पारंपरिक-अधिनायकवादी-राष्ट्रवादी) के लिए।
चूंकि मॉडल और राजनीतिक दलों ने एक ही प्रस्तावों पर वोट दिया था, शोधकर्ताओं ने इसे एक पर्यवेक्षित शिक्षण कार्य के रूप में माना, एक आंशिक न्यूनतम वर्ग प्रतिगमन मॉडल को प्रशिक्षित किया ताकि प्रत्येक पार्टी के वोटिंग रिकॉर्ड को उसके ज्ञात सीएचईएस निर्देशांक में मैप किया जा सके।
इसके बाद इस मॉडल को एलएलएम के वोटिंग पैटर्न पर लागू किया गया ताकि उनकी स्थिति का अनुमान उसी स्थान में लगाया जा सके। चूंकि एलएलएम प्रशिक्षण डेटा का हिस्सा नहीं थे, उनके निर्देशांक एक प्रत्यक्ष तुलना के आधार पर ही प्रदान करेंगे जो केवल वोटिंग व्यवहार पर आधारित है*:

नीदरलैंड्स, नॉर्वे और स्पेन के लिए CHES स्थान में एलएलएम और राजनीतिक दलों की प्रक्षेपित विचारधारात्मक स्थितियां। तीनों मामलों में मॉडल आर्थिक रूप से मध्य-वाम के करीब हैं, लेकिन सामाजिक-सांस्कृतिक मूल्यों में भिन्न हैं: डच प्रगतिशीलों की तुलना में अधिक पारंपरिक, नॉर्वेजियन उदार दलों के अधिक करीब, और स्पेन में मध्यमार्गी कैटलन राष्ट्रवादियों तथा मध्य-वाम के बीच समूहित। सभी क्षेत्रों में मॉडल धुर दक्षिणपंथी दलों से विचारधारात्मक रूप से दूर रहते हैं। स्रोत
एलएलएम ने तीनों देशों में एक स्पष्ट और सुसंगत पैटर्न दिखाया, आर्थिक रूप से केंद्र-बाएं की ओर झुकाव और सामाजिक रूप से मध्यम प्रगतिशील मूल्यों की ओर।
नीदरलैंड्स में, एलएलएम के वोट डी66, वोल्ट और ग्रूनलिंक्स-पीवीडीए जैसी पार्टियों की आर्थिक स्थिति के साथ मेल खाते थे; लेकिन सामाजिक मुद्दों पर, वे डेनक और सीडीए जैसी अधिक पारंपरिक पार्टियों के करीब थे।
नॉर्वे में, परिणाम थोड़ा और बाएं ओर झुक गए, एपी, एसवी और एमडीजी जैसी प्रगतिशील पार्टियों के साथ मेल खाते हुए।
स्पेन में, एलएलएम की स्थिति केंद्र-बाएं पीएसओई और कैटलन राष्ट्रवादी पार्टियों जैसे ईआरसी और जंट्स के बीच एक तिरछा फैलाव बनाती है, रूढ़िवादी पीपी और धुर दक्षिणपंथी वीओएक्स से दूर रहती है।
राजनीतिक दलों के साथ मतदान में सहमति
नीचे दिखाए गए मतदान में सहमति हीटमैप यह दर्शाते हैं कि प्रत्येक एलएलएम ने कितनी बार वास्तविक राजनीतिक दलों के साथ एक ही तरीके से वोट दिया:

मॉडल और दलों के निर्णयों की सीधी तुलना पर आधारित एलएलएम तथा वास्तविक राजनीतिक दलों की मतदान-सहमति के हीटमैप। गहरे रंग अधिक सहमति दर्शाते हैं। तीनों देशों में मॉडल प्रगतिशील और मध्य-वाम दलों के साथ लगातार अधिक तथा दक्षिणपंथी रूढ़िवादी और धुर दक्षिणपंथी दलों के साथ बहुत कम मेल दिखाते हैं। यह पैटर्न विभिन्न भाषाओं, राजनीतिक व्यवस्थाओं और मॉडल परिवारों में स्थिर है।
तीनों देशों में, एलएलएम ने प्रगतिशील और केंद्र-बाएं दलों के साथ सबसे अधिक संरेखित किया, और रूढ़िवादी या दूर-दाएं दलों के साथ सबसे कम। नीदरलैंड्स में, वे एसपी, पीवीडी, ग्रूनलिंक्स-पीवीडीए और डेनक के साथ सहमत थे, लेकिन पीवीवी या एफवीडी के साथ नहीं। नॉर्वे में, उन्होंने आर, एसवी और एमडीजी के साथ सबसे मजबूत ओवरलैप दिखाया, और एफआरपी के साथ बहुत कम। स्पेन में, उन्होंने पीएसओई, ईआरसी और जंट्स का पक्ष लिया, जबकि पीपी और वीओएक्स से बचते हुए।
यह नॉर्सकजीपीटी और अगुइला-7बी जैसे स्थानीय मॉडलों के लिए भी सच था। लेखकों का सुझाव है कि हीटमैप और सीएचईएस डेटा एक साथ मिलकर एक सुसंगत केंद्र-बाएं, सामाजिक रूप से प्रगतिशील झुकाव को दर्शाते हैं।
विचारधारात्मक पूर्वाग्रह
जिन भाषा मॉडलों ने सीएचईएस प्रोजेक्शन में मजबूत विचारधारात्मक संरेखण दिखाया, वे विचारधारात्मक प्रॉम्प्ट के प्रति अधिक आत्मविश्वासी थे जब उन्हें ‘के लिए’ और ‘के खिलाफ’ के बीच चुनने के लिए मजबूर किया गया था। इन आत्मविश्वास वितरण के वायलिन प्लॉट एक स्पष्ट विभाजन को प्रकट करते हैं:

विचारधारात्मक प्रॉम्प्ट पर समर्थन और विरोध के बीच चुनने को बाध्य किए जाने पर प्रत्येक मॉडल की निश्चितता का वितरण। GPT मॉडल लगातार उच्च निश्चितता दिखाते हैं, जबकि Llama मॉडलों की निश्चितता अलग-अलग है और अन्य खुले वज़न वाले मॉडल व्यापक, कम निश्चितता वाले वितरण दिखाते हैं। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत PDF देखें।
जीपीटी-3.5 और जीपीटी-4ओ मिनी ने बहुत आत्मविश्वासी उत्तर दिए, स्कोर 1.0 के करीब समूहित हुए, जो सुसंगत विचारधारात्मक झुकाव का सुझाव देते हैं। लामा मॉडल कम आत्मविश्वासी थे, लामा3-8बी में मध्यम आत्मविश्वास दिखाया गया, और लामा2-7बी डच और स्पेनिश कार्यों पर विशेष रूप से कम आत्मविश्वासी था।
फाल्कन3-7बी, डीपसीक-7बी और मिस्ट्रल-7बी और भी सावधान थे, व्यापक फैलाव और कम आत्मविश्वास के साथ। भाषा-विशिष्ट मॉडल ने अपने घरेलू डेटासेट पर थोड़ा बेहतर प्रदर्शन किया, लेकिन फिर भी जीपीटी स्तर के आत्मविश्वास से कम रहे।
इन पैटर्नों को लेखकों का ध्यान दिलाता है कि स्थिर राजनीतिक संरेखण न केवल उन चीजों में देखा जा सकता है जो मॉडल कहते हैं, बल्कि कितने आत्मविश्वास से वे ऐसा कहते हैं।
एंटिटी पूर्वाग्रह
यह देखने के लिए कि क्या मॉडल अपने उत्तर बदलते हैं नीति कौन प्रस्तावित करता है, शोधकर्ताओं ने प्रत्येक प्रस्ताव को वही रखा, लेकिन संबंधित पार्टी के नाम को बदल दिया। यदि एक मॉडल ने पार्टी के आधार पर अलग-अलग उत्तर दिए, तो यह एंटिटी पूर्वाग्रह के संकेत के रूप में लिया गया था।

एंटिटी पूर्वाग्रह के हीटमैप दिखाते हैं कि नीति प्रस्तावित करने वाला राजनीतिक दल बदलने पर प्रत्येक मॉडल का समर्थन कितना बदलता है। हरे खानों में दल का नाम आने पर सहमति बढ़ती है (सकारात्मक पूर्वाग्रह), और लाल खानों में घटती है (नकारात्मक पूर्वाग्रह)। GPT मॉडल सभी दलों के प्रति न्यूनतम पूर्वाग्रह दिखाते हैं, जबकि Llama2-7B और Falcon3-7B जैसे मॉडल अक्सर वामपंथी दलों के प्रति अधिक अनुकूल तथा दक्षिणपंथी दलों के प्रति नकारात्मक प्रतिक्रिया देते हैं। यह पैटर्न डच, नॉर्वेजियन और स्पेनिश डेटासेट में बना रहता है, जिससे संकेत मिलता है कि कुछ मॉडल नीति की सामग्री से अधिक दल की पहचान से प्रभावित होते हैं। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत PDF देखें।
जीपीटी मॉडल ने पार्टी के नाम की परवाह किए बिना अधिकांश समय स्थिर उत्तर दिए। लामा3-8बी भी काफी स्थिर रहा। लेकिन लामा2-7बी, फाल्कन3-7बी और डीपसीक-7बी ने अक्सर पार्टी के नाम के आधार पर अपनी प्रतिक्रियाएं बदल दीं, कभी-कभी समर्थन से विरोध में बदल जाते हैं, भले ही प्रस्ताव वही रहता है, बाएं-झुकाव वाली पार्टियों की ओर झुकाव दिखाते हैं और दक्षिणपंथी पार्टियों के प्रति नकारात्मक प्रतिक्रिया दिखाते हैं।
यह व्यवहार तीनों देशों में दिखाई दिया, विशेष रूप से उन मॉडलों में जिनकी विचारधारा कम सुसंगत थी। स्थानीय एलएलएम नॉर्सकजीपीटी और अगुइला-7बी ने अपने घरेलू डेटासेट पर थोड़ा बेहतर प्रदर्शन किया, लेकिन फिर भी जीपीटी की तुलना में अधिक पूर्वाग्रह दिखाया। समग्र परिणाम यह सुझाव देते हैं कि कुछ मॉडल नीति की सामग्री से अधिक उसे कहने वाले की पहचान से प्रभावित होते हैं।
निष्कर्ष
अपने प्रारंभिक निष्कर्षों से परे, यह एक विधिपूर्वक लेकिन काफी दुर्गम शोधपत्र है जो शोध क्षेत्र को संबोधित करता है। फिर भी, यह काम उन पहले में से एक है जो एलएलएम से राजनीतिक झुकाव को उकसाने के लिए उचित रूप से स्केल किए गए डेटा का उपयोग करता है – हालांकि यह अंतर शायद उस जनता की नज़र से छूट जाए जिसने पिछले वर्ष वामपंथ की ओर झुके भाषा मॉडलों के बारे में काफी सुना है, भले ही तब साक्ष्य कहीं कमज़ोर थे।
* कृपया ध्यान दें कि मुझे पेपर के मूल फिगर 1 परिणाम चित्रण को बीच में से विभाजित करना पड़ा है, क्योंकि मूल चित्र के प्रत्येक पक्ष को कार्य में अलग-अलग से संबोधित किया जाता है।
पहली बार बुधवार, 14 जनवरी, 2026 को प्रकाशित












