AI-chatbotar lutar sig åt vänster när de röstar om riktiga lagar

I den första studien i sitt slag som använder storskaliga verkliga data testades ChatGPT och andra stora språkmodeller på tusentals verkliga parlamentariska omröstningar och anpassades upprepade gånger till vänster- och mittenvänsterpartier, samtidigt som de visade svagare anpassning till konservativa partier i tre länder.

I ett nytt akademiskt samarbete mellan Nederländerna och Norge, ChatGPT-liknande stora språkmodeller (LLM) – inklusive ChatGPT självt – ombads att rösta om tusentals faktiska parlamentariska motioner som redan hade beslutats av mänskliga lagstiftare i tre länder.

Jämfört med de registrerade rösterna från verkliga partier, och kartlagt på en standardpolitisk skala, placerade det framträdande mönstret AI:erna konsekvent närmare progressiva och mittenvänsterpartier, och längre från konservativa.

I uppsatsen anges:

"Våra resultat visar på konsekventa mitten-vänster- och progressiva tendenser över olika modeller, tillsammans med systematisk negativ partiskhet mot högerkonservativa partier, och visar att dessa mönster förblir stabila även under omskrivna uppmaningar."

De flesta tidigare studier, som t.ex. Bedömning av politisk partiskhet i stora språkmodeller, och de som granskades i Identifiera politisk partiskhet inom AI, använd små, utvalda frågesporter som politiska kompasstest eller policyformulär för att undersöka en AI:s ideologi. Tester av detta slag involverar vanligtvis färre än 100 påståenden, handplockade av forskare, och kan vara sårbara för omformuleringseffekter som kan vända en modells svar.

Den nya studien använder däremot tusentals verkliga parlamentariska motioner från tre länder – Nederländerna, Norge och Spanien – med hjälp av inspelade röster från kända politiska partier.

Istället för att tolka korta uttalanden ombads varje stor språkmodell (LLM) som testades att rösta på faktiska lagstiftningsförslag. Dess röster matchades sedan kvantitativt mot verkligt partibeteende och projicerades in i ett standardiserat ideologiskt utrymme, enligt en expertundersökning i Chapel Hill (CHES), en metod används ofta av statsvetare för att jämföra partiernas ståndpunkter.

Detta förankrar analysen i storskalig, verklig lagstiftningsverksamhet istället för abstrakta policyuttalanden, och möjliggör mer detaljerade, gränsöverskridande jämförelser. Det betonar också den skadliga effekten av entitetsbias (hur modellens svar förändras när ett parts namn nämns, även när rörelsen förblir oförändrad), vilket belyser ett andra lager av biasdetektering som inte fanns i tidigare arbete.

De flesta studier om LLM-bias har fokuserat på social rättvisa och kön, bland andra liknande ämnen som har blivit något nedprioriterad under det senaste politiska året; fram till nyligen har studier av politisk partiskhet bland juridikexperter varit mer sällsynta och mindre noggrant utarbetade och utformade.

Ocuco-landskapet nytt jobb har titeln Att avslöja politisk partiskhet i stora språkmodeller med hjälp av parlamentariska röstningsregister, och kommer från sju forskare från Vrije Universiteit i Amsterdam och universitetet i Oslo.

Metod och data

Det centrala målet med det nya projektet är att observera de politiska tendenserna hos en mängd olika språkmodeller genom att be dem rösta om historisk lagstiftning (dvs. lagar som redan antagits eller förkastats i verkligheten, i de tre studerade länderna), och använda CHES-metodiken för att karakterisera den politiska färgen i LLM:ernas svar.

För detta ändamål skapade forskarna tre datamängder: PoliBiasNL, för att täcka 15 partier i den nederländska andra kammaren (med 2 701 motioner); PoliBiasNO, för att täcka nio partier, det norska Stortinget (med 10 584 motioner); och PoliBiasES, för att täcka tio partier i det spanska parlamentet (med 2 480 motioner – och den enda datamängden som inkluderar nedlagda röster, vilket är tillåtet i Spanien).

Varje motion skalades ner till sina operativa klausuler för att minimera inramningseffekter, och partipositioner kodades som 1 för att visa stöd, eller -1 för att indikera opposition (och, i den spanska datauppsättningen, 0 (för att återspegla nedlagda röster). Konsekventa röster från sammanslagna partier behandlades som ett enda block, medan för nya partier som New Social Contract (NSC) användes tidigare röster från deras ledare för att härleda tidigare ståndpunkter.

En mängd olika experiment utformades för en rad LLM:er, testade antingen på lokala GPU:er eller via API, vid behov. De testade modellerna var Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Lama2-7B; Och Lama3-8BSpråkspecifika LLM-program testades också, vilka var NorskGPT för den norska datamängden, och Aguila-7B för den spanska samlingen.

Tester

Experiment som utfördes för projektet kördes på ett ospecificerat antal NVIDIA A4000 GPU:er, var och en med 16 GB VRAM.

För att jämföra modellbeteende med verkliga politiska ideologier projicerade forskarna varje LLM in i samma tvådimensionella ideologiska rum som används för politiska partier, baserat på det tidigare nämnda CHES-ramverket.

CHES-systemet definierar två axlar: en för ekonomiska synsätt (vänster vs. höger) och en annan för sociokulturella värden (GAL-TAN, eller Grön-Alternativ-Libertarian vs Traditionell-auktoritär-nationalistisk).

Eftersom både modeller och politiska partier hade röstat på samma motioner, behandlade forskarna detta som en övervakad inlärning uppgift, utbildning en Partiell minstakvadratmetodens regressionsmodell att mappa varje partis rösthistorik till dess kända CHES-koordinater.

Denna modell tillämpades sedan på LLM:ernas röstningsmönster för att uppskatta deras positioner i samma utrymme. Eftersom LLM:erna aldrig var en del av träningsdata, skulle deras koordinater därför erbjuda en direkt jämförelse baserad enbart på röstningsbeteende*:

Prognostiserade ideologiska positioner hos juridikstudenter och politiska partier inom CHES-området för Nederländerna, Norge och Spanien. I alla tre fallen är modellerna ekonomiskt i linje med centervänstern men skiljer sig åt i sociokulturella värderingar: de lutar sig mer traditionellt än nederländska progressiva, matchar norska liberala partier närmare och grupperar sig mellan moderata katalanska nationalister och centervänstern i Spanien. Modellerna förblir ideologiskt distanserade från högerextrema partier i alla regioner. Källa

Jurister uppvisade ett tydligt och konsekvent mönster i alla tre länderna, med en ekonomisk lutning mot mitten-vänstern och socialt mot måttliga progressiva värderingar.

I Nederländerna matchade LLM-ledamöternas röster de ekonomiska ståndpunkterna hos partier som D66, Volt och GroenLinks-PvdA; men i sociala frågor landade de närmare mer traditionella partier som DENK och CDA.

I Norge förskräcktes resultaten något längre åt vänster, och ligger nära progressiva partier som Ap, SV och MDG.

I Spanien bildade LLM-positionerna en diagonal spridning mellan det mitten-vänsterpartiet PSOE och katalanska nationalistpartier som ERC och Junts, och höll sig långt ifrån det konservativa PP och det högerextrema VOX.

Röstningsavtal med politiska partier

Värmekartorna över röstningsavtalen som visas nedan visar hur ofta varje LLM röstade på samma sätt som riktiga politiska partier, vilket upprepar tidigare slutsatser:

Värmekartor över röstningsöverenskommelser mellan juridikledare och verkliga politiska partier, baserade på direkta jämförelser av modell och partibeslut. Mörkare nyanser indikerar starkare överensstämmelse. I alla tre länderna visade modellerna konsekvent hög anpassning till progressiva och centervänsterpartier, och mycket lägre anpassning till högerkonservativa och högerextrema partier. Detta anpassningsmönster är stabilt över olika språk, politiska system och modellfamiljer.

I alla tre länderna höll juridikerna mest med progressiva och mittenvänsterpartier, och minst med konservativa eller högerextrema partier. I Nederländerna höll de med SP, PvdD, GroenLinks-PvdA och DENK, men inte med PVV eller FvD. I Norge visade de starkast överlappning med R, SV och MDG, och liten med FrP. I Spanien förespråkade de PSOE, ERC och Junts, medan de undvek PP och VOX.

Detta gällde även för de lokaliserade modellerna NorskGPT och Aguila-7B. Författarna menar att värmekartorna och CHES-data tillsammans indikerar en konsekvent vänsterorienterad, socialt progressiv lutning.

Ideologisk bias

Språkmodeller som visade starkare ideologisk överensstämmelse i CHES-projektionerna tenderade också att uttrycka högre säkerhet när de tvingades välja mellan de olika symbolerna. för och mot, som svar på ideologiska påhopp. Fioldiagram över dessa konfidensfördelningar avslöjar en tydlig uppdelning:

Säkerhetsfördelningar för varje modell när den tvingas välja mellan "för" och "emot" utifrån ideologiska uppmaningar. GPT-modeller uppvisar genomgående hög säkerhet, medan Llama-modeller varierar i konfidens och andra öppna modeller visar bredare fördelningar med lägre säkerhet. Se käll-PDF:n för bättre upplösning.

GPT-3.5 och GPT-4o-mini gav mycket säkra svar, med poäng som grupperades nära 1.0, vilket tyder på tydliga och konsekventa ideologiska böjelser. Llama-modellerna var mindre säkra överlag, där Llama3-8B visade måttlig säkerhet och Llama2-7B mycket mindre säkra – särskilt på holländska och spanska uppgifter.

Falcon3-7B, DeepSeek-7B och Mistral-7B var ännu mer tveksamma, med breda spridningar och lägre konfidens. Språkspecifika modeller presterade något bättre på data från hemspråket men uppnådde fortfarande inte säkerhet på GPT-nivå.

Dessa mönster, noterar författarna, tyder på att stabil politisk inriktning inte bara kan ses i vad modellerna säger, utan även i hur självsäkert de säger det.

Enhetsbias

För att se om modeller ändrar sina svar baserat på vem föreslår en policy, behöll forskarna varje motion exakt densamma, men bytte ut namnen på de tillhörande partierna. Om en modell gav olika svar beroende på parti, togs detta som ett tecken på entitetsbias.

Värmekartor för entitetsbias visar hur starkt varje modells stöd för en policy förändras, beroende på vilket politiskt parti som föreslår den. Gröna celler indikerar ökad enighet när ett parti namnges (positiv bias), och röda celler indikerar minskad enighet (negativ bias). GPT-modeller visar minimal bias mellan partier, medan modeller som Llama2-7B och Falcon3-7B ofta svarar mer positivt på vänsterlutande partier och negativt på högerlutande. Detta mönster gäller för holländska, norska och spanska datamängder, vilket tyder på att vissa modeller är mer påverkade av partiidentitet än av policyinnehåll. Se käll-PDF:n för bättre upplösning.

GPT-modellerna gav mestadels stabila svar oavsett vilket parti som namngavs. Llama3-8B förblev också ganska stabila. Men Llama2-7B, Falcon3-7B och DeepSeek-7B ändrade ofta sina svar beroende på parti, ibland växlade de från stöd till opposition även när motionen förblev densamma, och tenderade att gynna vänsterlutande partier och reagera negativt på motioner från högerlutande partier.

Detta beteende uppträdde i alla tre länderna, särskilt i modeller som redan hade mindre konsekvent ideologi. De lokaliserade LLM:erna NorskGPT och Aguila-7B presterade något bättre på sina egna datamängder, men uppvisade fortfarande mer bias än GPT. Sammantaget tyder resultaten på att vissa modeller påverkas mer av vem som säger något än av vad som sägs.

Slutsats

Utöver sina inledande slutsatser är detta en metodisk men ganska otillgänglig artikel som riktar sig direkt mot själva forskningssektorn. Ändå är detta nya arbete bland de första som använder rimligt skalade data för att provocera fram politiska böjelser från juridikstudenter – även om denna distinktion sannolikt kommer att gå förlorad för en allmänhet som hört talas om vänsterlutande språkmodeller en hel del under det senaste året, om än på ganska tunnare bevis.

* Observera att jag har varit tvungen att dela upp den ursprungliga illustrationen av resultaten i figur 1 på mitten, eftersom varje sida av den ursprungliga figuren behandlas separat i arbetet.

Första gången publicerad onsdagen den 14 januari 2026