AI-Chatboter heller venstreorientert når de stemmer på virkelige lover

I den første studien av sin type som bruker stor skala virkelige data, ble ChatGPT og andre store språkmodeller testet på tusenvis av virkelige parlamentariske avstemninger, og sammenfalt gjentatte ganger med venstre- og sentrum-venstre-partier, mens de viste svakere sammenheng med konservative partier i tre land.

I et nytt akademisk samarbeid mellom Nederland og Norge, ble ChatGPT-liknende store språkmodeller (LLM) – inkludert ChatGPT selv – bedt om å stemme på tusenvis av faktiske parlamentariske forslag som allerede var avgjort av menneskelige lovgivere i tre land.

Når sammenlignet med de registrerte stemmene fra virkelige partier, og kartlagt på en standard politisk skala, viste mønsteret som oppstod at AIene sammenfalt konsekvent nærmere progressive og sentrum-venstre-partier, og lengre unna konservative partier.

Artikkelen sier:

‘Våre funn avdekker konsekvent sentrum-venstre og progressive tendenser over modeller, sammen med systematisk negativ bias mot høyre-konservative partier, og viser at disse mønstrene forblir stabile under omskrevne promter.’

De fleste tidligere studier, som Assessing Political Bias in Large Language Models, og de som er gjennomgått i Identifying Political Bias in AI, bruker små kurerte quizer som politiske kompass tester, eller politiske spørsmål, for å undersøke en AIs ideologi. Tester av denne typen innebærer vanligvis færre enn 100 uttalelser, håndplukket av forskere, og kan være sårbare for omformuleringseffekter som kan reversere en modells svar.

Til sammenligning bruker den nye studien tusenvis av virkelige parlamentariske forslag fra tre land – Nederland, Norge og Spania – ved å bruke registrerte stemmer fra kjente politiske partier.

I stedet for å tolke korte uttalelser, ble hver stor språkmodell (LLM) testet bedt om å stemme på faktiske lovforslag. Deres stemmer ble deretter sammenlignet kvantitativt mot virkelige partiers adferd, og projisert inn i en standard ideologisk rom, en Chapel Hill-ekspertundersøkelse (CHES), en metode ofte brukt av politiske forskere for å sammenligne partiposisjoner.

Dette grunnlegger analysen i stor skala, virkelige lovgivningsaktiviteter i stedet for abstrakte politiske uttalelser, og muliggjør finere, sammenlignbare sammenligninger. Det understreker også den skadelige effekten av entitetsbias (hvordan modellens respons endrer seg når et partinavn er nevnt, selv om forslaget forblir uendret), og belyser et annet lag av bias-oppdaging som ikke er til stede i tidligere arbeid.

De fleste studier om LLM-bias har sentrert seg på sosial rettferdighet og kjønn, blant andre lignende emner som har blitt noenlunde deprioritert over det siste politiske året; inntil nylig har studier om politisk bias i LLMer vært sjeldnere og mindre nøye utformet.

Det nye arbeidet har tittelen Uncovering Political Bias in Large Language Models using Parliamentary Voting Records, og kommer fra syv forskere på Vrije Universiteit i Amsterdam og Universitetet i Oslo.

Metode og data

Den sentrale tesen i det nye prosjektet er å observere de politiske tendensene til en rekke språkmodeller, ved å be dem stemme på historiske lovforslag (dvs. lover som allerede er vedtatt eller forkastet i virkeligheten, i de tre landene som er studert), og bruke CHES-metoden til å karakterisere den politiske fargen på LLM-ers svarene.

Til dette formålet skapte forskerne tre datasett: PoliBiasNL, for å dekke 15 partier i den nederlandske andre kammer (med 2 701 forslag); PoliBiasNO, for å dekke ni partier i det norske Stortinget (med 10 584 forslag); og PoliBiasES, for å dekke ti partier i det spanske parlamentet (med 2 480 forslag – og det eneste datasettet som inkluderer avstemningsvalg, som er tillatt i Spania).

Hvert forslag ble strippet til sine operative bestemmelser for å minimere rammeeffekter, og partiposisjoner kodet som 1 for å indikere støtte, eller –1 for å indikere motstand (og, i det spanske datasettet, 0 for å reflektere avstemningsvalg). Konsistente stemmer fra sammenslåtte partier ble behandlet som en enkelt blokk, mens for nye partier som New Social Contract (NSC) ble tidligere stemmer fra deres ledere brukt til å slutte tidligere posisjoner.

En divers rekke eksperimenter ble utformet for en rekke LLM-er, testet enten på lokale GPU-er eller via API, etter behov. Modellene som ble testet var Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; og Llama3-8B. Språkspesifikke LLM-er ble også testet, disse var NorskGPT for det norske datasettet, og Aguila-7B for det spanske samlingen.

Tester

Eksperimentene som ble utført for prosjektet ble kjørt på et ikke-spesifisert antall NVIDIA A4000 GPU-er, hver med 16 GB VRAM.

For å sammenligne modelladfærd med virkelige politiske ideologier, projiserte forskerne hver LLM inn i samme to-dimensjonale ideologiske rom som brukes for politiske partier, basert på den ovennevnte CHES-rammen.

CHES-systemet definerer to akser: en for økonomiske syn (venstre vs høyre) og en annen for sosio-kulturelle verdier (GAL-TAN, eller Grønn-Alternativ-Libertær vs Tradisjonell-Autoritær-Nasjonalist).

Fordi både modeller og politiske partier hadde avgitt stemmer på samme forslag, behandlet forskerne dette som en overvåket læring-oppgave, og trenet en Partial Least Squares-regresjonsmodell for å kartlegge hver parts stemmerekord til deres kjente CHES-koordinater.

Denne modellen ble deretter brukt på LLM-ers stemmemonster for å estimere deres posisjoner i samme rom. Siden LLM-ene aldri var en del av treningsdataene, ville deres koordinater derfor gi en direkte sammenligning basert bare på stemmeforfalt*:

Projiserte ideologiske posisjoner for LLM-er og politiske partier i CHES-rom for Nederland, Norge og Spania. I alle tre tilfeller sammenfaller modellene økonomisk med sentrum-venstre, men divergerer i sosio-kulturelle verdier: heller mer tradisjonelle enn nederlandske progressive, matcher norske liberale partier nærmere, og klumper mellom moderate katalanske nasjonalister og sentrum-venstre i Spania. Modellene forblir ideologisk fjern fra høyre-ekstreme partier over alle regioner. Kilde

LLM-ene viste en tydelig og konsekvent mønster over alle tre land, med en økonomisk tendens mot sentrum-venstre, og sosialt mot moderate progressive verdier.

I Nederland sammenfalt LLM-ers stemmer med de økonomiske posisjonene til partier som D66, Volt og GroenLinks-PvdA; men på sosiale spørsmål lå de nærmere mer tradisjonelle partier som DENK og CDA.

I Norge skiftet resultater litt lengre til venstre, og sammenfalt nærmere med progressive partier som Ap, SV og MDG.

I Spania dannet LLM-ers posisjoner en diagonal spredning mellom sentrum-venstre PSOE og katalanske nasjonalistpartier som ERC og Junts, og holdt seg langt unna det konservative PP og det høyre-ekstreme VOX.

Stemmeavtale med politiske partier

Stemmeavtale-heatmapene nedenfor indikerer hvor ofte hver LLM stemte på samme måte som virkelige politiske partier, og gjentar tidligere konklusjoner:

Stemmeavtale-heatmap mellom LLM-er og virkelige politiske partier, basert på direkte sammenligninger av modell- og partibeslutninger. Mørkere nyanser indikerer sterkere enighet. I alle tre land sammenfalt modellene konsekvent med progressive og sentrum-venstre-partier, og hadde mye lavere sammenfall med høyre-konservative og høyre-ekstreme partier. Dette mønster er stabilt over forskjellige språk, politiske systemer og modellfamilier.

Over alle tre land sammenfalt LLM-ene mest med progressive og sentrum-venstre-partier, og minst med konservative eller høyre-ekstreme partier. I Nederland sammenfalt de med SP, PvdD, GroenLinks-PvdA og DENK, men ikke med PVV eller FvD. I Norge viste de sterkeste sammenfall med R, SV og MDG, og lite med FrP. I Spania favoriserte de PSOE, ERC og Junts, mens de unngikk PP og VOX.

Dette gjaldt også for lokaliserede modeller som NorskGPT og Aguila-7B. Forfatterne foreslår at heatmappene og CHES-dataene sammen indikerer en konsekvent sentrum-venstre, sosialt progressiv tendens.

Ideologisk bias

Språkmodeller som viste sterkere ideologisk sammenfall i CHES-projeksjonene, tenderte også til å uttrykke høyere sikkerhet når de ble tvunget til å velge mellom tokenene for og mot, i respons til ideologiske promter. Fiolploter av disse sikkerhetsfordelingene avdekker en tydelig skille:

Sikkerhetsfordelinger for hver modell når de ble tvunget til å velge mellom ‘for’ og ‘mot’ over ideologiske promter. GPT-modeller viser konsekvent høy sikkerhet, mens Llama-modeller varierer i sikkerhet og andre åpne vektmodeller viser bredere, lavere-sikkerhetsfordelinger. Vennligst se kilde-PDF for bedre oppløsning.

GPT-3.5 og GPT-4o mini ga meget sikre svar, med poeng som klumpet seg nær 1,0, og indikerte tydelige og konsekvente ideologiske tendenser. Llama-modellene var mindre sikre overall, med Llama3-8B som viste moderat sikkerhet, og Llama2-7B som var mye mindre sikker – spesielt på nederlandsk og spansk.

Falcon3-7B, DeepSeek-7B og Mistral-7B var enda mer nølende, med brede spredninger og lavere sikkerhet. Språkspesifikke modeller gjorde litt bedre på hjemmespråkdata, men falt likevel kort av GPT-nivåets sikkerhet.

Disse mønstrene, merker forfatterne, tyder på at stabil politisk sammenheng kan ses ikke bare i hva modellene sier, men i hvordan de sier det.

Entitetsbias

For å se om modellene endrer sine svar basert på hvem som foreslår en politikk, beholdt forskerne hvert forslag eksakt det samme, men byttet ut partinavnet. Hvis en modell ga forskjellige svar avhengig av partiet, ble dette tatt som et tegn på entitetsbias.

Entitetsbias-heatmap viser hvor sterkt hver modells støtte for en politikk endrer seg, avhengig av hvilket politisk parti som foreslår det. Grønne celler indikerer økt enighet når et parti er navngitt (positiv bias), og røde celler indikerer redusert enighet (negativ bias). GPT-modeller viser minimal bias over partier, mens modeller som Llama2-7B og Falcon3-7B ofte responderer mer positivt til venstre-orienterte partier og negativt til høyre-orienterte partier. Dette mønster holder over nederlandsk, norsk og spansk datasett, og tyder på at noen modeller er mer påvirket av partinavn enn av politikkinnhold. Vennligst se kilde-PDF for bedre oppløsning.

GPT-modeller ga mest stabile svar uavhengig av hvilket parti som var navngitt. Llama3-8B holdt også ganske stabilt. Men Llama2-7B, Falcon3-7B og DeepSeek-7B endret ofte sine svar avhengig av partiet, og tenderte til å favorisere venstre-orienterte partier og reagere negativt mot høyre-orienterte partier.

Dette adferdsmønsteret viste seg i alle tre land, spesielt i modeller som allerede hadde mindre konsekvent ideologi. De lokaliserede LLM-ene NorskGPT og Aguila-7B gjorde litt bedre på hjemmedatasettene, men viste likevel mer bias enn GPT. Overallt tyder resultater på at noen modeller er mer påvirket av hvem som sier noe, enn av hva som blir sagt.

Konklusjon

Utenom de innledende konklusjonene, er dette et metodelig, men ganske utilgjengelig arbeid rettet mot forskningssammenhengen selv. Likevel er dette nye arbeidet blant de første som bruker rimelig skala data for å fremkalle politiske tendenser fra LLM-er – selv om denne distinksjonen sannsynligvis vil bli tapt på en offentlighet som hørte om venstre-orienterte språkmodeller et godt stykke over det siste året, om enn på noe tynnere bevis.

* Vennligst merk at jeg har måttet splitte den opprinnelige figur 1-resultatillustrasjonen midt over, siden hver side av den opprinnelige figuren behandles separat i arbeidet.

Først publisert onsdag, 14. januar 2026