AI-Chatbots læner venstre, når de stemmer om virkelige love

I den første studie af sin art, der bruger stor skala realverdensdata, blev ChatGPT og andre store sprogmodeller testet på tusinder af virkelige parlamentariske afstemninger og gentagne gange sammenfaldt med venstre- og center-venstrepartier, mens de viste svagere sammenfald med konservative partier i tre lande.

I et nyt akademisk samarbejde mellem Holland og Norge blev ChatGPT-lignende store sprogmodeller (LLM’er) – herunder ChatGPT selv – bedt om at stemme på tusinder af faktiske parlamentariske forslag, der allerede var blevet afgjort af menneskelige lovgivere i tre lande.

Når de sammenlignes med de optegnede stemmer fra virkelige partier og kortlagt på en standard politisk skala, fremkom mønsteret, der placerede AI’erne konsekvent tættere på progressive og center-venstrepartier og fjernere fra konservative partier.

Artiklen siger:

‘Vore resultater viser konsekvent center-venstre og progressive tendenser over modellerne, sammen med systematisk negativ bias mod højre-konservative partier, og viser, at disse mønstre forbliver stabile under omskrevne prompts.’

De fleste tidligere studier, såsom Assessing Political Bias in Large Language Models, og de, der er gennemgået i Identifying Political Bias in AI, bruger små kurerede quizzes, såsom politiske kompas-tester eller politikspørgsmål, til at undersøge en AI’s ideologi. Test af denne type indeholder typisk færre end 100 udsagn, valgt af forskerne, og kan være sårbare over for omformulerings-effekter, der kan omvende en models svar.

Til gengæld bruger den nye studie tusinder af virkelige parlamentariske forslag fra tre lande – Holland, Norge og Spanien – ved hjælp af optegnede stemmer fra kendte politiske partier.

I stedet for at fortolke korte udsagn blev hver stor sprogmodel (LLM) testet bedt om at stemme på faktiske lovforslag. Dets stemmer blev derefter matchet kvantitativt mod virkelige partiers adfærd og projiceret ind i en standard ideologisk rum, en Chapel Hill-ekspertundersøgelse (CHES), en metode ofte brugt af politiske videnskabsmænd til at sammenligne partiers positioner.

Dette grundlægger analysen i stor skala, virkelige legislative aktiviteter i stedet for abstrakte politikudsagn, og muliggør finere, tværnationale sammenligninger. Det fremhæver også den skadelige effekt af entitetsbias (hvor modellens svar ændrer sig, når et partinavn nævnes, selvom forslaget forbliver uændret), og belyser en anden lag bias-afsløring, der ikke er til stede i tidligere arbejde.

De fleste studier om LLM-bias har centreret sig om social retfærdighed og køn, blandt andre lignende emner, der er blevet noget deprioriteret over det sidste politiske år; indtil for nylig har studier af politisk bias i LLM’er været sjældnere og mindre omhyggeligt udstyret og koncepteret.

Det nye arbejde har titlen Afsløring af politisk bias i store sprogmodeller ved hjælp af parlamentariske stemmeoptegnelser, og kommer fra syv forskere på tværs af Vrije Universiteit i Amsterdam og Universitetet i Oslo.

Metode og Data

Det centrale forslag i det nye projekt er at observere de politiske tendenser hos en række sprogmodeller, ved at bede dem om at stemme på historiske love (dvs. love, der allerede er blevet vedtaget eller forkastet i virkeligheden, på tværs af de tre studerede lande), og ved hjælp af CHES-metoden til at karakterisere den politiske farve af LLM’ernes svar.

Til dette formål skabte forskerne tre datasæt: PoliBiasNL, for at dække 15 partier i det hollandske andet kammer (med 2.701 forslag); PoliBiasNO, for at dække ni partier i det norske Storting (med 10.584 forslag); og PoliBiasES, for at dække ti partier i det spanske parlament (med 2.480 forslag – og det eneste datasæt, der inkluderer afstemningsvalg, der er tilladt i Spanien).

Hvert forslag blev reduceret til dets operative bestemmelser for at minimere ramme-effekter, og partiers positioner blev kodet som 1 for at indikere støtte, eller –1 for at indikere modstand (og, i det spanske datasæt, 0 for at reflektere afstemningsvalg). Konsekvente stemmer fra fusionerede partier blev behandlet som en enkelt blok, mens for nye partier som New Social Contract (NSC) blev tidligere stemmer fra deres ledere brugt til at slutte tidligere positioner.

En divers samling af eksperimenter blev udviklet til en række LLM’er, testet enten på lokale GPU’er eller via API, efter behov. Modellerne, der blev testet, var Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; og Llama3-8B. Sprog-specifikke LLM’er blev også testet, herunder NorskGPT for det norske datasæt, og Aguila-7B for det spanske datasæt.

Test

Eksperimenterne, der blev udført i projektet, blev kørt på et ikke specificeret antal NVIDIA A4000 GPU’er, hver med 16 GB VRAM.

Til at sammenligne modellernes adfærd med virkelige politiske ideologier blev LLM’erne projiceret ind i det samme to-dimensionale ideologiske rum, der blev brugt til politiske partier, baseret på den nævnte CHES-ramme.

CHES-systemet definerer to akser: en for økonomiske synspunkter (venstre vs. højre) og en anden for socio-kulturelle værdier (GAL-TAN, eller Grøn-Alternativ-Libertær vs Traditionel-Autoritær-Nationalist).

Fordi både modeller og politiske partier havde afgivet stemmer på de samme forslag, behandlede forskerne dette som en overvåget læring opgave, hvor de trænede en Partial Least Squares-regressionsmodel til at kortlægge hvert parts stemmeoptegnelse til dets kendte CHES-koordinater.

Dette model blev derefter anvendt på LLM’ernes stemmemønstre for at estimere deres positioner i det samme rum. Da LLM’erne aldrig var en del af træningsdataene, ville deres koordinater derfor give en direkte sammenligning baseret kun på stemmeadfærd*:

Projiceret ideologiske positioner for LLM’er og politiske partier i CHES-rum for Holland, Norge og Spanien. I alle tre tilfælde samlinger modellerne økonomisk med center-venstre, men divergerer i socio-kulturelle værdier: læner mere traditionelt end hollandske progressiver, matcher norske liberale partier nærmere, og grupperer mellem moderate catalanske nationalister og center-venstre i Spanien. Modellerne forbliver ideologisk fjern fra yderste højrepartier på tværs af alle regioner. Kilde

LLM’erne viste en klar og konsekvent mønster på tværs af alle tre lande, lænende økonomisk mod center-venstre og socialt mod moderate progressive værdier.

I Holland samsvarede LLM’ernes stemmer med de økonomiske positioner for partier som D66, Volt og GroenLinks-PvdA; men på sociale spørgsmål lå de tættere på mere traditionelle partier som DENK og CDA.

I Norge skiftede resultaterne lidt mere til venstre, og kortlagde tæt på progressive partier som Ap, SV og MDG.

I Spanien dannede LLM’ernes positioner en diagonal spredning mellem center-venstre PSOE og catalanske nationalistpartier som ERC og Junts, og holdt sig godt adskilt fra det konservative PP og yderste højrepartiet VOX.

Stemmeaftale med politiske partier

Stemmeaftale-heatmaps viser, hvor ofte hver LLM stemte på samme måde som virkelige politiske partier, og gentager tidligere konklusioner:

Stemmeaftale-heatmaps mellem LLM’er og virkelige politiske partier, baseret på direkte sammenligninger af modellens og partiers beslutninger. Mørkere farver indikerer stærkere enighed. I alle tre lande viste modellerne konsekvent høj alignment med progressive og center-venstrepartier, og meget lavere alignment med højre-konservative og yderste højrepartier. Dette mønster er stabilt på tværs af forskellige sprog, politiske systemer og modelfamilier.

På tværs af alle tre lande samsvarede LLM’erne mest med progressive og center-venstrepartier, og mindst med konservative eller yderste højrepartier. I Holland enedes de med SP, PvdD, GroenLinks-PvdA og DENK, men ikke med PVV eller FvD. I Norge viste de stærkest overlap med R, SV og MDG, og lidt med FrP. I Spanien favoriserede de PSOE, ERC og Junts, mens de undgik PP og VOX.

Dette gjaldt også for lokale modeller som NorskGPT og Aguila-7B. Forfatterne foreslår, at heatmaps og CHES-data sammen viser en konsekvent center-venstre, socialt progressiv læning.

Ideologisk bias

Sprogmodeller, der viste stærkere ideologisk alignment i CHES-projektionerne, havde også tendens til at udtrykke højere sikkerhed, når de blev tvunget til at vælge mellem tokenene for og imod, i respons til ideologiske prompts. Violin-plots af disse sikkerhedsfordelinger afslører en klar skillelinje:

Sikkerhedsfordelinger for hver model, når de blev tvunget til at vælge mellem ‘for’ og ‘imod’ på tværs af ideologiske prompts. GPT-modeller viser konsekvent høj sikkerhed, mens Llama-modeller varierer i sikkerhed, og andre åbne-vægt-modeller viser bredere, lavere-sikkerhedsfordelinger. Se venligst kilde-PDF for bedre opløsning.

GPT-3.5 og GPT-4o-mini gav meget selvbevidste svar, med score, der samlede sig tæt på 1,0, hvilket tyder på klare og konsekvente ideologiske læninger. Llama-modellerne var mindre sikre samlet, med Llama3-8B, der viste moderat sikkerhed, og Llama2-7B, der var meget usikker – især på hollandske og spanske opgaver.

Falcon3-7B, DeepSeek-7B og Mistral-7B var endnu mere tøvende, med brede spredninger og lavere sikkerhed. Sprog-specifikke modeller gjorde lidt bedre på deres hjemmesprog, men faldt stadig kort i forhold til GPT’s sikkerhed.

Disse mønstre, bemærker forfatterne, tyder på, at stabil politisk alignment kan ses ikke kun i, hvad modellerne siger, men også i hvor selvbevidst de siger det.

Entitetsbias

For at se, om modellerne ændrer deres svar afhængigt af hvem foreslår en politik, beholdt forskerne hvert forslag helt det samme, men byttede partinavnet ud. Hvis en model gav forskellige svar afhængigt af partiet, blev dette betragtet som et tegn på entitetsbias.

Entitetsbias-heatmaps viser, hvor stærkt hver models støtte til en politik ændrer sig, afhængigt af hvilket politisk parti foreslår den. Grønne celler indikerer øget enighed, når et parti nævnes (positiv bias), og røde celler indikerer reduceret enighed (negativ bias). GPT-modeller viser minimal bias på tværs af partier, mens modeller som Llama2-7B og Falcon3-7B ofte reagerer mere positivt på venstre-lænende partier og negativt på højre-vængede partier. Dette mønster holder på tværs af hollandske, norske og spanske datasæt, hvilket tyder på, at nogle modeller er mere påvirkede af partis identitet end af politikindhold. Se venligst kilde-PDF for bedre opløsning.

GPT-modellerne gav mest stabile svar uanset hvilket parti, der blev nævnt. Llama3-8B forblev også ret stabilt. Men Llama2-7B, Falcon3-7B og DeepSeek-7B ændrede ofte deres svar afhængigt af partiet, nogle gange skiftede fra støtte til modstand, selvom forslaget forblev det samme, og tendens til at favorisere venstre-lænende partier og reagere negativt på forslag fra højre-vængede partier.

Dette adfærd viste sig i alle tre lande, især i modeller, der allerede havde mindre konsekvent ideologi. De lokale LLM’er NorskGPT og Aguila-7B gjorde lidt bedre på deres hjemmedatasæt, men viste stadig mere bias end GPT. Samlet tyder resultaterne på, at nogle modeller er mere påvirkede af, hvem der siger noget, end af, hvad der bliver sagt.

Konklusion

Ud over dens initielle konklusioner er dette en metodisk, men ret u tilgængelig artikel, der er rettet mod forskningssammenhængen i sig selv. Alligevel er dette nye arbejde blandt de første, der bruger rimeligt skaleret data til at fremkalde politiske læninger fra LLM’er – selvom denne distinktion sandsynligvis vil gå tabt for en offentlighed, der har hørt om venstre-lænende sprogmodeller en del i det sidste år, omend på noget tyndere bevis.

* Vær venlig at bemærk, at jeg har været nødt til at splitte artiklens originale Figur 1-resultatillustration midt over, da hver side af den originale figur behandles separat i arbejdet.

Offentliggjort første gang onsdag, 14. januar 2026