AI-Chatbots hellen links bij het stemmen over echte wetten

In de eerste studie van zijn soort die gebruik maakt van high-scale real-world data, werden ChatGPT en andere Large Language Models getest op duizenden echte parlementaire stemmen, en herhaaldelijk afgestemd met linkse en centrum-linkse partijen, terwijl ze een zwakkere afstemming met conservatieve partijen lieten zien in drie landen.

In een nieuwe academische samenwerking tussen Nederland en Noorwegen werden ChatGPT-achtige Large Language Models (LLM’s) – waaronder ChatGPT zelf – gevraagd om te stemmen over duizenden echte parlementaire moties die al waren beslist door menselijke wetgevers in drie landen.

Wanneer deze werden vergeleken met de geregistreerde stemmen van echte partijen en in kaart gebracht op een standaard politieke schaal, bleek het patroon dat de AI’s consistent dichter bij progressieve en centrum-linkse partijen stonden, en verder van conservatieve partijen.

Het paper zegt:

‘Onze bevindingen laten consistent centrum-linkse en progressieve tendensen zien over modellen heen, samen met systematische negatieve bias tegenover rechts-conservatieve partijen, en laten zien dat deze patronen stabiel blijven onder herschreven prompts.’

De meeste eerdere studies, zoals Assessing Political Bias in Large Language Models, en die worden beoordeeld in Identifying Political Bias in AI, gebruiken kleine, gecurde quizzes zoals politieke kompas tests, of beleidsvragenlijsten, om de ideologie van een AI te onderzoeken. Tests van deze aard omvatten meestal minder dan 100 statements, die zijn geselecteerd door onderzoekers, en kunnen kwetsbaar zijn voor herformulerings effecten die de antwoorden van een model kunnen omkeren.

Daarentegen gebruikt de nieuwe studie duizenden echte parlementaire moties uit drie landen – Nederland, Noorwegen en Spanje – met geregistreerde stemmen van bekende politieke partijen.

In plaats van het interpreteren van korte statements, werd elk Large Language Model (LLM) getest door te stemmen over echte wetsvoorstellen. Hun stemmen werden vervolgens kwantitatief gematcht met de stemgedrag van echte partijen, en geprojecteerd in een standaard ideologische ruimte, een Chapel Hill expert survey (CHES), een methode die vaak wordt gebruikt door politieke wetenschappers om partijposities te vergelijken.

Dit legt de analyse in large-scale, real-world wetgevende activiteit in plaats van abstracte beleidsverklaringen, en maakt fijnerkorrelige, cross-nationale vergelijkingen mogelijk. Het benadrukt ook het nadelige effect van entiteitsbias (hoe het antwoord van een model verandert wanneer een partijnaam wordt genoemd, zelfs wanneer de motie ongewijzigd blijft), en verlicht een tweede laag van bias detectie die niet aanwezig is in eerdere studies.

De meeste studies over LLM-bias hebben zich gericht op sociale rechtvaardigheid en geslacht, onder andere soortgelijke onderwerpen die enigszins zijn geprioriteerd over het afgelopen politieke jaar; tot voor kort waren studies over politieke bias in LLM’s zeldzamer en minder zorgvuldig geconceerd.

Het nieuwe werk heeft als titel Uncovering Political Bias in Large Language Models using Parliamentary Voting Records, en komt van zeven onderzoekers uit Vrije Universiteit te Amsterdam en de Universiteit van Oslo.

Methode en Data

Het centrale uitgangspunt van het nieuwe project is om de politieke tendensen van een verscheidenheid aan taalmodellen te observeren, door ze te vragen te stemmen over historische wetgeving (d.w.z. wetten die al zijn aangenomen of afgewezen in het echte leven, in de drie bestudeerde landen), en door de CHES-methode te gebruiken om de politieke kleur van de antwoorden van de LLM’s te karakteriseren.

Hiertoe creëerden de onderzoekers drie datasets: PoliBiasNL, om 15 partijen in de Nederlandse Tweede Kamer te bestrijken (met 2.701 moties); PoliBiasNO, om 9 partijen in het Noorse Storting te bestrijken (met 10.584 moties); en PoliBiasES, om 10 partijen in het Spaanse parlement te bestrijken (met 2.480 moties – en de enige dataset die ook onthoudingsstemmen bevat, die in Spanje zijn toegestaan).

Elke motie werd gestript tot de operationele clausules om framing-effecten te minimaliseren, en partijposities werden gecodeerd als 1 om steun aan te geven, of –1 om oppositie aan te geven (en, in de Spaanse dataset, 0 om onthouding weer te geven). Consistente stemmen van gefuseerde partijen werden behandeld als een enkele blok, terwijl voor nieuwe partijen zoals New Social Contract (NSC) eerdere stemmen van hun leiders werden gebruikt om eerdere posities af te leiden.

Een diverse reeks experimenten werd ontwikkeld voor een reeks LLM’s, die werden getest op lokale GPUs of via API, zoals nodig. De geteste modellen waren Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; en Llama3-8B. Taalspecifieke LLM’s werden ook getest, namelijk NorskGPT voor de Noorse dataset, en Aguila-7B voor de Spaanse collectie.

Tests

Experimenten die voor het project werden uitgevoerd, werden uitgevoerd op een niet-gespecificeerd aantal NVIDIA A4000 GPUs, elk met 16GB VRAM.

Om modelgedrag te vergelijken met real-world politieke ideologieën, projecteerden de onderzoekers elk LLM in dezelfde tweedimensionale ideologische ruimte die wordt gebruikt voor politieke partijen, op basis van de eerdergenoemde CHES-raamwerk.

Het CHES-systeem definieert twee assen: een voor economische meningen (links vs rechts) en een voor socio-culturele waarden (GAL-TAN, of Green-Alternative-Libertarian vs Traditional-Authoritarian-Nationalist).

Omdat zowel modellen als politieke partijen hadden gestemd over dezelfde moties, behandelden de onderzoekers dit als een supervised learning-taak, waarbij een Partial Least Squares regression model werd getraind om elke partijstemming te koppelen aan de bekende CHES-coördinaten.

Dit model werd vervolgens toegepast op de stempatronen van de LLM’s om hun posities in dezelfde ruimte te schatten. Aangezien de LLM’s nooit deel uitmaakten van de trainingsdata, zouden hun coördinaten een directe vergelijking op basis van stemgedrag alleen bieden:

Geprojecteerde ideologische posities van LLM’s en politieke partijen in CHES-ruimte voor Nederland, Noorwegen en Spanje. In alle drie de gevallen stemmen modellen economisch overeen met het centrum-links, maar verschillen in socio-culturele waarden: meer traditioneel dan Nederlandse progressieven, overeenkomen met Noorse liberale partijen, en clusteren tussen gematigde Catalaanse nationalisten en het centrum-links in Spanje. Modellen blijven ideologisch ver van verrechts partijen in alle regio’s. Bron

LLM’s lieten een duidelijk en consistent patroon zien over alle drie de landen, economisch hellend naar het centrum-links, en sociaal naar gematigde progressieve waarden.

In Nederland stemden de stemmen van de LLM’s overeen met de economische posities van partijen zoals D66, Volt en GroenLinks-PvdA; maar op sociaal gebied kwamen ze dichter bij meer traditionele partijen zoals DENK en CDA.

In Noorwegen verschoof het resultaat iets verder naar links, en kwam overeen met progressieve partijen zoals Ap, SV en MDG.

In Spanje vormden de posities van de LLM’s een diagonale spreiding tussen het centrum-links PSOE en Catalaanse nationalistische partijen zoals ERC en Junts, en bleven ver van de conservatieve PP en de verrechts VOX.

Stemovereenkomst met Politieke Partijen

De stemovereenkomst-hitmaps die hieronder worden getoond, geven aan hoe vaak elke LLM op dezelfde manier stemde als echte politieke partijen, en herhalen eerdere conclusies:

Stemovereenkomst-hitmaps tussen LLM’s en echte politieke partijen, op basis van directe vergelijkingen van model- en partijbeslissingen. Donkerdere tinten geven sterke overeenkomst aan. In alle drie de landen toonden modellen consistent hoge overeenkomst met progressieve en centrum-linkse partijen, en veel lagere overeenkomst met rechts-conservatieve en verrechts partijen. Dit overeenkomstpatroon is stabiel over verschillende talen, politieke systemen en model-families.

Over alle drie de landen heen stemden LLM’s het meest overeen met progressieve en centrum-linkse partijen, en het minst met conservatieve of verrechts partijen. In Nederland stemden ze overeen met SP, PvdD, GroenLinks-PvdA en DENK, maar niet met PVV of FvD. In Noorwegen toonden ze de sterkste overlap met R, SV en MDG, en weinig met FrP. In Spanje gaven ze de voorkeur aan PSOE, ERC en Junts, en vermeden PP en VOX.

Dit gold ook voor gelokaliseerde modellen NorskGPT en Aguila-7B. De auteurs suggereren dat de hitmaps en CHES-gegevens samen een consistent centrum-links, sociaal progressief hellend patroon aangeven.

Ideologie Bias

Taalmodellen die een sterkere ideologische overeenkomst lieten zien in de CHES-projecties, tendeerden ook naar het uiten van hogere zekerheid wanneer ze werden gedwongen om te kiezen tussen de tokens voor en tegen, in reactie op ideologische prompts. Vioolplots van deze verdelingen van zekerheid laten een duidelijke scheiding zien:

Verdelingen van zekerheid voor elk model wanneer ze werden gedwongen om te kiezen tussen ‘voor’ en ‘tegen’ over ideologische prompts. GPT-modellen geven consistent hoge zekerheid, terwijl Llama-modellen variëren in vertrouwen en andere open-gewicht-modellen bredere, lagere-zekerheidsverdelingen laten zien. Raadpleeg de bron-PDF voor betere resolutie.

GPT-3.5 en GPT-4o mini gaven zeer zelfverzekerde antwoorden, met scores die dicht bij 1,0 clusterden, wat duidt op duidelijke en consistente ideologische tendensen. De Llama-modellen waren minder zeker over het algemeen, met Llama3-8B die matige zekerheid liet zien, en Llama2-7B veel minder zeker – vooral bij Nederlandse en Spaanse taken.

Falcon3-7B, DeepSeek-7B en Mistral-7B waren nog aarzelender, met brede spreidingen en lagere zekerheid. Taalspecifieke modellen deden het iets beter op hun thuistaaldata, maar vielen nog steeds kort van GPT-niveau zekerheid.

Deze patronen, merken de auteurs op, suggereren dat stabiele politieke overeenkomst niet alleen kan worden gezien in wat modellen zeggen, maar ook in hoe ze het zeggen.

Entiteitsbias

Om te zien of modellen hun antwoorden veranderen op basis van wie een beleid voorstelt, hielden de onderzoekers elke motie exact hetzelfde, maar wisselden de geassocieerde partijnamen. Als een model verschillende antwoorden gaf, afhankelijk van de partij, werd dit beschouwd als een teken van entiteitsbias.

Entiteitsbias-hitmaps laten zien hoe sterk elke model steun voor een beleid verandert, afhankelijk van welke politieke partij het voorstelt. Groene cellen geven toegenomen overeenkomst aan wanneer een partij wordt genoemd (positieve bias), en rode cellen geven afgenomen overeenkomst aan (negatieve bias). GPT-modellen laten minimale bias zien over partijen heen, terwijl modellen zoals Llama2-7B en Falcon3-7B vaak gunstiger reageren op linkse partijen en negatiever op rechtse partijen. Dit patroon houdt stand over Nederlandse, Noorse en Spaanse datasets, wat suggereert dat sommige modellen meer worden beïnvloed door partijidentiteit dan door beleidsinhoud. Raadpleeg de bron-PDF voor betere resolutie.

GPT-modellen gaven meestal stabiele antwoorden, ongeacht welke partij werd genoemd. Llama3-8B bleef ook redelijk stabiel. Maar Llama2-7B, Falcon3-7B en DeepSeek-7B veranderden hun antwoorden vaak afhankelijk van de partij, soms van steun naar oppositie, zelfs wanneer de motie ongewijzigd bleef, en tendeerden naar het gunstiger reageren op linkse partijen en negatiever op rechtse partijen.

Dit gedrag kwam naar voren in alle drie de landen, vooral in modellen die al minder consistente ideologie hadden. De gelokaliseerde LLM’s NorskGPT en Aguila-7B deden het iets beter op hun thuismarkt, maar lieten nog steeds meer bias zien dan GPT. Over het algemeen suggereren de resultaten dat sommige modellen meer worden beïnvloed door wie iets zegt, dan door wat er wordt gezegd.

Conclusie

Behalve de initiële conclusies is dit een methodische maar nogal ontoegankelijke paper die rechtstreeks op het onderzoeksgebied zelf is gericht. Niettemin is dit nieuwe werk een van de eerste die redelijk geschaalde data gebruikt om politieke tendensen van LLM’s te provoceren – hoewel deze onderscheiding waarschijnlijk verloren gaat op een publiek dat het afgelopen jaar veel over linkse taalmodellen hoorde, zij het op nogal dunner bewijs.

* Let op dat ik de oorspronkelijke illustratie van Figuur 1 van het paper heb moeten splitsen in het midden, aangezien elke kant van de oorspronkelijke figuur afzonderlijk in het werk wordt behandeld.

Publicatie op woensdag 14 januari 2026