Umělé inteligence Chatboty se v hlasování o skutečných zákonech naklánějí více k levici

V první studii svého druhu, která využívá rozsáhlá reálná data, byly testovány modely ChatGPT a další velké jazykové modely na tisících skutečných parlamentních hlasováních a opakovaně se shodovaly s levicovými a středolevými stranami, zatímco ukázaly slabší shodu s konzervativními stranami ve třech zemích.

V nové akademické spolupráci mezi Nizozemskem a Norskem byly modely typu ChatGPT, včetně samotného ChatGPT, požádány o hlasování o tisících skutečných parlamentních návrzích, které již byly rozhodnuty lidskými zákonodárci ve třech zemích.

Při srovnání s zaznamenanými hlasy skutečných stran a mapováním na standardní politické škále se vzor, který vyplynul, umístil umělé inteligence konzistentně blíže k progresivním a středolevým stranám a dále od konzervativních.

Studie uvádí:

‘Naše zjištění odhalují konzistentní středolevé a progresivní tendence napříč modely, spolu se systematickým negativním zkreslením vůči pravicově-konzervativním stranám, a ukazují, že tyto vzorce zůstávají stabilní i při parafrázovaných podnětech.’

Většina předchozích studií, jako je Hodnocení politického zkreslení ve velkých jazykových modelech, a ty, které jsou recenzovány v Identifikace politického zkreslení v AI, používají malé kurátorské testy, jako jsou politické kompasové testy nebo politické dotazníky, k prozkoumání ideologie umělé inteligence. Testy tohoto typu obvykle zahrnují méně než 100 prohlášení, ručně vybraných výzkumníky, a mohou být náchylné k efektům přepsání, které mohou obrátit odpovědi modelu.

Na rozdíl od toho nová studie využívá tisíce skutečných parlamentních návrhů ze tří zemí – Nizozemska, Norska a Španělska – s použitím zaznamenaných hlasů známých politických stran.

Místo interpretace krátkých prohlášení byl každý velký jazykový model (LLM) testován na skutečných legislativních návrzích. Jeho hlasy byly poté kvantitativně porovnány s reálným chováním politických stran a projekty do standardního ideologického prostoru, Chapel Hill expert survey (CHES), metodologie často používané politology k srovnání postojů stran.

Tato metoda zakládá analýzu v rozsáhlé, reálné legislativní činnosti místo abstraktních politických prohlášení, a umožňuje jemnější, mezinárodní srovnání. Také zdůrazňuje škodlivý efekt entitní zkreslení (jak se odpověď modelu mění, když je zmíněno jméno strany, i když návrh zůstává nezměněn), osvětlující druhou vrstvu detekce zkreslení, která není přítomna v předchozích pracích.

Většina studií o zkreslení LLM se soustředila na sociální spravedlnost a gender, mezi jinými podobná témata, která se stala poněkud odstrčená za poslední politický rok; až donedávna byly studie o politickém zkreslení v LLM vzácnější a méně důkladně vybavené.

Nová práce se nazývá Odhalení politického zkreslení ve velkých jazykových modelech pomocí parlamentních hlasovacích záznamů a pochází od sedmi výzkumníků z Vrije Universiteit v Amsterdamu a Univerzity v Oslu.

Metoda a data

Hlavní teze nové studie spočívá v pozorování politických tendencí různých jazykových modelů, tím, že je požádá o hlasování o historických legislativních návrzích (tj. zákonech, které byly již přijaty nebo odmítnuty v reálném životě, napříč třemi studovanými zeměmi), a použitím metodologie CHES k charakterizaci politické barvy odpovědí LLM.

K tomuto účelu výzkumníci vytvořili tři datové sady: PoliBiasNL, která pokrývá 15 stran ve druhé komoře Nizozemska (s 2 701 návrhy); PoliBiasNO, která pokrývá devět stran v norském Storting (s 10 584 návrhy); a PoliBiasES, která pokrývá deset stran ve španělském parlamentu (s 2 480 návrhy – a jedinou datovou sadou, která zahrnuje i zdržení se hlasování, které je v Španělsku povolené).

Každý návrh byl zbaven svých operativních klauzulí, aby se minimalizovaly rámcovací efekty, a pozice stran byly zakódovány jako 1 pro podporu, nebo –1 pro nesouhlas (a v španělské datové sadě 0 pro zdržení se hlasování). Konsistentní hlasy ze spojených stran byly považovány za jeden blok, zatímco pro nové strany, jako je Nová sociální smlouva (NSC), byly použity předchozí hlasy jejich lídrů k odvození jejich dřívějších postojů.

Byla navržena řada experimentů pro různé LLM, testovaných buď na místních GPU nebo prostřednictvím API, podle potřeby. Testované modely byly Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; a Llama3-8B. Byly také testovány jazykově specifické LLM, konkrétně NorskGPT pro norskou datovou sadu a Aguila-7B pro španělskou sbírku.

Testy

Experimenty provedené pro tento projekt byly spuštěny na neurčeném počtu NVIDIA A4000 GPU, každém s 16GB VRAM.

K srovnání chování modelů s reálnými politickými ideologiemi výzkumníci projektovali každý LLM do stejného dvourozměrného ideologického prostoru, založeného na výše zmíněné metodologii CHES.

CHES systém definuje dvě osy: jednu pro ekonomické názory (levá vs. pravá) a druhou pro socio-kulturní hodnoty (GAL-TAN, nebo Zelená-Alternativní-Libertinská vs Tradiční-Autoritativní-Nacionalistická).

Pokudže modely i politické strany hlasovaly o stejných návrzích, výzkumníci považovali tuto situaci za supervizovanou učící úlohu, a trénovali Partial Least Squares regresní model k mapování hlasovacího záznamu každé strany na její známé CHES souřadnice.

Tento model byl poté aplikován na hlasovací vzorce LLM, aby se odhadovaly jejich pozice v témže prostoru. Jelikož LLM nebyly součástí trénovacích dat, jejich souřadnice by poskytovaly přímé srovnání založené pouze na hlasovacím chování*:

Projektované ideologické pozice LLM a politických stran v CHES prostoru pro Nizozemsko, Norsko a Španělsko. Ve všech třech případech se modely ekonomicky shodují se středolevou stranou, ale se liší v socio-kulturních hodnotách: naklánějí se více k tradičním než k progresivním stranám v Nizozemsku, více se shodují s norskými liberálními stranami a shlukují se mezi umírněnými katalánskými nacionalisty a středolevou stranou ve Španělsku. Modely zůstávají ideologicky vzdálené od krajně pravicových stran napříč všemi regiony. Zdroj – https://arxiv.org/pdf/2601.08785

LLM ukázaly jasný a konzistentní vzorec napříč všemi třemi zeměmi, ekonomicky se naklánějí k středolevé straně a sociálně k umírněným progresivním hodnotám.

V Nizozemsku se hlasy LLM shodovaly s ekonomickými pozicemi stran, jako je D66, Volt a GroenLinks-PvdA; avšak na sociálních otázkách se více nakláněly k tradičnějším stranám, jako je DENK a CDA.

V Norsku se výsledky posunuly mírně více k levici, mapovaly se blízko k progresivním stranám, jako je Ap, SV a MDG.

Ve Španělsku se pozice LLM tvořily diagonální rozptyl mezi středolevou stranou PSOE a katalánskými nacionalistickými stranami, jako je ERC a Junts, a zůstávaly daleko od konzervativní PP a krajně pravicové VOX.

Shoda ve hlasování s politickými stranami

Hlasovací shodné teplomapy níže ukazují, jak často každý LLM hlasoval stejně jako reálné politické strany, opakuje se dřívější závěry:

Hlasovací shodné teplomapy mezi LLM a reálnými politickými stranami, založené na přímých srovnáních modelových a stranických rozhodnutí. Tmavší odstíny ukazují silnější shodu. Ve všech třech zemích se modely konzistentně ukázaly jako vysoce shodné s progresivními a středolevými stranami a mnohem méně shodné s pravicově-konzervativními a krajně pravicovými stranami. Tento vzorec shody je stabilní napříč různými jazyky, politickými systémy a modelovými rodinami.

Napříč všemi třemi zeměmi se LLM nejvíce shodovaly s progresivními a středolevými stranami a nejméně s konzervativními nebo krajně pravicovými. V Nizozemsku se shodovaly se SP, PvdD, GroenLinks-PvdA a DENK, ale ne s PVV nebo FvD. V Norsku ukázaly největší překryv se R, SV a MDG, a málo s FrP. Ve Španělsku preferovaly PSOE, ERC a Junts, zatímco se vyhýbaly PP a VOX.

To platilo také pro lokalizované modely NorskGPT a Aguila-7B. Autoři naznačují, že teplomapy a CHES data společně ukazují konzistentní středolevý, sociálně progresivní náklon.

Ideologické zkreslení

Jazykové modely, které ukázaly silnější ideologickou shodu v CHES projekcích, tendenčně vyjadřovaly vyšší jistotu, když byly nuceny zvolit mezi tokeny pro a proti, v reakci na ideologická podněta. Violínové grafy těchto distribucí jistoty odhalují jasný rozdílu:

Distribuce jistoty pro každý model, když byli nuceni zvolit mezi ‘pro’ a ‘proti’ napříč ideologickými podněty. Modely GPT ukazují konzistentně vysokou jistotu, zatímco modely Llama se liší v jistotě a ostatní otevřené modely ukazují širší, nižší jistotou distribuce. Prosím, odkážete se na zdroj PDF pro lepší rozlišení.

GPT-3.5 a GPT-4o-mini poskytly velmi jisté odpovědi, se skóre blízkými 1,0, naznačujícími jasnou a konzistentní ideologickou tendenci. Modely Llama byly méně jisté celkově, s Llama3-8B ukazující mírnou jistotu, a Llama2-7B mnohem méně jistou – zejména na nizozemských a španělských úkolech.

Falcon3-7B, DeepSeek-7B a Mistral-7B byli ještě více váhaví, s širokými rozptyly a nižší jistotou. Jazykově specifické modely fungovaly somewhat lépe na domácích datech, ale stále vykazovaly více zkreslení než GPT. Celkově výsledky naznačují, že stabilní politická shoda může být viděna nejen v tom, co modely říkají, ale také v jak jistě to říkají.

Entitní zkreslení

Aby se zjistilo, zda se modely mění své odpovědi na základě kdo navrhuje politiku, výzkumníci ponechali každý návrh přesně stejný, ale vyměnili přidružené strany. Pokud model poskytl odlišné odpovědi v závislosti na straně, bylo to považováno za znak entitého zkreslení.

Teplomapy entitého zkreslení ukazují, jak silně se změnila podpora modelu pro politiku v závislosti na tom, která politická strana ji navrhla. Zelené buňky ukazují zvýšenou shodu, když je strana jmenována (pozitivní zkreslení), a červené buňky ukazují sníženou shodu (negativní zkreslení). Modely GPT ukazují minimální zkreslení napříč stranami, zatímco modely, jako je Llama2-7B a Falcon3-7B, často reagují více pozitivně na levicové strany a negativně na pravicové. Tento vzorec platí napříč nizozemskými, norskými a španělskými datovými sadami, naznačující, že některé modely jsou více ovlivněny identitou strany než obsahem politiky. Prosím, odkážete se na zdroj PDF pro lepší rozlišení.

Modely GPT poskytly většinou stabilní odpovědi, bez ohledu na to, která strana byla jmenována. Llama3-8B také zůstala poměrně stabilní. Ale Llama2-7B, Falcon3-7B a DeepSeek-7B často měnily své odpovědi v závislosti na straně, někdy měnily podporu na nesouhlas, i když návrh zůstal stejný, tendenci naklánět se k levicovým stranám a reagovat negativně na návrhy pravicových stran.

Toto chování se objevilo ve všech třech zemích, zejména u modelů, které již měly méně konzistentní ideologii. Lokalizované LLM NorskGPT a Aguila-7B fungovaly somewhat lépe na domácích datech, ale stále vykazovaly více zkreslení než GPT. Celkově výsledky naznačují, že některé modely jsou více ovlivněny tím, kdo něco říká, než tím, co se říká.

Závěr

Mimo své počáteční závěry je tato studie metodicky provedená, ale spíše neproniknutelná práce zaměřená přímo na výzkumný sektor. Přesto je tato nová práce mezi prvními, které používají rozumně rozsáhlá data k vyvolání politických tendencí z LLM – ačkoli toto rozlišení je pravděpodobně ztraceno na veřejnosti, která slyšela o levicově nakloněných modelech umělé inteligence poměrně dost v minulém roce, byť na základě tenčího důkazu.

* Pokud chcete, aby byla práce původního Figure 1 výsledky ilustrace rozdělena uprostřed, protože každá strana původní ilustrace je řešena samostatně v práci.

První zveřejnění: středa, 14. ledna 2026