Älykäs keskustelubotti kallistuu vasemmalle, kun äänestetään oikeista laeista

Ensimmäisessä tutkimuksessa, jossa käytetään suurta määrää oikeaa maailman dataa, ChatGPT ja muut suuret kielen mallit testattiin tuhansilla oikeilla parlamentin äänestyksillä, ja ne olivat toistuvasti linjassa vasemmiston ja keskivasemmiston puolueiden kanssa, kun taas osoittivat heikomman linjauksen konservatiivisten puolueiden kanssa kolmessa maassa.

Uudessa akateemisessa yhteistyössä Alankomaissa ja Norjassa ChatGPT-tyyppiset suuret kielen mallit (LLM) – mukaan lukien ChatGPT itse – pyydettiin äänestämään tuhansia todellisia parlamentin aloitteita, jotka olivat jo päätetty ihmisten toimesta kolmessa maassa.

Kun verrattiin todellisiin puolueiden äänestyksiin ja kartoitettiin standardiin poliittiseen skaalaan, mallien äänestykset asettuivat johdonmukaisesti lähemmäs edistyneitä ja keskivasemmiston puolueita, ja kauemmaksi konservatiivisista puolueista.

Tutkimus toteaa:

‘Tutkimuksemme osoittaa johdonmukaisia keskivasemmistolaisia ja edistyneitä tendenssejä malleissa, yhdessä systemaattisen negatiivisen puolueettomuuden oikeistolaisia puolueita kohtaan, ja näyttää, että nämä mallit säilyvät vakaana muunnettuja äänestyskysymyksiä vastaan.’

Useimmat aiemmat tutkimukset, kuten Assessing Political Bias in Large Language Models, ja ne, jotka on tarkasteltu Identifying Political Bias in AI, käyttävät pieniä, valittuja kyselyjä, kuten poliittisia kompassikokeita tai kyselyitä, jotta voidaan tutkia älykkään mallin ideologiaa. Tällaiset testit sisältävät yleensä alle 100 lausetta, jotka tutkijat ovat valinneet, ja ne voivat olla alttiina uudelleen sanomisen vaikutuksille, jotka voivat kääntää mallin vastauksia.

Toisin kuin aiemmat tutkimukset, tämä uusi tutkimus käyttää tuhansia todellisia parlamentin aloitteita kolmesta maasta – Alankomaista, Norjasta ja Espanjasta – käyttäen todellisia puolueiden äänestyskysymyksiä.

Sen sijaan, että tulkitsisivat lyhyitä lauseita, jokainen suuri kielen malli testattiin todellisilla lainsäädäntöehdotuksilla. Äänestystulokset verrattiin määrällisesti todellisiin puolueiden käyttäytymiseen ja projisoitiin standardiin ideologiseen avaruuteen, Chapel Hillin asiantuntija kysely (CHES), menetelmä usein käytetty poliittisissa tieteissä vertailla puolueiden asemia.

Tämä perustaa analyysin laajaan, todelliseen lainsäädäntötoimintaan, sen sijaan, että abstraktiin poliittiseen ilmoituksiin, ja mahdollistaa hienojakoisemmat, kansainväliset vertailut. Se korostaa myös haitallisen yksikkökohtaisen puolueettomuuden haitallista vaikutusta (kuinka mallin vastaus muuttuu, kun puolueen nimi mainitaan, vaikka aloite ei muutu), valaisee toisen kerroksen puolueettomuuden havaitsemista, jota ei ole aiemmissa tutkimuksissa.

Useimmat aiemmat tutkimukset suurten kielen mallien puolueettomuudesta ovat keskittyneet sosiaaliseen oikeudenmukaisuuteen ja sukupuoleen, muiden muassa aiheisiin, jotka ovat tullut jonkin verran vähemmän tärkeiksi viimeisen poliittisen vuoden aikana; vasta äskettäin tutkimukset älykkään mallien poliittisesta puolueettomuudesta ovat olleet harvinaisia ja vähemmän tarkkaan suunniteltuja.

Uusi tutkimus on nimeltään Uncovering Political Bias in Large Language Models using Parliamentary Voting Records, ja se on peräisin seitsemältä tutkijalta Vrije Universiteit Amsterdamista ja Oslon yliopistosta.

Menetelmä ja data

Tutkimuksen keskeinen väite on havainnoida eri kielen mallien poliittisia tendenssejä pyytämällä niitä äänestämään historiallisista lakiehdotuksista (ts. lait, jotka ovat jo hyväksytty tai hylätty todellisessa elämässä kolmessa tutkitussa maassa), ja käyttämällä CHES-menetelmää mallien vastausten poliittisen värin määrittämiseen.

Tätä varten tutkijat loivat kolme tietokantaa: PoliBiasNL, joka kattaa 15 puoluetta Alankomaiden toisessa kamariessa (jossa on 2 701 aloitetta); PoliBiasNO, joka kattaa yhdeksän puoluetta Norjan Stortingissa (jossa on 10 584 aloitetta); ja PoliBiasES, joka kattaa kymmenen puoluetta Espanjan parlamentissa (jossa on 2 480 aloitetta – ja ainoa tietokanta, joka sisältää pidätyksen äänet, jotka ovat sallittuja Espanjassa).

Jokainen aloite strippasi toiminnalliset säät toiminnallisten vaikutusten minimointiin, ja puolueiden asemat koodattiin 1:ksi osoittamaan tukea tai –1:ksi osoittamaan vastustusta (ja Espanjan tietokannassa 0:ksi heijastamaan pidätyksiä). Jatkuvat äänet yhdistetyistä puolueista käsiteltiin yhtenä ryhmänä, kun taas uusille puolueille, kuten New Social Contract (NSC), käytettiin johtajien aiempia ääniä asemien määrittämiseen.

Monipuolinen joukko kokeita suunniteltiin useille suurille kielen malleille, jotka testattiin joko paikallisilla GPU:illa tai API:n kautta tarpeen mukaan. Testatut mallit olivat Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; ja Llama3-8B. Kielenkohtaiset mallit testattiin myös, jotka olivat NorskGPT Norjan tietokannalle ja Aguila-7B Espanjan kokoelmalle.

Kokeet

Tutkimuksessa tehtyjä kokeita suoritettiin määräämättömän määrän NVIDIA A4000 -grafiikkakorteilla, joissa kussakin on 16 GB VRAM:ia.

Mallien käyttäytymisen vertaamiseksi todellisiin poliittisiin ideologioihin tutkijat projisoivat jokaisen suuren kielen mallin samaan kahden ulottuvuuden ideologiseen avaruuteen, jota käytetään poliittisille puolueille, perustuen edellä mainittuun CHES-kehykseen.

CHES-järjestelmä määrittää kaksi akselia: yhden taloudellisista näkemyksistä (vasemmisto vs. oikeisto) ja toisen sosio-kulttuurisista arvoista (GAL-TAN, tai Vihreä-Alternativinen-Liberaali vs Perinteinen-Autoritaarinen-Kansallinen).

Koska sekä mallit että poliittiset puolueet olivat äänestäneet samojen aloitteiden puolesta, tutkijat käsitteli tämän valvotun oppimisen tehtävänä, kouluttaen Osittaisen Pienimmän Neliöiden Regressio-mallin puolueiden äänestyskäyttäytymisen ja tunnettujen CHES-koordinaattien välille.

Tämä malli sovellettiin sitten suurten kielen mallien äänestyskäyttäytymiseen arvioimaan niiden asemia samassa avaruudessa. Koska suuret kielen mallit eivät olleet osa koulutusdataa, niiden koordinaatit tarjosivat suoran vertailun pelkästään äänestyskäyttäytymisen perusteella:

Projektio suurten kielen mallien ja poliittisten puolueiden ideologisista asemista CHES-avaruudessa Alankomaissa, Norjassa ja Espanjassa. Kaikissa kolmessa tapauksessa mallit ovat taloudellisesti lähempänä keskivasemmistoa, mutta eroavat sosio-kulttuurisissa arvoissa: kallistuvat perinteisemmän kuin hollantilaiset edistyneet, vastaavat norjalaisia liberaaleja puolueita tarkemmin, ja muodostavat ryhmän maltillisten katalonialaisten nationalistien ja keskivasemmiston välillä Espanjassa. Mallit säilyvät ideologisesti etäällä äärioikeistolaisista puolueista kaikissa alueissa. Lähde

Suurten kielen mallit näyttivät selkeän ja johdonmukaisen mallin kaikissa kolmessa maassa, kallistuen taloudellisesti keskivasemmistoon ja sosiaalisesti maltillisten edistyneiden arvojen suuntaan.

Alankomaissa suurten kielen mallien äänet vastasivat taloudellisesti puolueiden asemia, kuten D66, Volt ja GroenLinks-PvdA; mutta sosiaalisissa kysymyksissä ne sijoittuivat lähemmäs perinteisempiä puolueita, kuten DENK ja CDA.

Norjassa tulokset siirtyivät hieman vasemmalle, vastaten edistyneiden puolueiden asemia, kuten Ap, SV ja MDG.

Espanjassa suurten kielen mallien asemat muodostivat vinon levittäytyneisyyden keskivasemmiston PSOE:n ja katalonialaisten nationalististen puolueiden, kuten ERC ja Junts, välillä, pysyen erillään konservatiivisesta PP:stä ja äärioikeistolaisesta VOX:sta.

Äänestys yhtenäisyys poliittisten puolueiden kanssa

Äänestys yhtenäisyyden lämmityskartat, jotka näytetään alla, osoittavat, kuinka usein jokainen suuri kielen malli äänesti samalla tavalla kuin todelliset poliittiset puolueet, toistaa aiemmat johtopäätökset:

Äänestys yhtenäisyyden lämmityskartat suurten kielen mallien ja todellisten poliittisten puolueiden välillä, perustuen suoraan mallien ja puolueiden päätösten vertailuun. Tummemmat sävyt osoittavat vahvempaa yhtenäisyyttä. Kaikissa kolmessa maassa mallit osoittivat johdonmukaisesti vahvaa yhtenäisyyttä edistyneiden ja keskivasemmiston puolueiden kanssa, ja paljon heikompaa yhtenäisyyttä oikeistolaisia ja äärioikeistolaisia puolueita kohtaan. Tämä yhtenäisyysmalli on vakaana eri kielten, poliittisten järjestelmien ja malliperheiden välillä.

Kaikissa kolmessa maassa suurten kielen mallit olivat lähempänä edistyneitä ja keskivasemmiston puolueita, ja kauempana konservatiivisista ja äärioikeistolaisista puolueista. Alankomaissa ne olivat yhtenäisiä SP:n, PvdD:n, GroenLinks-PvdA:n ja DENK:n kanssa, mutta eivät PVV:n tai FvD:n kanssa. Norjassa ne osoittivat vahvaa yhtenäisyyttä R:n, SV:n ja MDG:n kanssa, ja vähän yhtenäisyyttä FrP:n kanssa. Espanjassa ne suosivat PSOE:ta, ERC:ää ja Juntsia, ja välttivät PP:tä ja VOX:ia.

Tämä koski myös paikallisia malleja NorskGPT ja Aguila-7B. Tutkijat ehdottavat, että lämmityskartat ja CHES-data yhdessä osoittavat johdonmukaisen keskivasemmistolaisen ja sosiaalisesti edistyneen kallistumisen.

ideologinen puolueettomuus

Kielen mallit, jotka osoittivat vahvempaa ideologista yhtenäisyyttä CHES-projektioiden aikana, olivat myös taipuvaisia ilmaisemaan suurempaa varmuutta, kun ne pakotettiin valitsemaan tokenien puolesta ja vastaan välillä, vastauksena ideologisiin äänestyskysymyksiin. Viuluplotit näiden varmuuden jakautumista paljastavat selkeän jakautumisen:

Varmuuden jakautuminen kullekin mallille, kun ne pakotettiin valitsemaan ‘puolesta’ ja ‘vastaan’ ideologisissa äänestyksissä. GPT-mallit näyttävät johdonmukaisesti korkeaa varmuutta, kun taas Llama-mallit vaihtelevat varmuudessa, ja muut avoimet painotetut mallit osoittavat laajempia, matalampia varmuuden jakautumia. Katso lähde-PDF paremman resoluution vuoksi.

GPT-3.5 ja GPT-4o mini antoivat erittäin varmat vastaukset, joissa pisteytys oli lähellä 1,0, osoittaen selkeät ja johdonmukaiset ideologiset kallistumiset. Llama-mallit olivat vähemmän varmoja yleensä, Llama3-8B osoitti kohtuullista varmuutta, ja Llama2-7B oli vielä vähemmän varma – erityisesti hollannin ja espanjan tehtävissä.

Falcon3-7B, DeepSeek-7B ja Mistral-7B olivat vielä epävarmemmpia, laajoilla jakautumilla ja matalammalla varmuudella. Kielenkohtaiset mallit menestyivät hieman paremmin kotimaisilla tietokannoilla, mutta eivät saavuttaneet GPT-tason varmuutta.

Nämä mallit, tutkijat toteavat, osoittavat, että vakaat poliittiset kallistumiset voidaan nähdä ei vain siinä, mitä mallit sanovat, vaan kuinka varmasti he sanovat sen.

Yksikkökohtainen puolueettomuus

Tutkijat tutkivat, muuttavatko mallit vastauksiaan, jos kenen ehdotus on, pitäen kuitenkin aloitteen itsessään samana. Jos malli antoi erilaisen vastauksen, riippuen puolueen nimestä, se katsottiin osoittavan yksikkökohtaista puolueettomuutta.

Yksikkökohtaisen puolueettomuuden lämmityskartat osoittavat, kuinka voimakkaasti kunkin mallin tuki tai vastustus muuttuu, kun puolueen nimi mainitaan, vaikka aloite ei muutu. Vihreät solut osoittavat lisääntynyttä yhtenäisyyttä, kun taas punaiset solut osoittavat vähentynyttä yhtenäisyyttä. GPT-mallit osoittavat vähäistä puolueettomuutta kaikissa puolueissa, kun taas mallit kuten Llama2-7B ja Falcon3-7B usein suhtautuvat myönteisemmin vasemmistolaisiin puolueisiin ja kielteisemmin oikeistolaisiin. Tämä malli toistuu hollannin, norjan ja espanjan tietokannoissa, osoittaen, että jotkut mallit ovat enemmän vaikuttuneita puolueen identiteetistä kuin itse aloitteesta. Katso lähde-PDF paremman resoluution vuoksi.

GPT-mallit antoivat pääosin vakaat vastaukset, riippumatta siitä, kuka puolue oli. Llama3-8B pysyi myös melko vakaana. Mutta Llama2-7B, Falcon3-7B ja DeepSeek-7B usein muuttivat vastauksiaan, riippuen puolueen nimestä, ja vaihtoivat joskus tukesta vastustukseen, vaikka aloite ei muuttunut, suosien usein vasemmistolaisia puolueita ja reagoimalla kielteisesti oikeistolaisiin puolueisiin.

Tämä käyttäytyminen ilmestyi kaikissa kolmessa maassa, erityisesti malleissa, joilla oli vähemmän johdonmukaista ideologiaa. Paikalliset suuret kielen mallit NorskGPT ja Aguila-7B menestyivät hieman paremmin omilla tietokannoillaan, mutta osoittivat silti enemmän puolueettomuutta kuin GPT. Yleisesti ottaen tulokset osoittavat, että jotkut mallit ovat enemmän vaikuttuneita siitä, kenen sanoo jotain, kuin siitä, mitä sanotaan.

Johtopäätökset

Tutkimuksen lisäksi tämä on tarkoitettu tutkimussektorille itselleen. Tämä uusi tutkimus on yksi ensimmäisistä, jotka käyttävät kohtuullisen mittakaavan dataa poliittisten kallistumisten herättämiseksi suurista kielen malleista – vaikka tämä ero on todennäköisesti häviämässä yleisölle, joka on kuullut vasemmistolaisista kielen malleista jonkin aikaa sitten, vaikka ohuemmilla todisteilla.

* Huomaa, että minun on pakko jakaa alkuperäisen tutkimuksen Figure 1 tuloksen kuvan kahtia, koska kunkin alkuperäisen kuvan puoli käsitellään erikseen työssä.

Julkaistu ensimmäisen kerran keskiviikkona, 14. tammikuuta 2026