Andersonin kulma
Älykäs keskustelubotti kallistuu vasemmalle, kun äänestetään oikeista laeista

Keskeiset kohdatSuuret kielimallit äänestävät johdonmukaisesti keskustavasemmistolaisia puolueita…
Näytä lisää
- Suuret kielimallit äänestävät johdonmukaisesti keskustavasemmistolaisia puolueita kannattavasti todellisissa parlamenttiasioissa kolmessa maassa.
- Jotkin mallit muuttavat kannatustaan pelkästään sen perusteella, mikä poliittinen puolue on esittänyt asiainkäsittelyaloitteen.
- GPT-mallit osoittavat korkeaa varmuutta vasemmistolaisissa äänissään, kun taas avoimen painoarvon mallit ovat epäröivämpiä.
Ensimmäisessä tutkimuksessa, jossa käytetään suurta määrää todellisen maailman dataa, ChatGPT ja muut suuret kielen mallit testattiin tuhansilla oikeilla parlamentin äänestyksillä, ja ne olivat toistuvasti linjassa vasemmiston ja keskivasemmiston puolueiden kanssa, kun taas osoittivat heikomman linjauksen konservatiivisten puolueiden kanssa kolmessa maassa.
Uudessa akateemisessa yhteistyössä Alankomaissa ja Norjassa ChatGPT-tyyppiset suuret kielen mallit (LLM) – mukaan lukien ChatGPT itse – pyydettiin äänestämään tuhansia todellisia parlamentin aloitteita, jotka olivat jo päätetty ihmisten toimesta kolmessa maassa.
Kun verrattiin todellisiin puolueiden äänestyksiin ja kartoitettiin standardiin poliittiseen skaalaan, mallien äänestykset asettuivat johdonmukaisesti lähemmäs edistyksellisiä ja keskivasemmiston puolueita, ja kauemmaksi konservatiivisista puolueista.
Tutkimus toteaa:
‘Tuloksemme osoittavat malleissa johdonmukaisia keskivasemmistolaisia ja edistyksellisiä suuntauksia sekä järjestelmällistä kielteistä vinoumaa oikeistokonservatiivisia puolueita kohtaan. Nämä kuviot pysyvät vakaina myös uudelleen muotoilluilla kehotteilla.’
Useimmat aiemmat tutkimukset, kuten Assessing Political Bias in Large Language Models, ja ne, jotka on tarkasteltu Identifying Political Bias in AI, käyttävät pieniä, valittuja kyselyjä, kuten poliittisia kompassikokeita tai kyselyitä, jotta voidaan tutkia älykkään mallin ideologiaa. Tällaiset testit sisältävät yleensä alle 100 lausetta, jotka tutkijat ovat valinneet, ja ne voivat olla alttiina uudelleen sanomisen vaikutuksille, jotka voivat kääntää mallin vastauksia.
Toisin kuin aiemmat tutkimukset, tämä uusi tutkimus käyttää tuhansia todellisia parlamentin aloitteita kolmesta maasta – Alankomaista, Norjasta ja Espanjasta – käyttäen tunnettujen puolueiden kirjattuja äänestystuloksia.
Sen sijaan, että tulkitsisivat lyhyitä lauseita, jokainen suuri kielen malli testattiin todellisilla lainsäädäntöehdotuksilla. Äänestystulokset verrattiin määrällisesti todellisiin puolueiden käyttäytymiseen ja projisoitiin standardiin ideologiseen avaruuteen, Chapel Hillin asiantuntija kysely (CHES), menetelmä usein käytetty poliittisissa tieteissä vertailla puolueiden asemia.
Tämä perustaa analyysin laajaan, todelliseen lainsäädäntötoimintaan, sen sijaan, että abstraktiin poliittiseen ilmoituksiin, ja mahdollistaa hienojakoisemmat, kansainväliset vertailut. Se korostaa myös haitallisen toimijan identiteettiin liittyvän vinouman haitallista vaikutusta (kuinka mallin vastaus muuttuu, kun puolueen nimi mainitaan, vaikka aloite ei muutu), valaisee toisen kerroksen vinoumien havaitsemista, jota ei ole aiemmissa tutkimuksissa.
Useimmat aiemmat tutkimukset suurten kielen mallien vinoumista ovat keskittyneet sosiaaliseen oikeudenmukaisuuteen ja sukupuoleen, muiden muassa aiheisiin, jotka ovat tullut jonkin verran vähemmän tärkeiksi viimeisen poliittisen vuoden aikana; vasta äskettäin tutkimukset älykkään mallien poliittisesta vinoumista ovat olleet harvinaisia ja vähemmän tarkkaan suunniteltuja.
Uusi tutkimus on nimeltään Uncovering Political Bias in Large Language Models using Parliamentary Voting Records, ja se on peräisin seitsemältä tutkijalta Vrije Universiteit Amsterdamista ja Oslon yliopistosta.
Menetelmä ja data
Tutkimuksen keskeinen väite on havainnoida eri kielen mallien poliittisia tendenssejä pyytämällä niitä äänestämään historiallisista lakiehdotuksista (ts. lait, jotka ovat jo hyväksytty tai hylätty todellisessa elämässä kolmessa tutkitussa maassa), ja käyttämällä CHES-menetelmää mallien vastausten poliittisen värin määrittämiseen.
Tätä varten tutkijat loivat kolme aineistoa: PoliBiasNL, joka kattaa 15 puoluetta Alankomaiden alahuoneessa (jossa on 2 701 aloitetta); PoliBiasNO, joka kattaa yhdeksän puoluetta Norjan Stortingissa (jossa on 10 584 aloitetta); ja PoliBiasES, joka kattaa kymmenen puoluetta Espanjan parlamentissa (jossa on 2 480 aloitetta – ja ainoa tietokanta, joka sisältää tyhjät äänet, jotka ovat sallittuja Espanjassa).
Kukin aloite rajattiin sen varsinaisiin ehdotuslausekkeisiin kehystämisvaikutusten minimoimiseksi, ja puolueiden asemat koodattiin 1:ksi osoittamaan tukea tai –1:ksi osoittamaan vastustusta (ja Espanjan tietokannassa 0:ksi kuvaamaan tyhjiä ääniä). Jatkuvat äänet yhdistetyistä puolueista käsiteltiin yhtenä ryhmänä, kun taas uusille puolueille, kuten New Social Contract (NSC), käytettiin johtajien aiempia ääniä asemien määrittämiseen.
Monipuolinen joukko kokeita suunniteltiin useille suurille kielen malleille, jotka testattiin joko paikallisilla GPU:illa tai API:n kautta tarpeen mukaan. Testatut mallit olivat Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; ja Llama3-8B. Kielenkohtaiset mallit testattiin myös, jotka olivat NorskGPT Norjan tietokannalle ja Aguila-7B Espanjan kokoelmalle.
Kokeet
Tutkimuksessa tehtyjä kokeita suoritettiin määräämättömän määrän NVIDIA A4000 -grafiikkakorteilla, joissa kussakin on 16 GB VRAM:ia.
Mallien käyttäytymisen vertaamiseksi todellisiin poliittisiin ideologioihin tutkijat projisoivat jokaisen suuren kielen mallin samaan kahden ulottuvuuden ideologiseen avaruuteen, jota käytetään poliittisille puolueille, perustuen edellä mainittuun CHES-kehykseen.
CHES-järjestelmä määrittää kaksi akselia: yhden taloudellisista näkemyksistä (vasemmisto vs. oikeisto) ja toisen sosio-kulttuurisista arvoista (GAL-TAN, tai Vihreä-Vaihtoehtoinen-Libertaarinen vs Perinteinen-Autoritaarinen-Nationalistinen).
Koska sekä mallit että poliittiset puolueet olivat äänestäneet samoista aloitteista, tutkijat käsitteli tämän valvotun oppimisen tehtävänä, kouluttaen Osittaisen Pienimmän Neliöiden Regressio-mallin puolueiden äänestyskäyttäytymisen ja tunnettujen CHES-koordinaattien välille.
Tämä malli sovellettiin sitten suurten kielen mallien äänestyskäyttäytymiseen arvioimaan niiden asemia samassa avaruudessa. Koska suuret kielen mallit eivät olleet osa koulutusdataa, niiden koordinaatit tarjosivat suoran vertailun pelkästään äänestyskäyttäytymisen perusteella*:

Projektio suurten kielen mallien ja poliittisten puolueiden ideologisista asemista CHES-avaruudessa Alankomaissa, Norjassa ja Espanjassa. Kaikissa kolmessa tapauksessa mallit ovat taloudellisesti lähempänä keskivasemmistoa, mutta eroavat sosio-kulttuurisissa arvoissa: kallistuvat perinteisemmän kuin alankomaalaiset edistykselliset, vastaavat norjalaisia liberaaleja puolueita tarkemmin, ja muodostavat ryhmän maltillisten katalonialaisten nationalistien ja keskivasemmiston välillä Espanjassa. Mallit säilyvät ideologisesti etäällä äärioikeistolaisista puolueista kaikissa alueissa. Lähde
Suurten kielen mallit näyttivät selkeän ja johdonmukaisen mallin kaikissa kolmessa maassa, kallistuen taloudellisesti keskivasemmistoon ja sosiaalisesti maltillisten edistyksellisten arvojen suuntaan.
Alankomaissa suurten kielen mallien äänet vastasivat taloudellisesti puolueiden asemia, kuten D66, Volt ja GroenLinks-PvdA; mutta sosiaalisissa kysymyksissä ne sijoittuivat lähemmäs perinteisempiä puolueita, kuten DENK ja CDA.
Norjassa tulokset siirtyivät hieman vasemmalle, vastaten edistyksellisten puolueiden asemia, kuten Ap, SV ja MDG.
Espanjassa suurten kielen mallien asemat muodostivat vinon levittäytyneisyyden keskivasemmiston PSOE:n ja katalonialaisten nationalististen puolueiden, kuten ERC ja Junts, välillä, pysyen erillään konservatiivisesta PP:stä ja äärioikeistolaisesta VOX:sta.
Äänestys yhtenäisyys poliittisten puolueiden kanssa
Äänestys yhtenäisyyden lämpökartat, jotka näytetään alla, osoittavat, kuinka usein jokainen suuri kielen malli äänesti samalla tavalla kuin todelliset poliittiset puolueet, toistaa aiemmat johtopäätökset:

Äänestys yhtenäisyyden lämpökartat suurten kielen mallien ja todellisten poliittisten puolueiden välillä, perustuen suoraan mallien ja puolueiden päätösten vertailuun. Tummemmat sävyt osoittavat vahvempaa yhtenäisyyttä. Kaikissa kolmessa maassa mallit osoittivat johdonmukaisesti vahvaa yhtenäisyyttä edistyksellisten ja keskivasemmiston puolueiden kanssa, ja paljon heikompaa yhtenäisyyttä oikeistolaisia ja äärioikeistolaisia puolueita kohtaan. Tämä yhtenäisyysmalli on vakaana eri kielten, poliittisten järjestelmien ja malliperheiden välillä.
Kaikissa kolmessa maassa suurten kielen mallit olivat lähempänä edistyksellisiä ja keskivasemmiston puolueita, ja kauempana konservatiivisista ja äärioikeistolaisista puolueista. Alankomaissa ne olivat yhtenäisiä SP:n, PvdD:n, GroenLinks-PvdA:n ja DENK:n kanssa, mutta eivät PVV:n tai FvD:n kanssa. Norjassa ne osoittivat vahvaa yhtenäisyyttä R:n, SV:n ja MDG:n kanssa, ja vähän yhtenäisyyttä FrP:n kanssa. Espanjassa ne suosivat PSOE:ta, ERC:ää ja Juntsia, ja välttivät PP:tä ja VOX:ia.
Tämä koski myös paikallisia malleja NorskGPT ja Aguila-7B. Tutkijat ehdottavat, että lämpökartat ja CHES-data yhdessä osoittavat johdonmukaisen keskivasemmistolaisen ja sosiaalisesti edistyksellisen suuntauksen.
Ideologinen vinouma
Kielen mallit, jotka osoittivat vahvempaa ideologista yhtenäisyyttä CHES-projektioiden aikana, olivat myös taipuvaisia ilmaisemaan suurempaa varmuutta, kun ne pakotettiin valitsemaan tokenien puolesta ja vastaan välillä, vastauksena ideologisiin äänestyskysymyksiin. Viuluplotit näiden varmuuden jakautumista paljastavat selkeän jakautumisen:

Varmuuden jakautuminen kullekin mallille, kun ne pakotettiin valitsemaan ‘puolesta’ ja ‘vastaan’ ideologisissa äänestyksissä. GPT-mallit näyttävät johdonmukaisesti korkeaa varmuutta, kun taas Llama-mallit vaihtelevat varmuudessa, ja muut avoimien painojen mallit osoittavat laajempia, matalampia varmuuden jakautumia. Katso lähde-PDF paremman resoluution vuoksi.
GPT-3.5 ja GPT-4o mini antoivat erittäin varmat vastaukset, joissa pisteytys oli lähellä 1,0, osoittaen selkeät ja johdonmukaiset ideologiset kallistumiset. Llama-mallit olivat vähemmän varmoja yleensä, Llama3-8B osoitti kohtuullista varmuutta, ja Llama2-7B oli vielä vähemmän varma – erityisesti hollannin ja espanjan tehtävissä.
Falcon3-7B, DeepSeek-7B ja Mistral-7B olivat vielä epävarmemmpia, laajoilla jakautumilla ja matalammalla varmuudella. Kielenkohtaiset mallit menestyivät hieman paremmin kotimaisilla tietokannoilla, mutta eivät saavuttaneet GPT-tason varmuutta.
Nämä kuviot, tutkijat toteavat, osoittavat, että vakaat poliittiset kallistumiset voidaan nähdä ei vain siinä, mitä mallit sanovat, vaan kuinka varmasti he sanovat sen.
Toimijan identiteettiin liittyvä vinouma
Tutkijat tutkivat, muuttavatko mallit vastauksiaan, jos kenen ehdotus on, pitäen kuitenkin aloitteen itsessään samana. Jos malli antoi erilaisen vastauksen, riippuen puolueen nimestä, se katsottiin osoittavan toimijan identiteettiin liittyvää vinoumaa.

Toimijan identiteettiin liittyvän vinouman lämpökartat osoittavat, kuinka voimakkaasti kunkin mallin tuki tai vastustus muuttuu, kun puolueen nimi mainitaan, vaikka aloite ei muutu. Vihreät solut osoittavat lisääntynyttä yhtenäisyyttä, kun taas punaiset solut osoittavat vähentynyttä yhtenäisyyttä. GPT-mallit osoittavat vain vähäistä vinoumaa kaikissa puolueissa, kun taas mallit kuten Llama2-7B ja Falcon3-7B usein suhtautuvat myönteisemmin vasemmistolaisiin puolueisiin ja kielteisemmin oikeistolaisiin. Tämä malli toistuu hollannin, norjan ja espanjan tietokannoissa, osoittaen, että jotkut mallit ovat enemmän vaikuttuneita puolueen identiteetistä kuin itse aloitteesta. Katso lähde-PDF paremman resoluution vuoksi.
GPT-mallit antoivat pääosin vakaat vastaukset, riippumatta siitä, kuka puolue oli. Llama3-8B pysyi myös melko vakaana. Mutta Llama2-7B, Falcon3-7B ja DeepSeek-7B usein muuttivat vastauksiaan, riippuen puolueen nimestä, ja vaihtoivat joskus tuesta vastustukseen, vaikka aloite ei muuttunut, suosien usein vasemmistolaisia puolueita ja reagoimalla kielteisesti oikeistolaisiin puolueisiin.
Tämä käyttäytyminen ilmestyi kaikissa kolmessa maassa, erityisesti malleissa, joilla oli vähemmän johdonmukaista ideologiaa. Paikalliset suuret kielen mallit NorskGPT ja Aguila-7B menestyivät hieman paremmin omilla tietokannoillaan, mutta osoittivat silti enemmän vinoumaa kuin GPT. Yleisesti ottaen tulokset osoittavat, että jotkut mallit ovat enemmän vaikuttuneita siitä, kuka sanoo jotain, kuin siitä, mitä sanotaan.
Johtopäätökset
Alkuperäisten johtopäätöstensä lisäksi tämä on järjestelmällinen mutta melko vaikeaselkoinen tutkimus, joka on suunnattu suoraan tutkimusalalle itselleen. Tämä uusi tutkimus on yksi ensimmäisistä, jotka käyttävät kohtuullisen mittakaavan dataa poliittisten kallistumisten herättämiseksi suurista kielen malleista – vaikka tämä ero on todennäköisesti häviämässä yleisölle, joka on kuullut vasemmistolaisista kielen malleista melko paljon viime vuoden aikana, tosin huomattavasti heikomman näytön perusteella.
* Huomaa, että minun on pakko jakaa alkuperäisen tutkimuksen Figure 1 tuloksen kuvan kahtia, koska kunkin alkuperäisen kuvan puoli käsitellään erikseen työssä.
Julkaistu ensimmäisen kerran keskiviikkona, 14. tammikuuta 2026












