Tekoälychatbotit kallistuvat vasemmalle äänestäessään oikeista laeista

Ensimmäisessä laatuaan olevassa tutkimuksessa, jossa käytetään laajamittaista reaalimaailman dataa, ChatGPT:tä ja muita laajojen kielten malleja testattiin tuhansilla todellisilla parlamenttiäänestyksillä, ja ne osoittivat toistuvasti yhdenmukaisuutta vasemmistolaisten ja keskustavasemmistolaisten puolueiden kanssa, kun taas heikompaa yhdenmukaisuutta konservatiivisten puolueiden kanssa havaittiin kolmessa maassa.

Uudessa Alankomaiden ja Norjan välisessä akateemisessa yhteistyöhankkeessa ChatGPT-tyyliset suurten kielten mallit (LLM:t) – mukaan lukien itse ChatGPT – pyydettiin äänestämään tuhansista varsinaisista parlamentaarisista päätöslauselmista, joista ihmislainsäätäjät olivat jo päättäneet kolmessa maassa.

Verrattuna oikeiden puolueiden äänimääriin ja standardoidulle poliittiselle asteikolle, syntynyt kuvio asetti tekoälyt johdonmukaisesti lähemmäksi progressiivisia ja keskustavasemmistolaisia ​​puolueita ja kauemmas konservatiivisista.

Paperissa todetaan:

"Tuloksemme paljastavat johdonmukaisia ​​keskustavasemmistolaisia ​​ja progressiivisia taipumuksia eri malleissa sekä systemaattista negatiivista vinoumaa oikeistokonservatiivisia puolueita kohtaan ja osoittavat, että nämä mallit pysyvät vakaina mukaillen esitettyjen kysymysten aikana."

Useimmat aiemmat tutkimukset, kuten Poliittisen puolueellisuuden arviointi laajoissa kielimalleissaja ne, jotka on tarkasteltu kohdassa Poliittisen puolueellisuuden tunnistaminen tekoälyssä, käytä pieniä kuratoituja tietokilpailuja, kuten poliittista kompassia koskevia testejä tai poliittisia kyselylomakkeita, tekoälyn ideologian tutkimiseen. Tämänkaltaiset testit sisältävät tyypillisesti alle 100 väittämää, jotka tutkijat ovat valinneet käsin, ja ne voivat olla alttiita uudelleenmuotoiluvaikutukset joka voi kääntää mallin reaktiot päinvastaisiksi.

Sitä vastoin uudessa tutkimuksessa käytetään tuhansia todellisia parlamentaarisia esityksiä kolmesta maasta – Alankomaista, Norjasta ja Espanjasta – käyttäen tunnettujen poliittisten puolueiden tallennettuja äänestyksiä.

Lyhyiden lausuntojen tulkinnan sijaan jokaista testattua laajan kielen mallia (LLM) pyydettiin äänestämään todellisista lainsäädäntöehdotuksista. Sen äänet verrattiin sitten kvantitatiivisesti puolueiden todelliseen käyttäytymiseen ja projisoitiin standardinmukaiseen ideologiseen tilaan, Chapel Hillin asiantuntijakyselyyn (CHES), menetelmä usein käytetty politiikan tutkijoiden vertaillakseen puolueiden kantoja.

Tämä perustaa analyysin laaja-alaiseen, reaalimaailman lainsäädäntötoimintaan abstraktien poliittisten lausuntojen sijaan ja mahdollistaa hienojakoisemmat, maiden väliset vertailut. Se korostaa myös haitallista vaikutusta kokonaisuuden vinouma (kuinka mallin vaste muuttuu, kun osapuolen nimi mainitaan, vaikka liike pysyy muuttumattomana), mikä valaisee toisen vinouman havaitsemisen kerroksen, jota ei ole aiemmin käytetty.

Useimmat LLM-vinoumia koskevat tutkimukset ovat keskittyneet sosiaaliseen oikeudenmukaisuuteen ja sukupuoleen sekä muihin vastaaviin aiheisiin, joista on tullut jonkin verran alihintaan alisteinen viimeisen poliittisen vuoden aikana; viime aikoihin asti oikeustieteen maisterien poliittisen puolueellisuuden tutkimukset ovat olleet harvinaisempia ja vähemmän pikkutarkasti laadittuja ja laadittuja.

Focus-patjan uutta työtä on otsikko Poliittisen puolueellisuuden paljastaminen laajojen kielten malleissa parlamentaaristen äänestystietojen avulla, ja se tulee seitsemältä tutkijalta Amsterdamin Vrije-yliopistosta ja Oslon yliopistosta.

Menetelmä ja tiedot

Uuden hankkeen keskeisenä tavoitteena on tarkkailla erilaisten kielimallien poliittisia suuntauksia pyytämällä heitä äänestämään historiallisesta lainsäädännöstä (eli laeista, jotka on jo hyväksytty tai hylätty tosielämässä kaikissa kolmessa tutkitussa maassa) ja käyttämällä CHES-menetelmää LLM:ien vastausten poliittisen värityksen kuvaamiseen.

Tätä varten tutkijat loivat kolme tietojoukkoa: PoliBiasNL, kattaa 15 puoluetta Alankomaiden toisessa kamarissa (sisältäen 2 701 esitystä); PoliBiasNO, kattaakseen yhdeksän puoluetta Norjan Stortingissa (sisältäen 10 584 esitystä); ja PoliBiasES, kattaakseen kymmenen Espanjan parlamentin puoluetta (sisältäen 2 480 esitystä – ja ainoan aineiston, joka sisältää myös tyhjät äänestykset, jotka ovat sallittuja Espanjassa).

Jokainen esitys riisuttiin operatiivisiin lausekkeisiinsa kehystysvaikutusten minimoimiseksi, ja puolueiden kannat koodattiin seuraavasti: 1 osoittaakseen tukea tai -1 osoittamaan vastustusta (ja espanjalaisessa aineistossa 0 ((((((1)2)))) heijastamaan äänestämättä jääneitä). Yhdistyneiden puolueiden johdonmukaisesti antamia ääniä käsiteltiin yhtenä blokkina, kun taas uusien puolueiden, kuten Uuden yhteiskuntasopimuksen (NSC), kohdalla niiden johtajien aiempia ääniä käytettiin aiempien kantojen päättelemiseen.

Useille oikeustieteen menetelmille (LLM) suunniteltiin monipuolinen valikoima kokeita, joita testattiin joko paikallisilla GPU:illa tai API:n kautta tarpeen mukaan. Testatut mallit olivat Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Laama2-7B, Ja Laama3-8BMyös kielikohtaisia ​​oikeustieteen menetelmiä testattiin, ja nämä olivat NorskGPT norjalaiselle tietojoukolle ja Aguila-7B espanjalaiseen kokoelmaan.

Testit

Projektissa tehdyt kokeet suoritettiin määrittelemättömällä määrällä NVIDIA A4000 -näytönohjaimia, joissa kussakin oli 16 Gt VRAM-muistia.

Verratakseen mallikäyttäytymistä reaalimaailman poliittisiin ideologioihin tutkijat projisoivat jokaisen oikeustieteen maisterin (LLM) samaan kaksiulotteiseen ideologiseen tilaan, jota käytetään poliittisille puolueille edellä mainitun CHES-kehyksen perusteella.

CHES-järjestelmä määrittelee kaksi akselia: yhden taloudellisille näkemyksille (vasemmisto vs. oikeisto) ja toisen sosiokulttuurisille arvoille (GAL-TAN tai Vihreä-vaihtoehtoinen-libertaari vs Perinteinen-autoritaarinen-nationalisti).

Koska sekä mallit että poliittiset puolueet olivat äänestäneet samoista päätöslauselmista, tutkijat käsittelivät tätä valvottu oppiminen tehtävä, koulutus a Osittaisen pienimmän neliösumman regressiomalli yhdistääkseen kunkin puolueen äänestystiedot sen tunnettuihin CHES-koordinaatteihin.

Tätä mallia sovellettiin sitten LLM-molekyyleihin niiden sijaintien arvioimiseksi samassa avaruudessa. Koska LLM-molekyylejä ei koskaan sisällytetty harjoitusdataan, niiden koordinaatit tarjoaisivat suoran vertailun pelkästään äänestyskäyttäytymisen perusteella*:

Oikeustieteen maisterien ja poliittisten puolueiden ennustetut ideologiset asemat CHES-avaruudessa Alankomaissa, Norjassa ja Espanjassa. Kaikissa kolmessa tapauksessa mallit ovat taloudellisesti linjassa keskustavasemmiston kanssa, mutta eroavat toisistaan ​​sosiokulttuuristen arvojen suhteen: ne kallistuvat perinteisempään suuntaan kuin hollantilaiset progressiiviset, vastaavat paremmin norjalaisia ​​liberaaleja puolueita ja keskittyvät maltillisten katalaanien nationalistien ja Espanjan keskustavasemmiston välille. Mallit pysyvät ideologisesti kaukana äärioikeistolaisista puolueista kaikilla alueilla. Lähde

Oikeustieteen maisterit osoittivat selkeää ja johdonmukaista kaavaa kaikissa kolmessa maassa kallistuen taloudellisesti keskustavasemmistoon ja sosiaalisesti maltillisen progressiivisiin arvoihin.

Alankomaissa oikeustieteen maisteripuolueiden äänet vastasivat taloudellisia kantojaan sellaisten puolueiden kuin D66, Volt ja GroenLinks-PvdA:n kanssa, mutta sosiaalisissa kysymyksissä ne päätyivät lähemmäksi perinteisempiä puolueita, kuten DENK ja CDA.

Norjassa tulokset siirtyivät hieman vasemmalle ja sijoittuivat lähelle edistyksellisiä puolueita, kuten Ap, SV ja MDG.

Espanjassa LLM:n kannat muodostivat diagonaalisen jakauman keskustavasemmistolaisen PSOE:n ja katalaanien nationalististen puolueiden, kuten ERC:n ja Juntsin, välille, pysyen kaukana konservatiivisesta PP:stä ja äärioikeistolaisesta VOX:sta.

Äänestyssopimus poliittisten puolueiden kanssa

Alla olevat äänestyssopimusten lämpökartat osoittavat, kuinka usein kukin oikeustieteen kandidaatti äänesti samalla tavalla kuin oikeat poliittiset puolueet, toistaen aiemmat johtopäätökset:

Äänestysyhteisymmärryksen lämpökartat oikeustieteen maisterien ja todellisten poliittisten puolueiden välillä, jotka perustuvat mallin ja puolueiden päätösten suoraan vertailuun. Tummemmat sävyt osoittavat vahvempaa yksimielisyyttä. Kaikissa kolmessa maassa mallit osoittivat johdonmukaisesti korkeaa kannatusta progressiivisten ja keskustavasemmistolaisten puolueiden kanssa ja paljon alhaisempaa kannatusta oikeisto-konservatiivisten ja äärioikeistolaisten puolueiden kanssa. Tämä kannatusmalli on vakaa eri kielissä, poliittisissa järjestelmissä ja malliperheissä.

Kaikissa kolmessa maassa oikeustieteen maisterit (LLM) asettuivat eniten progressiivisten ja keskustavasemmistolaisten puolueiden puolelle ja vähiten konservatiivisten tai äärioikeistolaisten. Alankomaissa he olivat samaa mieltä SP:n, PvdD:n, GroenLinks-PvdA:n ja DENK:n kanssa, mutta eivät PVV:n tai FvD:n kanssa. Norjassa heillä oli voimakkain päällekkäisyys R:n, SV:n ja MDG:n kanssa ja vain vähän FrP:n kanssa. Espanjassa he suosivat PSOE:tä, ERC:tä ja Juntsia, mutta välttivät PP:tä ja VOX:ia.

Tämä päti myös paikallisiin malleihin NorskGPT ja Aguila-7B. Kirjoittajat ehdottavat, että lämpökartat ja CHES-tiedot yhdessä osoittavat johdonmukaista keskustavasemmistolaista, sosiaalisesti edistyksellistä kallistumista.

Ideologinen puolueellisuus

Kielimallit, jotka osoittivat vahvempaa ideologista yhdenmukaisuutta CHES-ennusteissa, ilmaisivat myös taipumusta korkeampaan varmuuteen, kun ne joutuivat valitsemaan tokeneiden välillä varten ja vastaan, vastauksena ideologisiin kehotuksiin. Näiden luottamusjakaumien viuludiagrammit paljastavat selkeän jaon:

Kunkin mallin varmuusjakaumat, kun mallien on valittava puolesta ja vastaan ​​ideologisten kysymysten välillä. GPT-mallit osoittavat jatkuvasti korkeaa varmuutta, kun taas Llama-mallit vaihtelevat luotettavuudessa ja muut avoimen painotuksen mallit osoittavat laajempia, matalamman varmuuden jakaumia. Katso parempi resoluutio lähdetiedostosta PDF.

GPT-3.5 ja GPT-4o-mini antoivat erittäin varmoja vastauksia, pistemäärien ryppäässä lähelle 1.0:aa, mikä viittaa selkeisiin ja johdonmukaisiin ideologisiin suuntautumisiin. Llama-mallit olivat kaiken kaikkiaan vähemmän varmoja, Llama3-8B:n osoittaessa kohtalaista varmuutta ja Llama2-7B:n paljon epävarmempia – erityisesti hollannin- ja espanjankielisissä tehtävissä.

Falcon3-7B, DeepSeek-7B ja Mistral-7B olivat vielä epäröivempiä, ja niillä oli laajat hajaantumiset ja alhaisempi luotettavuus. Kielikohtaiset mallit pärjäsivät jonkin verran paremmin kotikielen datassa, mutta eivät silti saavuttaneet GPT-tason varmuutta.

Kirjoittajat huomauttavat, että nämä kaavat viittaavat siihen, että vakaa poliittinen linjaus näkyy paitsi mallien väitteissä, myös kuinka luottavaisesti he sanovat sen.

Kokonaisuuden puolueellisuus

Jotta nähdään, muuttavatko mallit vastauksiaan sen perusteella, kuka ehdottaa tutkijat pitivät jokaisen esityksen täsmälleen samana, mutta vaihtoivat niihin liittyvien puolueiden nimet. Jos malli antoi erilaisia ​​vastauksia puolueesta riippuen, sitä pidettiin merkkinä siitä, että kokonaisuuden vinouma.

Entiteettivinoumien lämpökartat osoittavat, kuinka voimakkaasti kunkin mallin tuki tietylle politiikalle muuttuu riippuen siitä, mikä puolue sitä ehdottaa. Vihreät solut osoittavat lisääntynyttä yksimielisyyttä, kun puolue mainitaan (positiivinen vinouma), ja punaiset solut osoittavat vähentynyttä yksimielisyyttä (negatiivinen vinouma). GPT-mallit osoittavat minimaalista vinoumaa puolueiden välillä, kun taas mallit, kuten Llama2-7B ja Falcon3-7B, reagoivat usein suotuisammin vasemmistolaisiin puolueisiin ja negatiivisemmin oikeistolaisiin. Tämä kaava pätee hollantilaisissa, norjalaisissa ja espanjalaisissa aineistoissa, mikä viittaa siihen, että joihinkin malleihin vaikuttaa enemmän puolueidentiteetti kuin politiikan sisältö. Katso parempi resoluutio lähde-PDF:stä.

GPT-mallit antoivat enimmäkseen vakaita vastauksia riippumatta siitä, mikä puolue nimettiin. Myös Llama3-8B pysyi melko vakaana. Mutta Llama2-7B, Falcon3-7B ja DeepSeek-7B muuttivat usein vastauksiaan puolueesta riippuen, joskus vaihtaen kannattajasta vastustajaan, vaikka aloite pysyi samana, suosien yleensä vasemmistolaisia ​​puolueita ja reagoiden kielteisesti oikeistolaisten aloitteisiin.

Tämä käyttäytyminen näkyi kaikissa kolmessa maassa, erityisesti malleissa, joissa oli jo ennestään vähemmän johdonmukainen ideologia. Paikalliset oikeustieteen maisterit NorskGPT ja Aguila-7B pärjäsivät hieman paremmin omissa aineistoissaan, mutta osoittivat silti enemmän vinoumaa kuin GPT. Kaiken kaikkiaan tulokset viittaavat siihen, että joihinkin malleihin vaikuttaa enemmän se, kuka sanoo jotain, kuin se, mitä sanotaan.

Yhteenveto

Alustavien johtopäätöstensä lisäksi tämä on metodinen mutta melko vaikeasti lähestyttävä artikkeli, joka on suunnattu suoraan itse tutkimussektorille. Tästä huolimatta tämä uusi työ on ensimmäisten joukossa, jossa käytetään kohtuullisen mittakaavaista dataa herättääkseen oikeustieteen maistereissa poliittisia kannanottoja – vaikka tämä ero todennäköisesti jää huomaamatta yleisöltä, joka on kuullut vasemmistolaisista kielimalleista melko paljon viimeisen vuoden aikana, tosin melko ohuemman näytön perusteella.

* Huomioithan, että minun on jouduttu jakamaan paperin alkuperäisen kuvan 1 tuloskuvituksen keskelle, koska alkuperäisen kuvan kumpaakin puolta käsitellään työssä erikseen.

Julkaistu ensimmäisen kerran keskiviikkona 14