Chatboții cu inteligență artificială se înclină spre stânga atunci când votează legi reale

În primul studiu de acest fel care utilizează date reale la scară largă, ChatGPT și alte modele lingvistice mari au fost testate pe mii de voturi parlamentare reale și s-au aliniat în mod repetat cu partidele de stânga și centru-stânga, arătând în același timp o aliniere mai slabă cu cele conservatoare în trei țări.

Într-o nouă colaborare academică între Olanda și Norvegia, modelele lingvistice mari în stil ChatGPT (LLM-uri) – inclusiv ChatGPT – au fost rugați să voteze asupra a mii de moțiuni parlamentare care fuseseră deja decise de legislatori umani din trei țări.

Comparate cu voturile înregistrate ale partidelor reale și corelate cu o scală politică standard, modelul rezultat a plasat AI-urile constant mai aproape de partidele progresiste și de centru-stânga și mai departe de cele conservatoare.

Lucrarea afirmă:

„Constatările noastre relevă tendințe consistente de centru-stânga și progresiste în toate modelele, împreună cu o părtinire negativă sistematică față de partidele conservatoare de dreapta și arată că aceste tipare rămân stabile în condiții de parafrazare.”

Majoritatea studiilor anterioare, cum ar fi Evaluarea părtinirii politice în modelele lingvistice mariși cele analizate în Identificarea părtinirilor politice în IA, utilizați chestionare mici, atent selecționate, cum ar fi testele de busolă politică sau chestionarele de politici, pentru a investiga ideologia unei inteligențe artificiale. Testele de acest gen implică de obicei mai puțin de 100 de afirmații, selectate manual de cercetători, și pot fi vulnerabile la efecte de reformulare care poate inversa răspunsurile unui model.

Prin contrast, noul studiu folosește mii de moțiuni parlamentare reale din trei țări – Olanda, Norvegia și Spania – folosind voturi înregistrate de la partide politice cunoscute.

În loc să interpreteze afirmații scurte, fiecare Model de Limbaj Larg (LLM) testat a fost rugat să voteze asupra unor propuneri legislative concrete. Voturile sale au fost apoi comparate cantitativ cu comportamentul partidului din lumea reală și proiectate într-un spațiu ideologic standard, un sondaj de specialitate din Chapel Hill (CHES), o metodologie folosit des de către politologi pentru a compara pozițiile partidelor.

Aceasta ancorează analiza pe o activitate legislativă la scară largă, din lumea reală, în loc de declarații de politici abstracte și permite comparații transnaționale mai detaliate. De asemenea, subliniază efectul dăunător al prejudecată a entității (cum se schimbă răspunsul modelului atunci când este menționat numele unui partid, chiar și atunci când mișcarea rămâne neschimbată), iluminând un al doilea nivel de detectare a prejudecăților care nu era prezent în lucrările anterioare.

Majoritatea studiilor privind prejudecățile LLM s-au concentrat pe echitate socială și gen, printre alte subiecte similare care au devenit... oarecum depriorizat în ultimul an politic; până de curând, studiile privind părtinirea politică în cadrul programelor de masterat în drept au fost mai rare și mai puțin meticulos elaborate și concepute.

lucrare nouă se intitulează Descoperirea părtinirilor politice în modelele lingvistice mari folosind înregistrările voturilor parlamentareși provine de la șapte cercetători din Vrije Universiteit din Amsterdam și de la Universitatea din Oslo.

Metodă și date

Propunerea centrală a noului proiect este de a observa tendințele politice ale unei varietăți de modele lingvistice, cerându-le să voteze asupra legislației istorice (adică legi care au fost deja adoptate sau respinse în viața reală, în cele trei țări studiate) și utilizând metodologia CHES pentru a caracteriza culoarea politică a răspunsurilor LLM-urilor.

În acest scop, cercetătorii au creat trei seturi de date: PoliBiasNL, pentru a acoperi 15 partide din a doua cameră olandeză (cu 2,701 moțiuni); PoliBiasNU, pentru a acoperi nouă partide, Stortingul norvegian (cu 10,584 de moțiuni); și PoliBiasES, pentru a acoperi zece partide din parlamentul spaniol (cu 2,480 de moțiuni – și singurul set de date care include voturile de abținere, care sunt permise în Spania).

Fiecare moțiune a fost simplificată la clauzele sale operative pentru a minimiza efectele de încadrare, iar pozițiile partidelor au fost codificate ca 1 pentru a indica sprijinul sau -1 pentru a indica opoziția (și, în setul de date spaniol, 0 (pentru a reflecta abținerile). Voturile consecvente din partea partidelor fuzionate au fost tratate ca un singur bloc, în timp ce pentru partidele noi, cum ar fi Noul Contract Social (NSC), voturile anterioare ale liderilor lor au fost folosite pentru a deduce pozițiile anterioare.

O gamă diversă de experimente a fost concepută pentru o serie de LLM-uri, testate fie pe GPU-uri locale, fie prin API, după cum a fost necesar. Modelele testate au fost Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Lama2-7BŞi Lama3-8BAu fost testate și programe de masterat în drept specifice anumitor limbi, acestea fiind NorskGPT pentru setul de date norvegian și Aguila-7B pentru colecția spaniolă.

Teste

Experimentele efectuate pentru proiect au fost rulate pe un număr nespecificat de GPU-uri NVIDIA A4000, fiecare cu 16 GB de VRAM.

Pentru a compara comportamentul modelului cu ideologiile politice din lumea reală, cercetătorii au proiectat fiecare LLM în același spațiu ideologic bidimensional utilizat pentru partidele politice, pe baza cadrului CHES menționat anterior.

Sistemul CHES definește două axe: una pentru perspectivele economice (stânga vs. dreapta) și o alta pentru valorile socio-culturale (GAL-TAN sau Verde-Alternativ-Libertarian vs Tradițional-Autoritar-Naționalist).

Deoarece atât modelele, cât și partidele politice au votat pentru aceleași moțiuni, cercetătorii au tratat acest lucru ca pe o învățare supravegheată sarcină, antrenarea unui Model de regresie parțială a celor mai mici pătrate pentru a mapa înregistrarea voturilor fiecărui partid la coordonatele sale CHES cunoscute.

Acest model a fost apoi aplicat tiparelor de vot ale LLM-urilor pentru a estima pozițiile acestora în același spațiu. Întrucât LLM-urile nu au făcut niciodată parte din datele de antrenament, coordonatele lor ar oferi, prin urmare, o comparație directă bazată exclusiv pe comportamentul de vot*:

Pozițiile ideologice proiectate ale LLM-urilor și ale partidelor politice în spațiul CHES pentru Olanda, Norvegia și Spania. În toate cele trei cazuri, modelele se aliniază economic cu centrul-stânga, dar diferă în ceea ce privește valorile socio-culturale: înclină mai tradițional decât progresiștii olandezi, se potrivesc mai mult cu partidele liberale norvegiene și se grupează între naționaliștii catalani moderați și centrul-stânga din Spania. Modelele rămân ideologic distante de partidele de extremă dreapta în toate regiunile. Sursa

Masteratele de drept au arătat un model clar și consistent în toate cele trei țări, înclinând economic spre centru-stânga și social spre valori progresiste moderate.

În Olanda, voturile membrilor LLM s-au apropiat de pozițiile economice ale unor partide precum D66, Volt și GroenLinks-PvdA; dar în ceea ce privește problemele sociale, s-au apropiat mai mult de cele ale unor partide mai tradiționale, precum DENK și CDA.

În Norvegia, rezultatele s-au deplasat ușor mai la stânga, corelându-se îndeaproape cu partidele progresiste precum Ap, SV și MDG.

În Spania, pozițiile LLM au format o diagonală între PSOE de centru-stânga și partide naționaliste catalane precum ERC și Junts, rămânând la mare distanță de PP, conservatorul, și de VOX, de extremă dreapta.

Acord de vot cu partidele politice

Hărțile termice ale acordurilor de vot prezentate mai jos indică cât de des a votat fiecare LLM în același mod ca partidele politice reale, reiterând concluziile anterioare:

Hărți termice ale acordului de vot între membrii LLM și partidele politice reale, bazate pe comparații directe ale deciziilor modelului și partidului. Nuanțele mai închise indică un acord mai puternic. În toate cele trei țări, modelele au arătat în mod constant o aliniere ridicată cu partidele progresiste și de centru-stânga și o aliniere mult mai scăzută cu partidele conservatoare de dreapta și de extremă dreapta. Acest model de aliniere este stabil în diferite limbi, sisteme politice și familii de modele.

În toate cele trei țări, membrii partidelor de dreapta (LLM) s-au aliniat cel mai mult cu partidele progresiste și de centru-stânga și cel mai puțin cu cele conservatoare sau de extremă dreapta. În Olanda, au fost de acord cu SP, PvdD, GroenLinks-PvdA și DENK, dar nu și cu PVV sau FvD. În Norvegia, au demonstrat cea mai puternică suprapunere cu R, SV și MDG și puțin cu FrP. În Spania, au favorizat PSOE, ERC și Junts, evitând în același timp PP și VOX.

Acest lucru a fost valabil și pentru modelele localizate NorskGPT și Aguila-7B. Autorii sugerează că hărțile termice și datele CHES indică împreună o înclinație constantă spre centru-stânga, progresistă din punct de vedere social.

Prejudecăți ideologice

Modelele lingvistice care au arătat o aliniere ideologică mai puternică în proiecțiile CHES au avut, de asemenea, tendința de a exprima o certitudine mai mare atunci când au fost forțate să aleagă între token-uri. pentru și împotriva, ca răspuns la solicitări ideologice. Diagramele de vioară ale acestor distribuții de încredere relevă o divizare clară:

Distribuțiile de certitudine pentru fiecare model atunci când este forțat să aleagă între „pro” și „contra” în funcție de solicitările ideologice. Modelele GPT afișează constant o certitudine ridicată, în timp ce modelele Llama variază în ceea ce privește încrederea, iar alte modele cu ponderare deschisă prezintă distribuții mai largi, cu certitudine mai scăzută. Vă rugăm să consultați PDF-ul sursă pentru o rezoluție mai bună.

GPT-3.5 și GPT-4o-mini au oferit răspunsuri foarte sigure, cu scoruri apropiate de 1.0, sugerând înclinații ideologice clare și consistente. Modelele Llama au fost mai puțin sigure în general, Llama3-8B demonstrând o încredere moderată, iar Llama2-7B mult mai puțin sigur – în special în testele olandeze și spaniole.

Falcon3-7B, DeepSeek-7B și Mistral-7B au fost și mai ezitante, cu diferențe largi și o încredere mai scăzută. Modelele specifice limbii au avut rezultate ceva mai bune pe datele din limbile materne, dar tot nu au atins nivelul de certitudine GPT.

Aceste modele, notează autorii, sugerează că o aliniere politică stabilă poate fi observată nu doar în ceea ce spun modelele, ci și în cât de încrezător o spun ei.

Biasul entității

Pentru a vedea dacă modelele își schimbă răspunsurile în funcție de cine propune o politică, cercetătorii au păstrat fiecare mișcare exact la fel, dar au schimbat numele partidelor asociate. Dacă un model oferea răspunsuri diferite în funcție de partid, acest lucru era considerat un semn de prejudecată a entității.

Hărțile termice ale prejudecăților entității arată cât de puternic se modifică sprijinul fiecărui model pentru o politică, în funcție de partidul politic care o propune. Celulele verzi indică un acord crescut atunci când un partid este numit (prejudecată pozitivă), iar celulele roșii indică un acord scăzut (prejudecată negativă). Modelele GPT prezintă o prejudecată minimă între partide, în timp ce modele precum Llama2-7B și Falcon3-7B răspund adesea mai favorabil partidelor de stânga și negativ celor de dreapta. Acest model este valabil în seturile de date olandeze, norvegiene și spaniole, sugerând că unele modele sunt mai influențate de identitatea partidului decât de conținutul politicilor. Vă rugăm să consultați PDF-ul sursă pentru o rezoluție mai bună.

Modelele GPT au oferit răspunsuri în mare parte stabile, indiferent de partidul numit. Llama3-8B a rămas, de asemenea, destul de stabil. Însă Llama2-7B, Falcon3-7B și DeepSeek-7B și-au schimbat adesea răspunsurile în funcție de partid, uneori trecând de la susținere la opoziție chiar și atunci când moțiunea a rămas aceeași, tinzând să favorizeze partidele de stânga și să reacționeze negativ la moțiunile celor de dreapta.

Acest comportament a fost observat în toate cele trei țări, în special în modelele care aveau deja o ideologie mai puțin consistentă. Modelele LLM localizate NorskGPT și Aguila-7B au avut rezultate puțin mai bune pe seturile lor de date de origine, dar au prezentat totuși mai multe părtiniri decât GPT. Per total, rezultatele sugerează că unele modele sunt influențate mai mult de cine spune ceva decât de ceea ce se spune.

Concluzie

Dincolo de concluziile inițiale, aceasta este o lucrare metodică, dar destul de inabordabilă, care vizează direct sectorul de cercetare în sine. Cu toate acestea, această nouă lucrare este printre primele care utilizează date la o scară rezonabilă pentru a provoca înclinații politice din partea doctoranzilor în drept - deși această distincție este probabil să fie trecută cu vederea de un public care a auzit destul de des despre modele lingvistice cu înclinații de stânga în ultimul an, deși pe baza unor dovezi destul de puține.

* Vă rog să rețineți că a trebuit să împart ilustrația originală a rezultatelor din Figura 1 a lucrării în două, deoarece fiecare parte a figurii originale este tratată separat în lucrare.

Publicat prima dată miercuri, 14 ianuarie 2026