Chatbot-urile de inteligență artificială se înclină spre stânga atunci când votează pe legi reale

În primul studiu de acest fel, care utilizează date din lumea reală la scară largă, ChatGPT și alte modele de limbaj mare au fost testate pe mii de voturi parlamentare reale și s-au aliniat în mod repetat cu partidele de stânga și centru-stânga, arătând o aliniere mai slabă cu partidele conservatoare în trei țări.

Într-o nouă colaborare academică între Țările de Jos și Norvegia, modelele de limbaj mare de tip ChatGPT – incluzând ChatGPT însuși – au fost rugate să voteze pe mii de moțiuni parlamentare reale care fuseseră deja decise de legiuitorii umani în trei țări.

Când au fost comparate cu voturile înregistrate ale partidelor reale și transpuse pe o scară politică standard, modelul care a apărut a plasat inteligența artificială în mod constant mai aproape de partidele progresiste și centru-stânga, și mai departe de partidele conservatoare.

Articolul afirmă:

‘Descoperirile noastre arată tendințe centru-stânga și progresiste consistente în rândul modelelor, împreună cu o bias negativă sistematică către partidele de dreapta-conservatoare, și arată că aceste modele rămân stabile sub prompturi reformulate.’

Majoritatea studiilor anterioare, cum ar fi Evaluarea biasului politic în modelele de limbaj mare, și cele examinate în Identificarea biasului politic în IA, utilizează teste mici și special create, cum ar fi teste de busolă politică sau chestionare de politică, pentru a testa ideologia unei IA. Testele de acest fel implică de obicei mai puțin de 100 de afirmații, selectate de cercetători, și pot fi vulnerabile la efectele de reexprimare care pot inversa răspunsurile modelului.

În schimb, noul studiu utilizează mii de moțiuni parlamentare reale din trei țări – Țările de Jos, Norvegia și Spania – utilizând voturile înregistrate ale partidelor politice cunoscute.

În loc de a interpreta declarații scurte, fiecare model de limbaj mare testat a fost rugat să voteze pe propuneri legislative reale. Voturile sale au fost apoi comparate cantitativ cu comportamentul real al partidelor, și proiectate într-un spațiu ideologic standard, un sondaj expert Chapel Hill (CHES), o metodologie des utilizată de către oamenii de știință politici pentru a compara pozițiile partidelor.

Acest lucru fundamentează analiza în activitatea legislativă reală la scară largă, în loc de declarații de politică abstracte, și permite comparații mai fine și transnaționale. De asemenea, subliniază efectul dăunător al biasului de entitate (cum răspunsul modelului se schimbă atunci când este menționat numele unui partid, chiar și atunci când moțiunea rămâne neschimbată), iluminând un al doilea strat de detectare a biasului care nu este prezent în lucrările anterioare.

Majoritatea studiilor despre biasul modelelor de limbaj mare s-au concentrat pe corectitudinea socială și gen, printre alte subiecte care au devenit puțin mai puțin prioritare în ultimul an politic; până de curând, studiile despre biasul politic în modelele de limbaj mare au fost mai rare și mai puțin bine instrumentate și concepute.

Noul lucru se intitulează Descoperirea biasului politic în modelele de limbaj mare utilizând înregistrări de vot parlamentar, și provine de la șapte cercetători din cadrul Universității Libere din Amsterdam și al Universității din Oslo.

Metodă și date

Propunerea centrală a noului proiect este de a observa tendințele politice ale unei varietăți de modele de limbaj, prin a le cere să voteze pe legi istorice (adică legi care au fost deja adoptate sau respinse în viața reală, în cele trei țări studiate), și utilizând metodologia CHES pentru a caracteriza culoarea politică a răspunsurilor modelelor de limbaj mare.

Pentru aceasta, cercetătorii au creat trei seturi de date: PoliBiasNL, pentru a acoperi 15 partide în camera a doua a Țărilor de Jos (cu 2.701 de moțiuni); PoliBiasNO, pentru a acoperi nouă partide în Stortingul norvegian (cu 10.584 de moțiuni); și PoliBiasES, pentru a acoperi zece partide în parlamentul spaniol (cu 2.480 de moțiuni – și singurul set de date care include voturi de abținere, care sunt permise în Spania).

Fiecare moțiune a fost redusă la clauzele sale operative pentru a minimiza efectele de cadru, și pozițiile partidelor au fost codificate ca 1 pentru a indica sprijin, sau –1 pentru a indica opoziție (și, în setul de date spaniol, 0 pentru a reflecta abținerile). Voturile consistente din partidele reunite au fost tratate ca un singur bloc, în timp ce pentru partidele noi, cum ar fi Noul Contract Social (NSC), voturile anterioare ale liderilor au fost utilizate pentru a infera pozițiile anterioare.

O varietate de experimente au fost concepute pentru o serie de modele de limbaj mare, testate fie pe GPU-uri locale, fie prin API, după cum a fost necesar. Modelele testate au fost Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; și Llama3-8B. Modelele de limbaj mare specifice limbii au fost testate și, acestea fiind NorskGPT pentru setul de date norvegian, și Aguila-7B pentru colecția spaniolă.

Teste

Experimentele efectuate pentru proiect au fost rulate pe un număr nedefinit de GPU-uri NVIDIA A4000, fiecare cu 16GB de VRAM.

Pentru a compara comportamentul modelului cu ideologiile politice reale, cercetătorii au proiectat fiecare model de limbaj mare în același spațiu ideologic bidimensional utilizat pentru partidele politice, pe baza cadrului CHES menționat anterior.

Sistemul CHES definește două axe: una pentru vederi economice (stânga vs dreapta) și alta pentru valori socioculturale (GAL-TAN, sau Verde-Alternativ-Libertar vs Tradițional-Autoritar-Naționalist).

Deoarece atât modelele, cât și partidele politice au votat pe aceleași moțiuni, cercetătorii au tratat această sarcină ca pe o sarcină de învățare supervizată, antrenând un model de regresie Partial Least Squares pentru a mapa înregistrarea votului fiecărui partid la coordonatele sale cunoscute CHES.

Acest model a fost apoi aplicat pattern-urilor de vot ale modelelor de limbaj mare pentru a estima pozițiile lor în același spațiu. Deoarece modelele de limbaj mare nu făceau parte din datele de antrenament, coordonatele lor ar oferi o comparație directă bazată numai pe comportamentul de vot*:

Poziții ideologice proiectate ale modelelor de limbaj mare și partidelor politice în spațiul CHES pentru Țările de Jos, Norvegia și Spania. În toate cele trei cazuri, modelele se aliniază economic cu centru-stânga, dar se abat în valori socioculturale: înclinate mai mult spre tradițional decât progresiștii olandezi, potrivindu-se mai bine cu partidele liberale norvegiene, și grupându-se între naționaliștii catalani moderați și centru-stânga în Spania. Modelele rămân ideologic departe de partidele de extremă dreapta din toate regiunile. Sursă

Modelele de limbaj mare au arătat un model clar și consistent în toate cele trei țări, înclinându-se economic spre centru-stânga, și social spre valori progresiste moderate.

În Țările de Jos, voturile modelelor de limbaj mare s-au potrivit cu pozițiile economice ale partidelor precum D66, Volt și GroenLinks-PvdA; dar pe probleme sociale, s-au situat mai aproape de partidele mai tradiționale, cum ar fi DENK și CDA.

În Norvegia, rezultatele s-au deplasat puțin mai spre stânga, mapându-se strâns la partidele progresiste, cum ar fi Ap, SV și MDG.

În Spania, pozițiile modelelor de limbaj mare s-au format într-o răspândire diagonală între centru-stânga PSOE și partidele naționaliste catalane, cum ar fi ERC și Junts, rămânând departe de partidul conservator PP și de partidul de extremă dreapta VOX.

Acord de vot cu partidele politice

Hărțile de vot arătate mai jos indică cât de des fiecare model de limbaj mare a votat în același mod ca partidele politice reale, reiterând concluziile anterioare:

Hărți de vot între modelele de limbaj mare și partidele politice reale, pe baza comparațiilor directe ale deciziilor modelului și partidului. Nuanțele mai întunecate indică un acord mai puternic. În toate cele trei țări, modelele au arătat în mod constant o aliniere ridicată cu partidele progresiste și centru-stânga, și o aliniere mult mai scăzută cu partidele de dreapta-conservatoare și de extremă dreapta. Acest model de aliniere a fost stabil în diferite limbi, sisteme politice și familii de modele.

În toate cele trei țări, modelele de limbaj mare s-au aliniat cel mai mult cu partidele progresiste și centru-stânga, și cel mai puțin cu partidele conservatoare sau de extremă dreapta. În Țările de Jos, ele au fost de acord cu SP, PvdD, GroenLinks-PvdA și DENK, dar nu cu PVV sau FvD. În Norvegia, ele au arătat o suprapunere puternică cu R, SV și MDG, și puțină cu FrP. În Spania, ele au favorizat PSOE, ERC și Junts, evitând PP și VOX.

Acest lucru a fost valabil și pentru modelele localizate NorskGPT și Aguila-7B. Autorii sugerează că hărțile și datele CHES împreună indică o aliniere constantă centru-stânga, social progresistă.

Bias de ideologie

Modelele de limbaj mare care au arătat o aliniere ideologică mai puternică în proiecțiile CHES au tendința de a exprima o încredere mai mare atunci când sunt forțate să aleagă între token-urile pentru și împotriva, în răspuns la prompt-uri ideologice. Graficele de vioară ale acestor distribuții de încredere arată o diviziune clară:

Distribuții de încredere pentru fiecare model atunci când sunt forțate să aleagă între ‘pentru’ și ‘împotriva’ în prompt-uri ideologice. Modelele GPT afișează o încredere consistent ridicată, în timp ce modelele Llama variază în încredere și alte modele de limbaj mare cu greutate deschisă arată distribuții mai largi și mai puțin sigure. Vă rugăm să consultați PDF-ul sursă pentru o rezoluție mai bună.

Modelele GPT-3.5 și GPT-4o-mini au dat răspunsuri foarte sigure, cu scoruri grupate aproape de 1.0, sugerând tendințe ideologice clare și consistente. Modelele Llama au fost mai puțin sigure în general, cu Llama3-8B arătând o încredere moderată, și Llama2-7B mult mai nesigură – în special în sarcinile olandeze și spaniole.

Falcon3-7B, DeepSeek-7B și Mistral-7B au fost și mai ezitante, cu distribuții largi și o încredere mai scăzută. Modelele de limbaj mare specifice limbii au făcut puțin mai bine pe datele lor de acasă, dar totuși au arătat mai mult bias decât modelele GPT. În general, rezultatele sugerează că o aliniere politică stabilă poate fi văzută nu numai în ceea ce spun modelele, ci și în încrederea cu care o spun.

Bias de entitate

Pentru a vedea dacă modelele schimbă răspunsurile lor în funcție de cine propune o politică, cercetătorii au păstrat fiecare moțiune exact la fel, dar au schimbat numele partidului asociat. Dacă un model a dat răspunsuri diferite în funcție de partid, acest lucru a fost considerat un semn de bias de entitate.

Hărți de bias de entitate arată cât de mult sprijinul unui model pentru o politică se schimbă, în funcție de care partid o propune. Celulele verzi indică un acord crescut atunci când un partid este numit (bias pozitiv), și celulele roșii indică un acord scăzut (bias negativ). Modelele GPT arată un bias minim în toate partidele, în timp ce modele precum Llama2-7B și Falcon3-7B răspund adesea mai favorabil partidelor de stânga și negativ partidelor de dreapta. Acest model se păstrează în toate cele trei țări, sugerând că unele modele sunt mai influențate de identitatea partidului decât de conținutul politicii. Vă rugăm să consultați PDF-ul sursă pentru o rezoluție mai bună.

Modelele GPT au dat răspunsuri în general stabile, indiferent de partidul numit. Llama3-8B a rămas, de asemenea, destul de stabil. Dar Llama2-7B, Falcon3-7B și DeepSeek-7B au schimbat adesea răspunsurile lor în funcție de partid, uneori schimbându-se de la sprijin la opoziție, chiar și atunci când moțiunea a rămas neschimbată, înclinându-se spre a favoriza partidele de stânga și reacționând negativ la moțiunile partidelor de dreapta.

Acest comportament a apărut în toate cele trei țări, în special în modele care aveau deja o ideologie mai puțin constantă. Modelele de limbaj mare localizate, NorskGPT și Aguila-7B, au făcut puțin mai bine pe seturile de date de acasă, dar totuși au arătat mai mult bias decât modelele GPT. În general, rezultatele sugerează că unele modele sunt mai influențate de identitatea partidului decât de conținutul politicii.

Concluzie

Dincolo de concluziile sale inițiale, acesta este un studiu metodic, dar destul de inaccesibil, adresat în mod direct sectorului de cercetare. Cu toate acestea, această nouă lucrare este printre primele care utilizează date la scară rezonabilă pentru a provoca înclinații politice din modelele de limbaj mare – deși această distincție este probabil să fie pierdută asupra publicului care a auzit despre modelele de limbaj mare înclinate spre stânga

* Vă rugăm să notați că am fost nevoit să împart ilustrația originală a figurii 1 a lucrării pe mijloc, deoarece fiecare parte a figurii originale este tratată separat în lucrare.

Publicat pentru prima dată miercuri, 14 ianuarie 2026