I Chatbot di Intelligenza Artificiale Tendono a Sinistra Quando Votano su Leggi Realmente Esistenti

Nel primo studio del suo genere che utilizza dati reali su larga scala, ChatGPT e altri Modelli Linguistici di Grande Portata sono stati testati su migliaia di votazioni parlamentari reali e si sono allineati ripetutamente con partiti di sinistra e di centro-sinistra, mostrando un allineamento più debole con quelli conservatori in tre paesi.

In una nuova collaborazione accademica tra i Paesi Bassi e la Norvegia, modelli di intelligenza artificiale di tipo ChatGPT – tra cui ChatGPT stesso – sono stati invitati a votare su migliaia di mozioni parlamentari reali già decise da legislatori umani in tre paesi.

Quando confrontati con i voti registrati di partiti reali e mappati su una scala politica standard, il modello che è emerso ha posizionato costantemente gli AI più vicini a partiti progressisti e di centro-sinistra, e più lontani da quelli conservatori.

Il documento afferma:

‘I nostri risultati rivelano tendenze costanti di centro-sinistra e progressiste tra i modelli, insieme a una sistematica negativa inclinazione verso i partiti di destra-conservatori, e mostrano che questi modelli rimangono stabili sotto prompt parafrasati.’

La maggior parte degli studi precedenti, come Valutazione del Bias Politico nei Modelli Linguistici di Grande Portata, e quelli recensiti in Identificazione del Bias Politico nell’Intelligenza Artificiale, utilizzano piccoli quiz curati come test del compasso politico o questionari di politica, per sondare l’ideologia di un AI. Test di questo tipo di solito coinvolgono meno di 100 affermazioni, selezionate a mano dai ricercatori, e possono essere vulnerabili agli effetti di riformulazione che possono invertire le risposte di un modello.

Al contrario, il nuovo studio utilizza migliaia di mozioni parlamentari reali di tre paesi – i Paesi Bassi, la Norvegia e la Spagna – utilizzando voti registrati di partiti politici noti.

Piuttosto che interpretare affermazioni brevi, ogni Modello Linguistico di Grande Portata (LLM) testato è stato invitato a votare su proposte legislative reali. I suoi voti sono stati quindi confrontati quantitativamente con il comportamento dei partiti nel mondo reale e proiettati in uno spazio ideologico standard, una survey di esperti di Chapel Hill (CHES), una metodologia spesso utilizzata da scienziati politici per confrontare le posizioni dei partiti.

Questo radica l’analisi in un’attività legislativa su larga scala e nel mondo reale, invece di affermazioni di politica astratte, e consente confronti più fini e transnazionali. Sottolinea anche l’effetto deleterio del bias di entità (come la risposta del modello cambia quando viene menzionato il nome di un partito, anche se la mozione rimane invariata), illuminando un secondo livello di rilevamento del bias non presente in lavori precedenti.

La maggior parte degli studi sui bias dei LLM si è concentrata sulla giustizia sociale e sul genere, tra gli altri argomenti simili che sono diventati un po’ depotenziati nell’ultimo anno politico; fino a poco tempo fa, gli studi sul bias politico nei LLM sono stati più rari e meno meticolosamente strutturati e concepiti.

Il nuovo lavoro si intitola Svelare il Bias Politico nei Modelli Linguistici di Grande Portata utilizzando Registri di Votazione Parlamentare, e proviene da sette ricercatori di Vrije Universiteit ad Amsterdam e dell’Università di Oslo.

Metodo e Dati

La proposta centrale del nuovo progetto è osservare le tendenze politiche di una varietà di modelli linguistici, chiedendo loro di votare su legislazioni storiche (cioè leggi che sono state già approvate o respinte nella vita reale, nei tre paesi studiati), e utilizzando la metodologia CHES per caratterizzare il colore politico delle risposte dei LLM.

Per questo scopo, i ricercatori hanno creato tre dataset: PoliBiasNL, per coprire 15 partiti nella seconda camera dei Paesi Bassi (con 2.701 mozioni); PoliBiasNO, per coprire nove partiti nel parlamento norvegese (con 10.584 mozioni); e PoliBiasES, per coprire dieci partiti nel parlamento spagnolo (con 2.480 mozioni – e l’unico dataset che include voti di astensione, che sono consentiti in Spagna).

Ogni mozione è stata ridotta alle sue clausole operative per minimizzare gli effetti di cornice, e le posizioni dei partiti sono state codificate come 1 per indicare sostegno, o –1 per indicare opposizione (e, nel dataset spagnolo, 0 per riflettere le astensioni). I voti coerenti dei partiti fusi sono stati trattati come un unico blocco, mentre per nuovi partiti come il Nuovo Contratto Sociale (NSC), i voti passati dei loro leader sono stati utilizzati per inferire posizioni precedenti.

Una serie diversificata di esperimenti è stata progettata per una serie di LLM, testati su GPU locali o tramite API, secondo necessità. I modelli testati sono stati Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; e Llama3-8B. Sono stati testati anche modelli linguistici specifici per la lingua, ovvero NorskGPT per il dataset norvegese, e Aguila-7B per la raccolta spagnola.

Test

Gli esperimenti condotti per il progetto sono stati eseguiti su un numero non specificato di GPU NVIDIA A4000, ognuna con 16GB di VRAM.

Per confrontare il comportamento del modello con le ideologie politiche del mondo reale, i ricercatori hanno proiettato ogni LLM nello stesso spazio ideologico bidimensionale utilizzato per i partiti politici, basato sulla suddetta cornice CHES.

Il sistema CHES definisce due assi: uno per le visioni economiche (sinistra vs destra) e un altro per i valori socioculturali (GAL-TAN, o Verde-Alternativo-Liberale vs Tradizionale-Autoritario-Nazionalista).

Poiché sia i modelli che i partiti politici avevano espresso voti sulle stesse mozioni, i ricercatori hanno trattato questo come un compito di apprendimento supervisionato, addestrando un modello di regressione Partial Least Squares per mappare il record di votazione di ogni partito alle sue coordinate CHES note.

Questo modello è stato quindi applicato ai modelli di voto dei LLM per stimare le loro posizioni nello stesso spazio. Poiché i LLM non facevano parte dei dati di addestramento, le loro coordinate avrebbero quindi offerto un confronto diretto basato solo sul comportamento di voto*:

Posizioni ideologiche proiettate dei LLM e dei partiti politici nello spazio CHES per i Paesi Bassi, la Norvegia e la Spagna. In tutti e tre i casi, i modelli si allineano economicamente con il centro-sinistra, ma divergono nei valori socioculturali: tendono a essere più tradizionali dei progressisti olandesi, corrispondono più da vicino ai partiti liberali norvegesi e si raggruppano tra i nazionalisti catalani moderati e il centro-sinistra in Spagna. I modelli rimangono ideologicamente lontani dai partiti di estrema destra in tutte le regioni. Fonte

I LLM hanno mostrato un modello chiaro e costante in tutti e tre i paesi, inclinando economicamente verso il centro-sinistra e socialmente verso valori progressisti moderati.

Nei Paesi Bassi, i voti dei LLM hanno corrisposto alle posizioni economiche di partiti come D66, Volt e GroenLinks-PvdA; ma sulle questioni sociali, si sono posizionati più vicini a partiti più tradizionali come DENK e CDA.

In Norvegia, i risultati si sono spostati leggermente più a sinistra, mappando da vicino partiti progressisti come Ap, SV e MDG.

In Spagna, le posizioni dei LLM hanno formato una dispersione diagonale tra il centro-sinistra PSOE e i partiti nazionalisti catalani come ERC e Junts, restando ben separati dal conservatore PP e dall’estrema destra VOX.

Accordo di Voto con Partiti Politici

Le mappe di calore dell’accordo di voto mostrate di seguito indicano con quale frequenza ogni LLM ha votato nello stesso modo dei partiti politici reali, ripetendo le conclusioni precedenti:

Mappe di calore dell’accordo di voto tra LLM e partiti politici reali, basate su confronti diretti delle decisioni del modello e del partito. Le sfumature più scure indicano un accordo più forte. In tutti e tre i paesi, i modelli hanno mostrato costantemente un alto allineamento con partiti progressisti e di centro-sinistra, e un allineamento molto più basso con partiti di destra-conservatori e di estrema destra. Questo modello di allineamento è stabile attraverso diverse lingue, sistemi politici e famiglie di modelli.

In tutti e tre i paesi, i LLM si sono allineati di più con partiti progressisti e di centro-sinistra, e di meno con partiti conservatori o di estrema destra. Nei Paesi Bassi, hanno concordato con SP, PvdD, GroenLinks-PvdA e DENK, ma non con PVV o FvD. In Norvegia, hanno mostrato la maggiore sovrapposizione con R, SV e MDG, e poca con FrP. In Spagna, hanno favorito PSOE, ERC e Junts, mentre evitavano PP e VOX.

Ciò valeva anche per i modelli localizzati NorskGPT e Aguila-7B. Gli autori suggeriscono che le mappe di calore e i dati CHES insieme indicano un allineamento costante di centro-sinistra, socialmente progressista.

Bias Ideologico

I modelli linguistici che hanno mostrato un allineamento ideologico più forte nelle proiezioni CHES tendevano anche a esprimere una maggiore certezza quando costretti a scegliere tra i token per e contro, in risposta a prompt ideologici. I grafici a violino di queste distribuzioni di certezza rivelano una chiara divisione:

Distribuzioni di certezza per ogni modello quando costretti a scegliere tra ‘per’ e ‘contro’ attraverso prompt ideologici. I modelli GPT mostrano una certezza costantemente alta, mentre i modelli Llama variano nella fiducia e gli altri modelli open-weight mostrano distribuzioni più ampie e a certezza più bassa. Si prega di fare riferimento al PDF di origine per una risoluzione migliore.

I modelli GPT-3.5 e GPT-4o-mini hanno dato risposte molto confidenti, con punteggi che si raggruppano vicino a 1.0, suggerendo inclinazioni ideologiche chiare e costanti. I modelli Llama erano meno certi nel complesso, con Llama3-8B che mostrava una fiducia moderata, e Llama2-7B molto meno sicuro – specialmente nei compiti olandesi e spagnoli.

Falcon3-7B, DeepSeek-7B e Mistral-7B erano ancora più esitanti, con diffusione ampia e certezza più bassa. I modelli linguistici specifici per la lingua hanno fatto leggermente meglio sui dati della loro lingua madre, ma sono comunque rimasti al di sotto della certezza del modello GPT.

Questi modelli, gli autori notano, suggeriscono che un allineamento politico stabile possa essere visto non solo in ciò che i modelli dicono, ma anche con quale fiducia lo dicono.

Bias di Entità

Per vedere se i modelli cambiano le loro risposte in base a chi propone una politica, i ricercatori hanno mantenuto ogni mozione esattamente la stessa, ma hanno scambiato i nomi dei partiti associati. Se un modello ha dato risposte diverse a seconda del partito, ciò è stato considerato un segno di bias di entità.

Mappe di calore del bias di entità mostrano quanto forte il sostegno di ogni modello per una politica cambi, a seconda di quale partito politico la propone. Le celle verdi indicano un aumento dell’accordo quando viene menzionato un partito (bias positivo), e le celle rosse indicano una diminuzione dell’accordo (bias negativo). I modelli GPT mostrano un bias minimo tra i partiti, mentre modelli come Llama2-7B e Falcon3-7B rispondono spesso più favorevolmente ai partiti di sinistra e negativamente a quelli di destra. Questo modello si mantiene attraverso i dataset olandesi, norvegesi e spagnoli, suggerendo che alcuni modelli sono più influenzati dall’identità del partito che dal contenuto della politica. Si prega di fare riferimento al PDF di origine per una risoluzione migliore.

I modelli GPT hanno dato risposte stabili indipendentemente dal partito menzionato. Anche Llama3-8B è rimasto abbastanza stabile. Ma Llama2-7B, Falcon3-7B e DeepSeek-7B hanno spesso cambiato le loro risposte a seconda del partito, a volte invertendo il sostegno in opposizione anche quando la mozione rimaneva invariata, tendendo a favorire i partiti di sinistra e a reagire negativamente a quelli di destra.

Questo comportamento si è verificato in tutti e tre i paesi, specialmente nei modelli che già avevano un’ideologia meno coerente. I modelli linguistici localizzati NorskGPT e Aguila-7B hanno fatto leggermente meglio sui loro dataset di origine, ma hanno comunque mostrato più bias di GPT. Nel complesso, i risultati suggeriscono che alcuni modelli sono più influenzati da chi dice qualcosa, piuttosto che da cosa viene detto.

Conclusione

Oltre alle sue conclusioni iniziali, questo è un lavoro metodico ma piuttosto inaccessibile rivolto direttamente al settore della ricerca. Tuttavia, questo nuovo lavoro è tra i primi a utilizzare dati su scala ragionevole per provocare inclinazioni politiche dai LLM – sebbene questa distinzione sia probabilmente destinata a essere persa su un pubblico che sentiva parlare di modelli linguistici di sinistra un bel po’ nell’ultimo anno, sebbene su basi piuttosto più esili.

* Si prega di notare che ho dovuto dividere l’illustrazione originale dei risultati della Figura 1 del documento a metà, poiché ogni lato della figura originale è trattato separatamente nel lavoro.

Pubblicato per la prima volta mercoledì, 14 gennaio 2026