Chatboty AI skłaniają się w lewo podczas głosowania nad prawdziwymi ustawami

W pierwszym badaniu tego typu, wykorzystującym rzeczywiste dane na dużą skalę, ChatGPT i inne modele dużego języka zostały przetestowane na tysiącach prawdziwych głosowań parlamentarnych. Wielokrotnie okazały się one zgodne z partiami lewicowymi i centrolewicowymi, a jednocześnie wykazały słabsze powiązanie z partiami konserwatywnymi w trzech krajach.

W ramach nowej współpracy akademickiej pomiędzy Holandią i Norwegią opracowano modele dużych języków w stylu ChatGPT (LLM) – w tym sam ChatGPT – poproszono o głosowanie nad tysiącami faktycznych wniosków parlamentarnych, które zostały już podjęte przez ludzkich prawodawców w trzech krajach.

W porównaniu z zarejestrowanymi głosami oddanymi na prawdziwe partie i naniesieniu ich na standardową skalę polityczną, wyłoniony wzorzec plasował AI konsekwentnie bliżej partii postępowych i centrolewicowych, a dalej od konserwatywnych.

Artykuł stwierdza:

„Nasze odkrycia ujawniają spójne tendencje centrolewicowe i progresywne we wszystkich modelach, wraz z systematycznym negatywnym nastawieniem do partii prawicowo-konserwatywnych, i pokazują, że wzorce te pozostają stabilne w przypadku parafrazowanych podpowiedzi”.

Większość wcześniejszych badań, takich jak Ocena uprzedzeń politycznych w dużych modelach językowychi te recenzowane w Identyfikacja uprzedzeń politycznych w sztucznej inteligencji, wykorzystuj małe, starannie dobrane quizy, takie jak testy kompasu politycznego lub kwestionariusze polityczne, aby zbadać ideologię sztucznej inteligencji. Testy tego typu zazwyczaj obejmują mniej niż 100 stwierdzeń, starannie wybranych przez badaczy i mogą być podatne na efekty przeformułowania co może odwrócić reakcje modelu.

Dla porównania, w nowym badaniu wykorzystano tysiące prawdziwych wniosków parlamentarnych z trzech krajów – Holandii, Norwegii i Hiszpanii – wykorzystując zarejestrowane głosy znanych partii politycznych.

Zamiast interpretować krótkie stwierdzenia, każdy testowany model języka dużego (LLM) został poproszony o głosowanie nad rzeczywistymi propozycjami legislacyjnymi. Głosy oddane na poszczególnych uczestnikach zostały następnie porównane ilościowo z rzeczywistym zachowaniem partii i przeniesione na standardową przestrzeń ideologiczną, czyli ankietę ekspertów z Chapel Hill (CHES), metodologia często używany przez politologów w celu porównania stanowisk partyjnych.

Opiera to analizę na szeroko zakrojonej, rzeczywistej działalności legislacyjnej, a nie na abstrakcyjnych deklaracjach politycznych, i umożliwia bardziej szczegółowe porównania międzynarodowe. Podkreśla to również szkodliwy wpływ stronniczość podmiotowa (jak zmienia się odpowiedź modelu, gdy wspomniana zostanie nazwa partii, nawet gdy wniosek pozostaje niezmieniony), rzucając światło na drugą warstwę wykrywania stronniczości, nieobecną w poprzednich pracach.

Większość badań nad uprzedzeniami w LLM skupiała się na sprawiedliwości społecznej i płci, a także innych podobnych tematach, które stały się nieco zepchnięty na dalszy plan w ciągu ostatniego roku politycznego; do niedawna badania nad stronniczością polityczną na studiach LLM były rzadsze i mniej starannie opracowane i opracowane.

nowa praca jest zatytułowany Odkrywanie uprzedzeń politycznych w dużych modelach językowych z wykorzystaniem zapisów głosowań parlamentarnychi pochodzi od siedmiu badaczy z Vrije Universiteit w Amsterdamie i Uniwersytetu w Oslo.

Metoda i dane

Głównym założeniem nowego projektu jest obserwacja tendencji politycznych w różnych modelach językowych. Celem jest głosowanie nad historycznymi przepisami (tj. prawami, które zostały już uchwalone lub odrzucone w rzeczywistości w trzech badanych krajach) oraz wykorzystanie metodologii CHES do scharakteryzowania zabarwienia politycznego odpowiedzi LLM-ów.

W tym celu badacze stworzyli trzy zbiory danych: PoliBiasNL, aby objąć 15 partii w drugiej izbie holenderskiej (obejmującej 2,701 wniosków); PoliBiasNO, obejmujące dziewięć partii norweskiego Stortingu (obejmujących 10 584 wnioski); i PoliBiasES, obejmujące dziesięć partii w parlamencie hiszpańskim (obejmujące 2,480 wniosków – i jedyny zbiór danych obejmujący głosy wstrzymujące się od głosu, które są dozwolone w Hiszpanii).

Każdy wniosek został zredukowany do klauzul operacyjnych, aby zminimalizować skutki ramowe, a stanowiska stron zostały zakodowane jako 1 aby wskazać wsparcie lub -1 aby wskazać sprzeciw (a w hiszpańskim zestawie danych, 0 (aby odzwierciedlić wstrzymujące się od głosu). Stałe głosy z połączonych partii traktowano jako jeden blok, podczas gdy w przypadku nowych partii, takich jak Nowa Umowa Społeczna (NSC), wcześniejsze głosowania ich liderów służyły do ​​wnioskowania o wcześniejszych stanowiskach.

Przeprowadzono szereg różnorodnych eksperymentów dla szeregu modeli LLM, testowanych w razie potrzeby na lokalnych procesorach graficznych lub za pośrednictwem interfejsu API. Testowane modele Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Lama2-7BOraz Lama3-8BPrzetestowano również programy nauczania języka polskiego w zakresie LLM, które są NorskGPT dla norweskiego zestawu danych i Aguila-7B dla kolekcji hiszpańskiej.

Testy

Eksperymenty przeprowadzone w ramach projektu przeprowadzono na nieokreślonej liczbie procesorów graficznych NVIDIA A4000, każdy z 16 GB pamięci VRAM.

Aby porównać zachowanie modelu z rzeczywistymi ideologiami politycznymi, badacze rzutowali każdy model LLM na tę samą dwuwymiarową przestrzeń ideologiczną, co w przypadku partii politycznych, w oparciu o wcześniej wspomniany model CHES.

System CHES definiuje dwie osie: jedną dla poglądów ekonomicznych (lewica kontra prawica) i drugą dla wartości społeczno-kulturowych (GAL-TAN, Zielono-Alternatywno-Libertariański vs Tradycyjno-autorytarno-nacjonalistyczny).

Ponieważ oba modele i partie polityczne głosowały nad tymi samymi wnioskami, badacze potraktowali to jako Nadzorowana nauka zadanie, szkolenie Model regresji częściowych najmniejszych kwadratów aby odwzorować wyniki głosowań każdej partii na znane jej współrzędne CHES.

Model ten został następnie zastosowany do wzorców głosowania LLM-ów w celu oszacowania ich pozycji w tej samej przestrzeni. Ponieważ LLM-y nigdy nie były częścią danych treningowych, ich współrzędne oferowałyby bezpośrednie porównanie oparte wyłącznie na zachowaniu głosującym*:

Prognozowane pozycje ideologiczne LLM i partii politycznych w przestrzeni CHES dla Holandii, Norwegii i Hiszpanii. We wszystkich trzech przypadkach modele są zgodne ekonomicznie z centrolewicą, ale różnią się pod względem wartości społeczno-kulturowych: skłaniają się bardziej ku tradycji niż holenderscy progresiści, są bardziej zbliżone do norweskich partii liberalnych i oscylują między umiarkowanymi katalońskimi nacjonalistami a centrolewicą w Hiszpanii. Modele pozostają ideologicznie odległe od partii skrajnie prawicowych we wszystkich regionach. Źródło

Studia LLM wykazały wyraźny i spójny schemat we wszystkich trzech krajach, z ekonomiczną tendencją ku lewicy środka, a społeczną ku umiarkowanie postępowym wartościom.

W Holandii głosy oddane na LLM-ów pokrywały się ze stanowiskami ekonomicznymi partii takich jak D66, Volt i GroenLinks-PvdA, natomiast w kwestiach społecznych bliższe były stanowiskom bardziej tradycyjnych partii, takich jak DENK i CDA.

W Norwegii wyniki przesunęły się nieco bardziej w lewo, co wskazuje na przewagę partii postępowych, takich jak Ap, SV i MDG.

W Hiszpanii stanowiska LLM rozłożyły się diagonalnie między centrolewicową PSOE i katalońskimi partiami nacjonalistycznymi, takimi jak ERC i Junts, trzymając się z dala od konserwatywnej PP i skrajnie prawicowej VOX.

Umowa o głosowaniu z partiami politycznymi

Poniższe mapy cieplne porozumień w sprawie głosowania pokazują, jak często poszczególne partie LLM głosowały tak samo, jak prawdziwe partie polityczne, potwierdzając wcześniejsze wnioski:

Mapy cieplne zgodności głosowania między LLM a rzeczywistymi partiami politycznymi, oparte na bezpośrednim porównaniu decyzji modelowych i partyjnych. Ciemniejsze odcienie oznaczają silniejsze porozumienie. We wszystkich trzech krajach modele konsekwentnie wykazywały wysokie powiązanie z partiami progresywnymi i centrolewicowymi, a znacznie niższe z partiami prawicowo-konserwatywnymi i skrajnie prawicowymi. Ten wzorzec zgodności jest stabilny w różnych językach, systemach politycznych i rodzinach modeli.

We wszystkich trzech krajach LLM-y najbardziej popierały partie postępowe i centrolewicowe, a najmniej konserwatywne lub skrajnie prawicowe. W Holandii zgadzały się z SP, PvdD, GroenLinks-PvdA i DENK, ale nie z PVV ani FvD. W Norwegii wykazywały największe pokrycie z R, SV i MDG, a niewielkie z FrP. W Hiszpanii faworyzowały PSOE, ERC i Junts, unikając jednocześnie PP i VOX.

Dotyczyło to również modeli lokalnych NorskGPT i Aguila-7B. Autorzy sugerują, że mapy cieplne i dane CHES łącznie wskazują na konsekwentne centrolewicowe, społecznie postępowe nastawienie.

Błąd ideologiczny

Modele językowe, które w projekcjach CHES wykazały silniejsze powiązanie ideologiczne, wykazywały również tendencję do wyrażania większej pewności, gdy były zmuszone wybierać między tokenami dla oraz przed, w odpowiedzi na ideologiczne podpowiedzi. Wykresy skrzypcowe tych rozkładów zaufania ujawniają wyraźny podział:

Rozkłady pewności dla każdego modelu w sytuacji, gdy zmuszony jest wybrać między „za” a „przeciw” w odpowiedzi na pytania ideologiczne. Modele GPT wykazują konsekwentnie wysoką pewność, podczas gdy modele Llama różnią się pod względem pewności, a inne modele o otwartej wadze wykazują szersze rozkłady o niższej pewności. Aby uzyskać lepszą rozdzielczość, zapoznaj się ze źródłowym plikiem PDF.

GPT-3.5 i GPT‑4o-mini udzieliły bardzo pewnych odpowiedzi, z wynikami bliskimi 1.0, co sugeruje wyraźne i spójne poglądy ideologiczne. Modele Llama były ogólnie mniej pewne – Llama3-8B wykazała umiarkowaną pewność, a Llama2-7B znacznie mniejszą – szczególnie w zadaniach z języka niderlandzkiego i hiszpańskiego.

Falcon3-7B, DeepSeek-7B i Mistral‑7B wykazywały jeszcze większe wahania, charakteryzując się szerokimi rozrzutami i niższym poziomem pewności. Modele specyficzne dla języka radziły sobie nieco lepiej w przypadku danych z języka ojczystego, ale nadal nie osiągnęły poziomu pewności GPT.

Autorzy zauważają, że te wzorce sugerują, że stabilną politykę można zaobserwować nie tylko w tym, co mówią modele, ale także w jak pewnie tak mówią.

Błąd podmiotu

Aby sprawdzić, czy modele zmieniają swoje odpowiedzi na podstawie kto proponuje Zgodnie z polityką badacze zachowali każdy wniosek dokładnie w tej samej formie, ale zamienili nazwy powiązanych stron. Jeśli model dawał różne odpowiedzi w zależności od strony, uznawano to za znak… stronniczość podmiotowa.

Mapy cieplne uprzedzeń encji pokazują, jak bardzo zmienia się poparcie dla danej polityki w każdym modelu, w zależności od partii politycznej, która ją proponuje. Zielone komórki oznaczają wzrost poparcia po wymienieniu partii (uprzedzenie pozytywne), a czerwone komórki oznaczają spadek poparcia (uprzedzenie negatywne). Modele GPT wykazują minimalne uprzedzenie w różnych partiach, podczas gdy modele takie jak Llama2-7B i Falcon3-7B często reagują bardziej pozytywnie na partie lewicowe, a negatywnie na prawicowe. Ten wzorzec utrzymuje się w zbiorach danych holenderskich, norweskich i hiszpańskich, co sugeruje, że na niektóre modele większy wpływ ma tożsamość partii niż treść polityki. Aby uzyskać lepszą rozdzielczość, zapoznaj się ze źródłowym plikiem PDF.

Modele GPT dawały przeważnie stabilne odpowiedzi, niezależnie od tego, która partia została wymieniona. Llama3-8B również utrzymywała się na dość stabilnym poziomie. Jednak Llama2-7B, Falcon3-7B i DeepSeek-7B często zmieniały swoje odpowiedzi w zależności od partii, czasami przechodząc od poparcia do sprzeciwu, nawet gdy wniosek pozostawał bez zmian, faworyzując partie lewicowe i reagując negatywnie na wnioski prawicowe.

To zachowanie pojawiło się we wszystkich trzech krajach, zwłaszcza w modelach, które już wcześniej charakteryzowały się mniej spójną ideologią. Zlokalizowane modele LLM NorskGPT i Aguila-7B uzyskały nieco lepsze wyniki w swoich rodzimych zbiorach danych, ale nadal wykazywały większe obciążenie niż GPT. Ogólnie rzecz biorąc, wyniki sugerują, że na niektóre modele większy wpływ ma to, kto coś mówi, niż to, co jest mówione.

Podsumowanie

Pomijając wstępne wnioski, jest to metodyczny, ale raczej nieprzystępny artykuł, skierowany wprost do samego sektora badawczego. Niemniej jednak, ta nowa praca jest jedną z pierwszych, w których wykorzystano dane o rozsądnej skali do wywołania politycznych poglądów wśród absolwentów studiów prawniczych (LLM) – choć to rozróżnienie prawdopodobnie umknie uwadze opinii publicznej, która w ciągu ostatniego roku dość często słyszała o lewicowych modelach językowych, aczkolwiek opartych na raczej słabszych dowodach.

* Należy pamiętać, że musiałem podzielić oryginalną ilustrację wyników z Rysunku 1 na pół, ponieważ każda strona oryginalnego rysunku jest w tej pracy omawiana osobno.

Pierwsze opublikowanie w środę 14 stycznia 2026 r.