Chatboty AI mają tendencję do lewicowego głosowania w przypadku prawdziwych praw

W pierwszym badaniu tego rodzaju, które wykorzystuje dane z prawdziwego świata, ChatGPT i inne duże modele językowe zostały przetestowane na tysiącach prawdziwych głosowań parlamentarnych i wielokrotnie zgadzały się z partiami lewicowymi i centrolewicowymi, pokazując słabsze zgodność z partiami konserwatywnymi w trzech krajach.

W nowym akademickim współpracy między Holandią a Norwegią, modele językowe w stylu ChatGPT, w tym sam ChatGPT, zostały poproszone o głosowanie na tysiące rzeczywistych projektów ustaw, które już zostały podjęte przez ludzkich ustawodawców w trzech krajach.

Porównując je z zapisanymi głosami rzeczywistych partii i mapując je na standardową skalę polityczną, wyłonił się wzorzec, który umieścił AI bliżej postępowych i centrolewicowych partii, i dalej od konserwatywnych.

W pracy napisano:

‘Nasze wyniki ujawniają spójne tendencje centrolewicowe i postępowe wśród modeli, wraz z systematycznym negatywnym nastawieniem wobec partii prawicowych, i pokazują, że te wzorce pozostają stabilne podczas przeprowadzania pytań w innej formie.’

Większość poprzednich badań, takich jak Ocena politycznego nastawienia w dużych modelach językowych, i te, które zostały przeglądnięte w Identyfikacja politycznego nastawienia w AI, wykorzystują małe, starannie wybrane testy, takie jak testy kompasu politycznego, lub ankiety polityczne, aby zbadać ideologię AI. Testy tego rodzaju zwykle obejmują mniej niż 100 oświadczeń, wybranych przez badaczy, i mogą być podatne na efekty przeprowadzania pytań w innej formie, które mogą odwrócić odpowiedzi modelu.

W przeciwieństwie do tego, nowe badanie wykorzystuje tysiące rzeczywistych projektów ustawodawczych z trzech krajów – Holandii, Norwegii i Hiszpanii – wykorzystując zapisane głosy znanych partii politycznych.

Zamiast interpretowania krótkich oświadczeń, każdy duży model językowy (LLM) został przetestowany na rzeczywistych propozycjach ustawodawczych. Ich głosy zostały następnie dopasowane ilościowo do rzeczywistego zachowania partii, i przedstawione w standardowej przestrzeni ideologicznej, ankiecie ekspertów z Chapel Hill (CHES), metody często wykorzystywanej przez politologów do porównywania pozycji partii.

To umożliwia analizę w oparciu o duże, rzeczywiste aktywności ustawodawcze, zamiast abstrakcyjnych oświadczeń politycznych, i umożliwia bardziej szczegółowe, międzynarodowe porównania. Podkreśla również szkodliwy wpływ nastawienia na podmiot (jak zmienia się odpowiedź modelu, gdy wymieniona jest nazwa partii, nawet gdy propozycja pozostaje niezmieniona), ujawniając drugi poziom wykrywania nastawienia, który nie jest obecny w poprzednich badaniach.

Większość badań nad nastawieniem LLM dotyczyła sprawiedliwości społecznej i płci, wśród innych podobnych tematów, które stały się trochę mniej priorytetowymi w ciągu ostatniego roku politycznego; do niedawna badania nad politycznym nastawieniem w LLM były rzadsze i mniej starannie przygotowane.

Nowa praca nosi tytuł Ujawnienie politycznego nastawienia w dużych modelach językowych przy użyciu rejestrów głosowań parlamentarnych, i pochodzi od siedmiu badaczy z Vrije Universiteit w Amsterdamie i Uniwersytetu w Oslo.

Metoda i dane

Główna teza nowego projektu polega na obserwacji tendencji politycznych różnych modeli językowych, poprzez poproszenie ich o głosowanie na historyczne ustawy (tj. prawa, które już zostały przyjęte lub odrzucone w rzeczywistości, w trzech badanych krajach), i wykorzystanie metody CHES do scharakteryzowania politycznego koloru odpowiedzi LLM.

W tym celu badacze stworzyli trzy zestawy danych: PoliBiasNL, aby objąć 15 partii w holenderskiej izbie niższej (z 2701 propozycjami); PoliBiasNO, aby objąć dziewięć partii w norweskim Storting (z 10584 propozycjami); i PoliBiasES, aby objąć dziesięć partii w hiszpańskim parlamencie (z 2480 propozycjami – i jedyny zestaw danych, który zawiera głosy wstrzymujące się, które są dozwolone w Hiszpanii).

Każda propozycja została ograniczona do klauzul operatywnych, aby zminimalizować efekty ramkowania, a stanowiska partii zostały zakodowane jako 1, aby wskazać poparcie, lub –1, aby wskazać sprzeciw (i, w hiszpańskim zestawie danych, 0, aby odzwierciedlić głosy wstrzymujące się). Spójne głosy z połączonych partii zostały potraktowane jako jeden blok, podczas gdy dla nowych partii, takich jak Nowy Kontrakt Społeczny (NSC), wcześniejsze głosy ich liderów zostały wykorzystane do ustalenia wcześniejszych stanowisk.

Różnorodne eksperymenty zostały opracowane dla szeregu LLM, testowanych albo na lokalnych GPU, albo za pośrednictwem API, w zależności od potrzeb. Testowane modele to Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; i Llama3-8B. Testowano również modele językowe specyficzne dla danego języka, takie jak NorskGPT dla norweskiego zestawu danych, i Aguila-7B dla hiszpańskiego zestawu danych.

Testy

Eksperymenty przeprowadzone w ramach tego projektu zostały przeprowadzone na nieokreślonej liczbie kart graficznych NVIDIA A4000, każda z 16 GB pamięci VRAM.

Aby porównać zachowanie modelu z rzeczywistymi ideologiami politycznymi, badacze przedstawili każdy LLM w tej samej dwuwymiarowej przestrzeni ideologicznej, co partie polityczne, w oparciu o wcześniej wymienioną ramę CHES.

System CHES definiuje dwie osie: jedną dla poglądów ekonomicznych (lewa czy prawa) i drugą dla wartości socjokulturowych (GAL-TAN, czyli zielona-alternatywna-libertariańska czy tradycyjna-autorytarna-nacjonalistyczna).

Ponieważ zarówno modele, jak i partie polityczne oddały głosy na te same propozycje, badacze potraktowali to jako zadanie uczenia nadzorowanego, szkoląc model regresji PLS w celu mapowania rekordu głosowania każdej partii na jej znane współrzędne CHES.

Ten model został następnie zastosowany do wzorców głosowania LLM, aby oszacować ich pozycje w tej samej przestrzeni. Ponieważ LLM nie były częścią danych szkoleniowych, ich współrzędne zapewniłyby bezpośrednie porównanie oparte wyłącznie na zachowaniu głosowym*:

Przestrzeń ideologiczna LLM i partii politycznych w systemie CHES dla Holandii, Norwegii i Hiszpanii. W wszystkich trzech przypadkach modele są ekonomicznie zgodne z centrolewicą, ale różnią się w wartościach socjokulturowych: są bardziej tradycyjne niż holenderskie partie postępowe, bardziej zbliżone do norweskich partii liberalnych, i grupują się pomiędzy umiarkowanymi nacjonalistami katalońskimi a centrolewicą w Hiszpanii. Modele pozostają ideologicznie oddalone od partii skrajnej prawicy we wszystkich regionach. Źródło – https://arxiv.org/pdf/2601.08785

LLM wykazały wyraźny i spójny wzorzec we wszystkich trzech krajach, skłaniając się ekonomicznie w kierunku centrolewicy, i społecznie w kierunku umiarkowanych wartości postępowych.

W Holandii głosy LLM odpowiadały ekonomicznie stanowiskom partii takich jak D66, Volt i GroenLinks-PvdA; ale w sprawach społecznych, znalazły się bliżej bardziej tradycyjnych partii, takich jak DENK i CDA.

W Norwegii wyniki przesunęły się nieco bardziej w lewo, mapując ściśle partie postępowe, takie jak Ap, SV i MDG.

W Hiszpanii pozycje LLM utworzyły przekątną pomiędzy centrolewicą PSOE, a katalońskimi partiami nacjonalistycznymi, takimi jak ERC i Junts, pozostając znacznie oddalonymi od konserwatywnej PP, i skrajnej prawicy VOX.

Zgodność głosowania z partiami politycznymi

Mapy cieplne zgodności głosowania przedstawione poniżej wskazują, jak często każdy LLM głosował w ten sam sposób, co partie polityczne, powtarzając wcześniejsze wnioski:

Mapy cieplne zgodności głosowania pomiędzy LLM a partiami politycznymi, na podstawie bezpośrednich porównań decyzji modelu i partii. Ciemniejsze odcienie wskazują silniejszą zgodność. We wszystkich trzech krajach modele konsekwentnie wykazywały wysoką zgodność z partiami postępowymi i centrolewicowymi, i znacznie niższą zgodność z partiami prawicowymi i skrajnej prawicy. Ten wzorzec zgodności jest stabilny w różnych językach, systemach politycznych i rodzinach modeli.

We wszystkich trzech krajach LLM najbardziej zgadzały się z partiami postępowymi i centrolewicowymi, i najmniej z partiami konserwatywnymi lub skrajnej prawicy. W Holandii zgadzały się z SP, PvdD, GroenLinks-PvdA i DENK, ale nie z PVV lub FvD. W Norwegii wykazywały największe pokrywanie się z R, SV i MDG, i niewiele z FrP. W Hiszpanii faworyzowały PSOE, ERC i Junts, unikając PP i VOX.

To dotyczyło również modeli lokalnych NorskGPT i Aguila-7B. Autorzy sugerują, że mapy cieplne i dane CHES razem wskazują na spójną centrolewicę, społecznie postępową tendencję.

Nastawienie ideologiczne

Modele językowe, które wykazywały silniejsze zgodność ideologiczną w projekcjach CHES, tendencje do wyrażania wyższej pewności, gdy zmuszone do wyboru pomiędzy tokenami za i przeciw, w odpowiedzi na bodźce ideologiczne. Wykresy skrzynkowe tych dystrybucji pewności ujawniają wyraźny podział:

Dystrybucje pewności dla każdego modelu, gdy zmuszone do wyboru pomiędzy ‘za’ i ‘przeciw’ w odpowiedzi na bodźce ideologiczne. Modele GPT wykazują konsekwentnie wysoką pewność, podczas gdy modele Llama wykazują różną pewność, a inne modele otwartego kodu wykazują szersze, niższe dystrybucje pewności. Proszę odnieść się do źródłowego pliku PDF, aby uzyskać lepszą rozdzielczość.

GPT-3.5 i GPT-4o-mini dawały bardzo pewne odpowiedzi, z wynikami zbliżonymi do 1,0, co wskazuje na wyraźne i spójne nastawienie ideologiczne. Modele Llama były mniej pewne ogólnie, z Llama3-8B wykazującym umiarkowaną pewność, i Llama2-7B znacznie mniej pewnym – szczególnie w przypadku zadań holenderskich i hiszpańskich.

Falcon3-7B, DeepSeek-7B i Mistral-7B były jeszcze bardziej wahające się, z szerokimi rozpiętościami i niższą pewnością. Modele językowe specyficzne dla danego języka radziły sobie nieco lepiej w przypadku danych w ich ojczystym języku, ale nadal pozostawały poniżej poziomu pewności modeli GPT.

Te wzorce, jak zauważają autorzy, sugerują, że stabilne nastawienie polityczne można zobaczyć nie tylko w tym, co mówią modele, ale także w jaki sposób pewnie to mówią.

Nastawienie na podmiot

Aby sprawdzić, czy modele zmieniają swoje odpowiedzi w zależności od która partia proponuje politykę, badacze utrzymali każdą propozycję niezmienioną, ale zamienili nazwę partii. Jeśli model dał różne odpowiedzi w zależności od partii, zostało to potraktowane jako oznaka nastawienia na podmiot.

Mapy cieplne nastawienia na podmiot pokazują, jak silnie zmienia się poparcie modelu dla polityki w zależności od tego, jaka partia ją proponuje. Komórki zielone wskazują zwiększone poparcie, gdy partia jest wymieniona (pozytywne nastawienie), a komórki czerwone wskazują zmniejszone poparcie (negatywne nastawienie). Modele GPT wykazują minimalne nastawienie w przypadku partii, podczas gdy modele takie jak Llama2-7B i Falcon3-7B często reagują bardziej korzystnie na partie lewicowe i negatywnie na partie prawicowe. Ten wzorzec utrzymuje się we wszystkich trzech krajach, co sugeruje, że niektóre modele są bardziej podatne na tożsamość partii niż na treść polityki. Proszę odnieść się do źródłowego pliku PDF, aby uzyskać lepszą rozdzielczość.

Modele GPT dawały prawie niezmienne odpowiedzi, niezależnie od partii. Llama3-8B również pozostawał dość stabilny. Ale Llama2-7B, Falcon3-7B i DeepSeek-7B często zmieniały swoje odpowiedzi w zależności od partii, czasem zmieniając poparcie na sprzeciw, nawet gdy propozycja pozostawała niezmieniona, faworyzując partie lewicowe i reagując negatywnie na partie prawicowe.

To zachowanie pojawiło się we wszystkich trzech krajach, szczególnie w przypadku modeli, które już miały mniej spójne nastawienie ideologiczne. Modele językowe specyficzne dla danego języka, takie jak NorskGPT i Aguila-7B, radziły sobie nieco lepiej w przypadku danych w ich ojczystym języku, ale nadal wykazywały więcej nastawienia niż GPT. Ogólnie, wyniki sugerują, że niektóre modele są bardziej podatne na tożsamość partii niż na treść polityki.

Wnioski

Poza swoimi wstępnymi wnioskami, jest to metodyczna, ale dość nieprzystępna praca skierowana głównie do samego sektora badawczego. Niemniej, ta nowa praca jest jedną z pierwszych, która wykorzystuje rozsądnie skalowane dane, aby wywołać tendencje polityczne z LLM – chociaż ta różnica jest prawdopodobnie stracona na publiczności, która słyszała o lewicowych modelach językowych dość często w ciągu ostatniego roku, chociaż na dość cienkich dowodach.

* Proszę zauważyć, że musiałem podzielić oryginalną ilustrację wyników Figure 1 na pół, ponieważ każda strona oryginalnej ilustracji jest traktowana oddzielnie w pracy.

Pierwotnie opublikowano w środę, 14 stycznia 2026.