Чат-боти зі штучним інтелектом схиляються ліворуч під час голосування за реальні закони

У першому дослідженні такого роду, яке використовує масштабні реальні дані, ChatGPT та інші моделі великих мов були протестовані на тисячах реальних парламентських голосувань і неодноразово узгоджувалися з лівими та лівоцентристськими партіями, водночас демонструючи слабшу узгодженість з консервативними партіями у трьох країнах.

У новій академічній співпраці між Нідерландами та Норвегією, великі мовні моделі у стилі ChatGPT (LLM) – включаючи сам ChatGPT – було запропоновано проголосувати за тисячі фактичних парламентських пропозицій, які вже були прийняті законодавцями-людьми у трьох країнах.

У порівнянні із зареєстрованими голосами реальних партій та відображеними на стандартній політичній шкалі, виявилася закономірність, яка послідовно розміщувала ШІ ближче до прогресивних та лівоцентристських партій та далі від консервативних.

У папері зазначено:

«Наші результати виявляють послідовні лівоцентристські та прогресивні тенденції в усіх моделях, разом із систематичним негативним упередженням до правоконсервативних партій, і показують, що ці закономірності залишаються стабільними навіть за перефразованих підказок».

Більшість попередніх досліджень, таких як Оцінка політичної упередженості у великих мовних моделях, та ті, що були розглянуті в Виявлення політичної упередженості у штучному інтелекті, використовуйте невеликі кураторські тести, такі як тести політичного компаса або політичні анкети, щоб дослідити ідеологію ШІ. Тести такого характеру зазвичай містять менше 100 тверджень, відібраних дослідниками вручну, і можуть бути вразливими до ефекти переформулювання що може змінити реакцію моделі на зворотний бік.

Для порівняння, нове дослідження використовує тисячі реальних парламентських пропозицій з трьох країн – Нідерландів, Норвегії та Іспанії – з використанням записаних голосів від відомих політичних партій.

Замість інтерпретації коротких заяв, кожну протестовану модель великої мови (LLM) попросили проголосувати за фактичні законодавчі пропозиції. Потім її голоси кількісно зіставлялися з поведінкою реальних партій та проектувалися у стандартний ідеологічний простір, експертне опитування Чапел-Гілл (CHES), методологія часто використовується політологами для порівняння позицій партій.

Це ґрунтує аналіз на масштабній, реальній законодавчій діяльності, а не на абстрактних політичних заявах, і дозволяє проводити більш детальні міжнаціональні порівняння. Це також підкреслює шкідливий вплив упередженість сутності (як змінюється реакція моделі, коли згадується ім'я учасника, навіть коли рух залишається незмінним), що висвітлює другий рівень виявлення упередженості, якого не було в попередніх роботах.

Більшість досліджень щодо упереджень у LLM зосереджувалися на соціальній справедливості та гендері, серед інших подібних тем, які стали дещо депріоритетний протягом останнього політичного року; донедавна дослідження політичної упередженості в магістратурі з права (LLM) проводилися рідше та були менш ретельно підготовлені та продумані.

Команда нова робота має титул Виявлення політичної упередженості у великих мовних моделях з використанням парламентських протоколів голосування, і походить від семи дослідників з Vrije Universiteit в Амстердамі та Університету Осло.

Метод і дані

Центральна пропозиція нового проєкту полягає у спостереженні за політичними тенденціями різних мовних моделей, шляхом прохання до них проголосувати за історичне законодавство (тобто закони, які вже були прийняті або відхилені в реальному житті в трьох досліджуваних країнах), та використання методології CHES для характеристики політичного забарвлення відповідей LLM.

Для цього дослідники створили три набори даних: ПоліБіасНЛ, щоб охопити 15 партій у другій палаті Нідерландів (що включає 2,701 пропозицію); PoliBiasNO, щоб охопити дев'ять партій Норвезького стортингу (що включає 10 584 пропозиції); та PoliBiasES, щоб охопити десять партій в іспанському парламенті (що включає 2,480 пропозицій – і єдиний набір даних, що включає голоси утримання, які дозволені в Іспанії).

Кожна пропозиція була розкрита до її резолютивних положень, щоб мінімізувати ефект фреймінгу, а позиції партій були закодовані як 1 висловити підтримку, або -1 щоб вказати на опозицію (і, в іспанському наборі даних, 0 (щоб відобразити утримання). Послідовні голоси від об'єднаних партій розглядалися як єдиний блок, тоді як для нових партій, таких як Новий суспільний договір (NSC), попередні голоси їхніх лідерів використовувалися для визначення попередніх позицій.

Для низки LLM було розроблено різноманітний спектр експериментів, які, за необхідності, були протестовані або на локальних графічних процесорах, або через API. Тестовані моделі були Містраль-7Б; Falcon3-7B; Джемма2-9B; Deepseek-7B; ГПТ-3.5 Турбо; GPT-4o міні; Лама2-7ВІ Лама3-8ВТакож були протестовані LLM, специфічні для певної мови, а саме: Норвезький GPT для норвезького набору даних, та Агіла-7B для іспанської колекції.

Випробування

Експерименти, проведені для проекту, проводилися на невизначеній кількості графічних процесорів NVIDIA A4000, кожен з 16 ГБ відеопам'яті.

Щоб порівняти модельну поведінку з реальними політичними ідеологіями, дослідники проектували кожну LLM у той самий двовимірний ідеологічний простір, що використовується для політичних партій, на основі вищезгаданої структури CHES.

Система CHES визначає дві осі: одну для економічних поглядів (ліві проти правих) та іншу для соціально-культурних цінностей (GAL-TAN, або Зелена альтернатива-лібертаріанець vs Традиційно-Авторитарно-Націоналістичний).

Оскільки як моделі, так і політичні партії голосували за одні й ті ж пропозиції, дослідники розглядали це як контрольоване навчання завдання, навчання Модель регресії з частковими найменшими квадратами зіставити результати голосування кожної партії з її відомими координатами CHES.

Потім цю модель було застосовано до шаблонів голосування LLM для оцінки їхніх позицій в тому ж просторі. Оскільки LLM ніколи не були частиною навчальних даних, їхні координати, таким чином, запропонували б пряме порівняння, засноване виключно на поведінці голосування*:

Прогнозовані ідеологічні позиції магістратури права (LLM) та політичних партій у просторі CHES для Нідерландів, Норвегії та Іспанії. В усіх трьох випадках моделі економічно узгоджуються з лівоцентристськими, але розходяться в соціально-культурних цінностях: схиляються більше до традицій, ніж голландські прогресивні, більше відповідають норвезьким ліберальним партіям та групуються між поміркованими каталонськими націоналістами та лівоцентристськими партіями в Іспанії. Моделі залишаються ідеологічно далекими від ультраправих партій у всіх регіонах. Source

Магістр права (LLM) продемонстрував чітку та послідовну тенденцію в усіх трьох країнах, економічно схиляючись до лівоцентристських поглядів, а соціально – до поміркованих прогресивних цінностей.

У Нідерландах голоси депутатів від LLM збігалися з економічними позиціями таких партій, як D66, Volt та GroenLinks-PvdA; але з соціальних питань вони ближче до більш традиційних партій, таких як DENK та CDA.

У Норвегії результати трохи змістилися ліворуч, що ближче до прогресивних партій, таких як Ap, SV та MDG.

В Іспанії позиції LLM розподілилися по діагоналі між лівоцентристською PSOE та каталонськими націоналістичними партіями, такими як ERC та Junts, залишаючись осторонь від консервативної PP та ультраправої VOX.

Угода про голосування з політичними партіями

Теплові карти угод про голосування, показані нижче, показують, як часто кожен LLM голосував так само, як і справжні політичні партії, що підтверджує попередні висновки:

Теплові карти узгодженості голосування між LLM та реальними політичними партіями, засновані на прямому порівнянні рішень моделі та партії. Темніші відтінки вказують на сильнішу узгодженість. В усіх трьох країнах моделі послідовно демонстрували високу узгодженість з прогресивними та лівоцентристськими партіями, і значно нижчу узгодженість з правоконсервативними та ультраправими партіями. Ця модель узгодженості є стабільною для різних мов, політичних систем та сімейств моделей.

В усіх трьох країнах представники LLM найбільше погоджувалися з прогресивними та лівоцентристськими партіями, а найменше – з консервативними або ультраправими. У Нідерландах вони погоджувалися з SP, PvdD, GroenLinks-PvdA та DENK, але не з PVV чи FvD. У Норвегії вони продемонстрували найбільший збіг з R, SV та MDG, і мало – з FrP. В Іспанії вони підтримували PSOE, ERC та Junts, уникаючи при цьому PP та VOX.

Це також стосувалося локалізованих моделей NorskGPT та Aguila-7B. Автори припускають, що теплові карти та дані CHES разом вказують на послідовний лівоцентристський, соціально прогресивний ухил.

Ідеологічна упередженість

Мовні моделі, які демонстрували сильнішу ідеологічну узгодженість у прогнозах CHES, також мали тенденцію виражати вищу впевненість, коли їх змушували вибирати між токенами. та цінності та проти, у відповідь на ідеологічні підказки. Скрипкові діаграми цих розподілів довіри показують чіткий розрив:

Розподіл достовірності для кожної моделі, коли її змушують вибирати між «за» та «проти» через ідеологічні підказки. Моделі GPT демонструють стабільно високу достовірність, тоді як моделі Llama різняться за достовірністю, а інші моделі з відкритою вагою демонструють ширші розподіли з нижчою достовірністю. Будь ласка, зверніться до вихідного PDF-файлу для кращої роздільної здатності.

GPT-3.5 та GPT‑4o-mini дали дуже впевнені відповіді, з результатами, близькими до 1.0, що свідчить про чіткі та послідовні ідеологічні уподобання. Моделі Llama були загалом менш впевненими, причому Llama3-8B показала помірну впевненість, а Llama2-7B набагато менш впевнена, особливо у завданнях з голландської та іспанської мов.

Falcon3-7B, DeepSeek-7B та Mistral‑7B були ще більш невпевненими, з широкими розкидами та нижчою достовірністю. Моделі, що залежать від мови, дещо краще спрацювали з даними рідної мови, але все ще не досягли рівня достовірності GPT.

Ці закономірності, зазначають автори, свідчать про те, що стабільну політичну узгодженість можна побачити не лише в тому, що говорять моделі, але й у як впевнено вони це кажуть.

Упередженість сутності

Щоб побачити, чи моделі змінюють свої відповіді на основі хто пропонує політики, дослідники зберегли кожну позицію абсолютно однаковою, але поміняли місцями назви пов'язаних партій. Якщо модель давала різні відповіді залежно від партії, це вважалося ознакою упередженість сутності.

Теплові карти упередженості сутності показують, наскільки сильно змінюється підтримка політики кожною моделлю залежно від того, яка політична партія її пропонує. Зелені клітинки вказують на збільшення згоди, коли партія названа (позитивна упередженість), а червоні клітинки вказують на зменшення згоди (негативна упередженість). Моделі GPT демонструють мінімальну упередженість між партіями, тоді як такі моделі, як Llama2-7B та Falcon3-7B, часто більш сприятливо реагують на ліві партії та негативно на праві. Ця закономірність спостерігається в голландських, норвезьких та іспанських наборах даних, що свідчить про те, що на деякі моделі більше впливає партійна ідентичність, ніж зміст політики. Будь ласка, зверніться до вихідного PDF-файлу для кращої роздільної здатності.

Моделі GPT давали здебільшого стабільні відповіді незалежно від того, яку партію називали. Llama3-8B також залишалася досить стабільною. Але Llama2-7B, Falcon3-7B та DeepSeek-7B часто змінювали свої відповіді залежно від партії, іноді переходячи від підтримки до опозиції, навіть коли рух залишався незмінним, схильні надавати перевагу лівим партіям та негативно реагувати на дії правих.

Така поведінка проявилася в усіх трьох країнах, особливо в моделях, які вже мали менш послідовну ідеологію. Локалізовані LLM NorskGPT та Aguila-7B показали дещо кращі результати на своїх домашніх наборах даних, але все ж показали більшу упередженість, ніж GPT. Загалом, результати свідчать про те, що на деякі моделі більше впливає те, хто щось каже, ніж те, що саме говориться.

Висновок

Окрім початкових висновків, це методична, але досить неприйнятна стаття, спрямована безпосередньо на сам дослідницький сектор. Тим не менш, ця нова робота є однією з перших, яка використовує дані розумного масштабу, щоб спровокувати політичні уподобання серед магістраів права – хоча ця відмінність, ймовірно, залишиться непоміченою публікою, яка протягом останнього року досить часто чула про мовні моделі лівого спрямування, хоча й на основі досить слабких доказів.

* Зверніть увагу, що мені довелося розділити оригінальну ілюстрацію результатів на рисунку 1 навпіл, оскільки кожна сторона оригінального рисунка розглядається в роботі окремо.

Вперше опубліковано в середу, 14 січня 2026 р