Искусственные интеллекты-чатботы склоняются влево при голосовании по реальным законам

В первом в своем роде исследовании, которое использует высокомасштабные реальные данные, ChatGPT и другие большие языковые модели были протестированы на thousands реальных парламентских голосований, и повторно совпадали с левыми и центро-левыми партиями, в то время как показывали более слабое совпадение с консервативными партиями в трех странах.

В новом академическом сотрудничестве между Нидерландами и Норвегией, модели ChatGPT-style Large Language Models (LLMs) – включая сам ChatGPT – были попрослены проголосовать по thousands реальных парламентских предложений, которые уже были решены человеческими законодателями в трех странах.

Когда сравнивались с записанными голосами реальных партий, и сопоставлялись с стандартной политической шкалой, образовавшийся шаблон помещал ИИ последовательно ближе к прогрессивным и центро-левым партиям, и дальше от консервативных.

В статье говорится:

‘Наши результаты показывают последовательные центро-левые и прогрессивные тенденции во всех моделях, вместе с системной негативной предвзятостью по отношению к правым-консервативным партиям, и показывают, что эти шаблоны остаются стабильными при перефразированных подсказках.’

Большинство предыдущих исследований, таких как Оценка политической предвзятости в больших языковых моделях, и те, которые рассмотрены в Определение политической предвзятости в ИИ, используют небольшие отобранные тесты, такие как политические компасы или опросники по политике, чтобы проверить идеологию ИИ. Тесты такого рода обычно включают менее 100 заявлений, отобранных исследователями, и могут быть уязвимы для эффектов перефразировки, которые могут изменить ответы модели.

Напротив, новое исследование использует thousands реальных парламентских предложений из трех стран – Нидерландов, Норвегии и Испании – используя записанные голоса известных политических партий.

Вместо интерпретации коротких заявлений, каждая большая языковая модель (LLM) была протестирована на реальных законодательных предложениях. Их голоса были затем сопоставлены количественно с реальным поведением партий, и проецировались в стандартное идеологическое пространство, опрос экспертов Chapel Hill (CHES), методология часто используемая политологами для сравнения позиций партий.

Это основывает анализ на крупномасштабной, реальной законодательной деятельности, вместо абстрактных политических заявлений, и позволяет более тонкие, транснациональные сравнения. Это также подчеркивает вредное влияние предвзятости сущностей (как ответ модели меняется, когда упоминается название партии, даже когда предложение остается неизменным), освещая второй уровень обнаружения предвзятости, отсутствующий в предыдущих работах.

Большинство исследований о предвзятости LLM сосредоточены на социальной справедливости и гендере, среди других подобных тем, которые стали немного отодвинутыми за последний политический год; до недавнего времени исследования политической предвзятости в LLM были реже и менее тщательно разработаны.

Новая работа называется Раскрытие политической предвзятости в больших языковых моделях с помощью записей парламентских голосований, и исходит от семи исследователей из Vrije Universiteit в Амстердаме и Университета Осло.

Метод и данные

Центральная идея нового проекта заключается в наблюдении политических тенденций различных языковых моделей, попросив их проголосовать по историческим законам (т. е. законам, которые уже были приняты или отклонены в реальной жизни, в трех изучаемых странах), и используя методологию CHES для характеристики политического цвета ответов LLM.

Для этого исследователи создали три набора данных: PoliBiasNL, чтобы покрыть 15 партий во втором палате Нидерландов (включая 2,701 предложения); PoliBiasNO, чтобы покрыть девять партий в норвежском Стортинге (включая 10,584 предложения); и PoliBiasES, чтобы покрыть десять партий в испанском парламенте (включая 2,480 предложений – и единственный набор данных, который включает воздержания, которые разрешены в Испании).

Каждое предложение было очищено до оперативных положений, чтобы минимизировать эффекты формулировки, и позиции партий были закодированы как 1, чтобы указать поддержку, или –1, чтобы указать оппозицию (и, в испанском наборе данных, 0, чтобы отразить воздержания). Последовательные голоса объединенных партий были обработаны как единый блок, в то время как для новых партий, таких как New Social Contract (NSC), прошлые голоса их лидеров были использованы для вывода более ранних позиций.

Разнообразные эксперименты были разработаны для ряда LLM, протестированных либо на местных GPU, либо через API, по мере необходимости. Протестированные модели были Mistral-7B; Falcon3-7B; Gemma2-9B; Deepseek-7B; GPT-3.5 Turbo; GPT-4o mini; Llama2-7B; и Llama3-8B. Языковые LLM также были протестированы, это были NorskGPT для норвежского набора данных, и Aguila-7B для испанской коллекции.

Тесты

Эксперименты, проведенные для проекта, были запущены на неуказанном количестве NVIDIA A4000 GPU, каждая с 16GB VRAM.

Чтобы сравнить поведение модели с реальными политическими идеологиями, исследователи проецировали каждую LLM в то же двумерное идеологическое пространство, используемое для политических партий, на основе вышеупомянутой методологии CHES.

Система CHES определяет две оси: одну для экономических взглядов (левые против правых) и другую для социокультурных ценностей (GAL-TAN, или Зеленые-Альтернативные-Либертарианские против Традиционные-Авторитарные-Националистические).

Поскольку модели и политические партии голосовали по одним и тем же предложениям, исследователи рассматривали это как задачу обучения с учителем, обучая модель Partial Least Squares regression model для сопоставления записи голосования каждой партии с ее известными координатами CHES.

Эта модель затем была применена к шаблонам голосования LLM, чтобы оценить их позиции в том же пространстве. Поскольку LLM не были частью обучающих данных, их координаты будут предлагать прямое сравнение, основанное только на поведении при голосовании*:

Проектированные идеологические позиции LLM и политических партий в пространстве CHES для Нидерландов, Норвегии и Испании. Во всех трех случаях модели экономически совпадают с центро-левыми, но расходятся в социокультурных ценностях: склоняются более традиционно, чем голландские прогрессисты, более близко совпадают с норвежскими либеральными партиями и группируются между умеренными каталонскими националистами и центро-левыми в Испании. Модели остаются идеологически далекими от крайне-правых партий во всех регионах. Источник

LLM показали четкий и последовательный шаблон во всех трех странах, экономически склоняясь к центро-левым, и социально к умеренно-прогрессивным ценностям.

В Нидерландах голоса LLM совпадали с экономическими позициями партий, таких как D66, Volt и GroenLinks-PvdA; но на социальных вопросах они были ближе к более традиционным партиям, таким как DENK и CDA.

В Норвегии результаты сместились немного дальше влево, сопоставляясь с прогрессивными партиями, такими как Ap, SV и MDG.

В Испании позиции LLM образовали диагональное распределение между центро-левой PSOE и каталонскими националистическими партиями, такими как ERC и Junts, оставаясь далеко от консервативной PP и крайне-правой VOX.

Соглашение по голосованию с политическими партиями

Тепловые карты соглашения по голосованию, показанные ниже, указывают, как часто каждая LLM голосовала одинаково с реальными политическими партиями, повторяя предыдущие выводы:

Тепловые карты соглашения по голосованию между LLM и реальными политическими партиями, основанные на прямых сравнениях решений модели и партии. Темные оттенки указывают на более сильное соглашение. Во всех трех странах модели последовательно показывали высокое совпадение с прогрессивными и центро-левыми партиями, и гораздо более низкое совпадение с правыми-консервативными и крайне-правыми партиями. Этот шаблон совпадения остается стабильным в разных языках, политических системах и семействах моделей.

Во всех трех странах LLM наиболее совпадали с прогрессивными и центро-левыми партиями, и наименее с консервативными или крайне-правыми. В Нидерландах они согласились с SP, PvdD, GroenLinks-PvdA и DENK, но не с PVV или FvD. В Норвегии они показали наибольшее совпадение с R, SV и MDG, и мало с FrP. В Испании они отдавали предпочтение PSOE, ERC и Junts, в то время как избегали PP и VOX.

Это также было верно для локализованных моделей NorskGPT и Aguila-7B. Авторы предполагают, что тепловые карты и данные CHES вместе указывают на последовательное центро-левое, социально-прогрессивное наклонение.

Идеологическая предвзятость

Языковые модели, которые показывали более сильную идеологическую совместимость в проекциях CHES, также склонялись к выражению более высокой уверенности, когда были вынуждены выбирать между токенами за и против, в ответ на идеологические подсказки. Скрипичные графики этих распределений уверенности показывают четкое разделение:

Распределения уверенности для каждой модели при выборе между ‘за’ и ‘против’ по идеологическим подсказкам. Модели GPT показывают последовательно высокую уверенность, в то время как модели Llama варьируют уверенность, и другие открытые модели показывают более широкие, низкоуверенные распределения. Пожалуйста, обратитесь к исходному PDF для лучшего разрешения.

GPT-3.5 и GPT-4o-mini давали очень уверенные ответы, с оценками, сгруппированными близко к 1,0, что указывает на четкие и последовательные идеологические наклонения. Модели Llama были менее уверенными в целом, с Llama3-8B, показывающей умеренную уверенность, и Llama2-7B, показывающей гораздо меньшую уверенность – особенно на голландских и испанских задачах.

Falcon3-7B, DeepSeek-7B и Mistral-7B были еще более нерешительными, с широкими распределениями и более низкой уверенностью. Языковые модели показывали немного лучшие результаты на родных языках, но все равно отставали от уровня уверенности GPT.

Эти шаблоны, по мнению авторов, указывают на то, что стабильное политическое выравнивание можно увидеть не только в том, что говорят модели, но и в какой уверенности они говорят.

Предвзятость сущностей

Чтобы увидеть, меняют ли модели свои ответы в зависимости от кто предлагает политику, исследователи сохраняли каждое предложение точно таким же, но меняли связанные с ним названия партий. Если модель давала разные ответы в зависимости от партии, это считалось признаком предвзятости сущностей.

Тепловые карты предвзятости сущностей показывают, как сильно поддержка модели для политики меняется в зависимости от того, какая политическая партия ее предлагает. Зеленые ячейки указывают на увеличение согласия, когда партия названа (положительная предвзятость), и красные ячейки указывают на уменьшение согласия (отрицательная предвзятость). Модели GPT показывают минимальную предвзятость во всех партиях, в то время как модели, такие как Llama2-7B и Falcon3-7B, часто реагируют более благоприятно на лево-ориентированные партии и негативно на правые партии. Этот шаблон сохраняется во всех трех странах, что указывает на то, что некоторые модели более подвержены влиянию идентичности партии, чем содержания политики. Пожалуйста, обратитесь к исходному PDF для лучшего разрешения.

Модели GPT давали в основном стабильные ответы, независимо от того, какая партия была названа. Llama3-8B также оставалась достаточно стабильной. Но Llama2-7B, Falcon3-7B и DeepSeek-7B часто меняли свои ответы в зависимости от партии, иногда меняя поддержку на оппозицию, даже когда предложение оставалось неизменным, склоняясь к лево-ориентированным партиям и реагируя негативно на предложения от правых партий.

Это поведение проявлялось во всех трех странах, особенно в моделях, которые уже имели менее последовательную идеологию. Локализованные LLM NorskGPT и Aguila-7B показывали немного лучшие результаты на родных языках, но все равно демонстрировали большую предвзятость, чем GPT. В целом, результаты указывают на то, что некоторые модели более подвержены влиянию идентичности партии, чем содержания политики.

Вывод

За пределами своих первоначальных выводов, это методическое, но довольно непривлекательное исследование, ориентированное прямо на исследовательский сектор. Тем не менее, эта новая работа является одной из первых, которая использует разумно-масштабные данные для провокации политических наклонностей LLM – хотя это различие, вероятно, будет потеряно для общественности, которая слышала о лево-ориентированных языковых моделях довольно много за последний год, хотя и на более слабых доказательствах.

* Пожалуйста, обратите внимание, что мне пришлось разделить исходную иллюстрацию результатов Фигуры 1 посередине, поскольку каждая сторона исходной фигуры рассматривается отдельно в работе.

Опубликовано в среду, 14 января 2026 года