AIチャットボットは現実の法律を投票する際に左寄りになる

初の大規模な実世界データを使用した研究で、ChatGPTやその他の大規模言語モデルが、3カ国での数千の実際の議会投票でテストされ、繰り返し左派や中道左派の政党と一致し、保守派との一致は弱かった。

オランダとノルウェーの新しい学術的協力により、ChatGPTスタイルの大規模言語モデル（LLMs） – ChatGPT自身を含む – が、3カ国での実際の議会決議に投票するよう求められた。

実際の政党の投票記録と比較し、標準的な政治的尺度にマッピングすると、AIは一貫して進歩的で中道左派の政党に近く、保守派からは遠かった。

論文には以下のように記載されている：

‘私たちの研究結果は、モデル全体にわたる一貫した中道左派と進歩的な傾向を示しており、右派保守政党への系統的な否定的偏見も見られ、また、これらのパターンは言い換えられたプロンプトの下でも安定していることがわかった.’

以前の研究の多くは、大規模言語モデルにおける政治的偏見の評価や、AIにおける政治的偏見の特定のようなもので、政治的指南针テストや政策質問紙などの小規模なキュレーションされたクイズを使用して、AIのイデオロギーを調査している。通常、これらのテストには100件未満のステートメントが含まれ、研究者によって手動で選択されており、言い換えの影響を受けやすく、モデルの応答を逆転させる可能性がある。

対照的に、新しい研究では、3カ国 – オランダ、ノルウェー、スペイン – の実際の議会決議の数千件を使用し、既知の政治的政党からの投票記録を使用している。

短いステートメントを解釈するのではなく、各大規模言語モデル（LLM）には実際の法案に投票するよう求められ、その投票は量的に実世界の政党の行動と比較され、標準的なイデオロギー空間、CHES（チャペルヒル専門家調査）に投影された。政治科学者が政党の立場を比較するためによく使用される方法である。

これにより、分析は抽象的な政策声明ではなく、大規模な実世界の立法活動に基づいており、より繊細な、国を跨いだ比較が可能になる。また、エンティティバイアス（モデルの応答が政党名が言及されたときにどのように変化するか、決議が変更されない場合でも）の有害な影響を強調し、以前の研究には存在しなかったバイアス検出の第2層を明らかにする。

大規模言語モデルのバイアスに関するほとんどの研究は、社会的公平性や性別などのトピックに焦点を当てていたが、これらのトピックは最近、ある程度優先順位が低下した。最近まで、大規模言語モデルの政治的バイアスに関する研究はまれで、より徹底的にツール化され、概念化されていなかった。

新しい研究は、大規模言語モデルにおける政治的バイアスの暴露：議会投票記録の使用というタイトルで、アムステルダムのフリージュUniversiteitとオスロ大学の7人の研究者によって行われた。

方法とデータ

新しいプロジェクトの中核的な提案は、大規模言語モデルの政治的傾向を観察することであり、歴史的な立法（すでに実際の人間の立法者によって採択または却下された法律）に投票するよう求めることによって実現し、CHES方法論を使用してLLMの応答の政治的色合いを特徴付けることである。

この目的のために、研究者は3つのデータセットを作成した：PoliBiasNLは、オランダの第二議会の15の政党（2,701件の決議）をカバーするもの、PoliBiasNOは、ノルウェーのストーティングの9つの政党（10,584件の決議）をカバーするもの、PoliBiasESは、スペイン議会の10の政党（2,480件の決議、スペインでは唯一の棄権投票を含む）をカバーするものである。

各決議は、フレーミング効果を最小限に抑えるために、実行可能な条項に削減され、政党の立場は1で支持を示し、–1で反対を示し（スペインのデータセットでは0で棄権を示した）。統合された政党からの投票は、単一のブロックとして扱われ、新しい政党の場合（NSCなど）、以前の指導者の投票を使用して以前の立場を推測した。

大規模言語モデルのシリーズに対して、多様な実験が考案され、必要に応じてローカルのGPUまたはAPIを介してテストされた。テストされたモデルは、Mistral-7B；Falcon3-7B；Gemma2-9B；Deepseek-7B；GPT-3.5 Turbo；GPT-4o mini；Llama2-7B；およびLlama3-8Bであった。言語固有のLLMもテストされ、ノルウェー語データセットの場合はNorskGPT、スペイン語コレクションの場合はAguila-7Bであった。

テスト

プロジェクトのために実行された実験は、16GBのVRAMを備えたNVIDIA A4000 GPUの不特定の数で実行された。

モデルの動作を実世界の政治的イデオロギーと比較するために、研究者は各LLMを、実際の政党と同じ2次元イデオロギー空間に投影し、上記のCHESフレームワークに基づいて、経済的見解（左対右）と社会文化的価値観（GAL-TAN、またはグリーン・オルタナティブ・リベラル対伝統的・権威主義・国家主義）の2つの軸を定義した。

モデルと実際の政党の両方が同じ決議に投票したため、研究者はこれを教師あり学習タスクとみなし、各政党の投票記録を既知のCHES座標にマッピングする部分最小二乗回帰モデルをトレーニングした。

このモデルは次に、LLMの投票パターンに適用され、同じ空間内の彼らの位置を推定するために使用された。LLMはトレーニングデータの一部ではなかったため、彼らの座標は投票行動に基づいてのみ直接比較を提供することになる：

オランダ、ノルウェー、スペインでのCHES空間におけるLLMと実際の政党の投影されたイデオロギー的立場。3つのケースすべてで、モデルは経済的に中道左派と一致し、社会文化的価値観では、オランダの進歩的な政党よりも伝統的、ノルウェーのリベラル政党とより近く、スペインでは穏健なカタルーニャ民族主義者と中道左派の間で集まる。モデルは、全地域で極右政党からイデオロギー的に遠く離されている。ソース – https://arxiv.org/pdf/2601.08785

LLMは、3つの国すべてで明確で一貫したパターンを示し、経済的には中道左派に、社会的には穏健な進歩的な価値観に傾いていた。

オランダでは、LLMの投票は、D66、Volt、GroenLinks-PvdAなどの政党の経済的立場と一致していたが、社会問題では、DENKやCDAなどのより伝統的な政党に近かった。

ノルウェーでは、結果はわずかに左にシフトし、Ap、SV、MDGなどの進歩的な政党と密接にマッピングされた。

スペインでは、LLMの立場は、中心左派のPSOEとカタルーニャ民族主義政党であるERCやJuntsの間で対角線に広がり、保守的なPPや極右のVOXから距離を置いていた。

政党との投票の一致

以下の投票の一致ヒートマップは、LLMがどのくらい頻繁に実際の政党と同じように投票したかを示しており、以前の結論を繰り返している：

LLMと実際の政党の投票の一致ヒートマップ。ダークシャードはより強い一致を示す。3つの国すべてで、モデルは一貫して進歩的な政党や中道左派の政党と高い一致を示し、右派保守や極右政党とは低い一致を示した。この一致パターンは、言語、政治システム、モデルファミリーの違いを超えて安定していた。

3つの国すべてで、LLMは進歩的な政党や中道左派の政党と最も一致し、保守的な政党や極右政党とは最も一致しなかった。オランダでは、SP、PvdD、GroenLinks-PvdA、DENKと一致していたが、PVVやFvDとは一致していなかった。ノルウェーでは、R、SV、MDGと最も一致し、FrPとは一致していなかった。スペインでは、PSOE、ERC、Juntsと一致し、PPやVOXとは一致していなかった。

これは、NorskGPTやAguila-7Bのようなローカライズされたモデルにも当てはまった。著者は、ヒートマップとCHESデータを合わせると、モデルが一貫して中道左派で社会的に進歩的な傾向があることを示唆している。

イデオロギー的偏見

CHES投影でより強いイデオロギー的一致を示した言語モデルは、イデオロギー的プロンプトに対して「賛成」と「反対」のトークンを選択するときに、より高い確実性を表現する傾向があった。確実性分布のバイオリンプロットは、明確な分割を示している：

イデオロギー的プロンプトに対して「賛成」と「反対」のトークンを選択する際の各モデルの確実性分布。GPTモデルは一貫して高い確実性を示し、Llamaモデルは確実性が変動し、他のオープン重みモデルはより広く、低い確実性の分布を示した。ソースPDFに参照してください。

GPT-3.5とGPT-4o miniは非常に自信を持った回答を示し、スコアは1.0に近かった。これは、明確で一貫したイデオロギー的傾向を示唆している。Llamaモデルは全体的に自信が低かった。Llama3-8Bは適度な自信を示し、Llama2-7Bは特にオランダ語とスペイン語のタスクで、かなり自信がなかった。

Falcon3-7B、DeepSeek-7B、Mistral-7Bはさらにためらいが見られ、広い範囲にわたる分布と低い確実性を示した。言語特有のモデルは、母国語のデータセットで多少よく機能したが、依然としてGPTの水準の確実性に達していなかった。

これらのパターンは、著者によると、安定した政治的整列が、モデルが何を言っているかだけでなく、どのように自信を持って言っているかにも見られることを示唆している。

エンティティバイアス

モデルが政党の提案によって回答を変更するかどうかを調べるために、研究者は各決議を同じままにしたが、関連付けられた政党名を入れ替えた。モデルが政党によって異なる回答を出した場合、これはエンティティバイアスの兆候とみなされた。

エンティティバイアスのヒートマップは、各モデルの政策への支持が、どの政治党が提案したかによってどれだけ変化するかを示す。緑のセルは、党が名前付けられたときに増加した同意（正のバイアス）を示し、赤のセルは減少した同意（負のバイアス）を示す。GPTモデルは、党全体で最小限のバイアスを示した。一方、Llama2-7BやFalcon3-7Bのようなモデルは、左寄りの政党に対してより好意的に、右翼政党に対して否定的に反応することが多かった。このパターンは、オランダ語、ノルウェー語、スペイン語のデータセットすべてで見られ、モデルの一部は政策の内容よりも党のアイデンティティによってより影響を受けることを示唆している。ソースPDFに参照してください。

GPTモデルは、どの政党が名前付けられていたかに関係なく、ほとんどの場合、安定した回答を示した。Llama3-8Bも比較的安定していた。しかし、Llama2-7B、Falcon3-7B、DeepSeek-7Bは、政党によって回答を変更することが多かった。場合によっては、決議が変わらないのに、賛成から反対にまで回答を変更することがあった。左寄りの政党に好意的で、右翼政党の動議に否定的に反応する傾向があった。

この行動は、3つの国すべてで見られ、特に一貫性のないイデオロギーを持つモデルで顕著だった。ローカライズされたLLMであるNorskGPTとAguila-7Bは、自国のデータセットで多少よく機能したが、依然としてGPTよりもバイアスが大きかった。

全体として、結果は、一部のモデルは、政策の内容よりも誰が何かを言っているかによって影響を受けることを示唆している。

結論

初期の結論を超えて、この論文は、主に研究分野向けに、かなり方法的なもので、しかしややアプローチが難しい。ただし、この新しい研究は、比較的スケールの大きなデータを使用してLLMから政治的傾向を引き出す最初のものの1つである – ただし、この区別は、過去1年間で左寄りの言語モデルについて話を聞いていた一般大衆にとっては、薄い証拠に基づいてもあるかもしれない。

* 論文の元の図1の結果イラストレーションを真ん中で分割しなければならなかったため、元の図の各側は、研究で個別に扱われている。

初めて2026年1月14日に公開された。