AIチャットボットは実際の法律に投票する際に左寄りになる

大規模な現実世界のデータを使用したこの種の研究としては初めてのもので、ChatGPT やその他の大規模言語モデルが何千もの実際の議会投票でテストされ、3 か国全体で左派および中道左派政党との関連性が繰り返し示された一方で、保守政党との関連性は弱いことが示されました。

オランダとノルウェーの新しい学術協力では、ChatGPTスタイルの大規模言語モデル（LLM）は、ChatGPT自身も含め、3カ国で人間の議員によってすでに決定されていた数千件の実際の議会動議に投票するよう求められました。

実際の政党の記録された投票と比較し、標準的な政治尺度にマッピングすると、AI は一貫して進歩派および中道左派政党に近く、保守派政党からは遠いというパターンが浮かび上がった。

論文は次のように述べています。

「私たちの調査結果は、モデル全体に​​わたって一貫した中道左派と進歩主義の傾向と、右派保守政党に対する体系的な否定的な偏りを明らかにし、これらのパターンが言い換えられたプロンプトの下でも安定していることを示している。」

これまでの研究のほとんど、例えば 大規模言語モデルにおける政治的バイアスの評価、および AIにおける政治的偏見の特定AIのイデオロギーを探るために、政治コンパステストや政策アンケートといった小規模なクイズが用いられる。こうしたテストは通常​​、研究者が厳選した100項目未満の発言で構成されており、誤植の影響を受けやすい。 言い換え効果 モデルの応答を逆転させることができます。

対照的に、新たな研究では、オランダ、ノルウェー、スペインの3カ国における既知の政党の記録された投票を使用して、数千の実際の議会動議を使用している。

試験対象となった各大規模言語モデル（LLM）は、短い文を解釈するのではなく、実際の立法提案に投票するよう求められました。その後、その投票結果は現実世界の政党の行動と定量的に照合され、標準的なイデオロギー空間、チャペルヒルの専門家調査（チェス）、方法論 頻繁に使用されます 政治学者が政党の立場を比較するために使用します。

これにより、抽象的な政策声明ではなく、大規模で現実世界の立法活動に基づいた分析が可能になり、よりきめ細かな国際比較が可能になります。また、 エンティティバイアス （動きが変化していなくても、政党名が言及されるとモデルの応答がどのように変化するか）、これまでの研究には存在しなかったバイアス検出の第 2 層を明らかにします。

LLMバイアスに関する研究のほとんどは、社会的公平性とジェンダー、そして他の同様のトピックに焦点を当てている。 やや優先順位が下がった 過去1年間の政治情勢において、最近まで法学修士課程における政治的偏見に関する研究は稀であり、綿密に計画、考案されてもいませんでした。

当学校区の 新作 というタイトルです 議会投票記録を用いた大規模言語モデルの政治的バイアスの解明アムステルダムの自由大学とオスロ大学の 7 人の研究者からの意見です。

手法とデータ

新しいプロジェクトの中心的な提案は、さまざまな言語モデルに歴史的立法（つまり、研究対象の 3 か国で実際にすでに可決または拒否された法律）について投票してもらい、CHES 方法論を使用して LLM の応答の政治的色彩を特徴付けることで、さまざまな言語モデルの政治的傾向を観察することです。

この目的のために、研究者らは次の3つのデータセットを作成しました。 ポリバイアスNL、オランダ第二院の15政党をカバーする（2,701件の動議を掲載）。 ポリバイアスNOノルウェーのストーティング（10,584件の動議を掲載）の9つの政党をカバーする。 ポリバイアスES、スペイン議会の 10 党をカバーします (2,480 件の動議を収録 - スペインで認められている棄権票を含む唯一のデータセット)。

各動議は、フレーミング効果を最小限に抑えるために、その運用条項のみに絞り込まれ、政党の立場は次のようにコード化された。 1 支持を示すため、または -1 反対を示すために（そして、スペイン語のデータセットでは、 0 （棄権を反映するため）合併政党からの一貫した投票は単一のブロックとして扱われ、一方、新社会契約（NSC）などの新しい政党については、その党首の過去の投票が、以前の立場を推測するために使用された。

多様なLLMを対象に多様な実験が考案され、必要に応じてローカルGPUまたはAPI経由でテストされた。テストされたモデルは以下の通りである。 ミストラル-7B; ファルコン3-7B; ジェマ2-9B; ディープシーク-7B; GPT-3.5ターボ; GPT-4oミニ; ラマ2-7B、および ラマ3-8B言語に特化したLLMもテストされ、これらは ノルウェーGPT ノルウェーのデータセットの場合、 アギラ-7B スペインコレクション用。

テスト

このプロジェクトで実施された実験は、それぞれ 16 GB の VRAM を搭載した、不特定多数の NVIDIA A4000 GPU で実行されました。

モデルの動作を現実世界の政治イデオロギーと比較するために、研究者らは、前述の CHES フレームワークに基づいて、各 LLM を政党に使用されるものと同じ 2 次元イデオロギー空間に投影しました。

CHESシステムは2つの軸を定義しています。1つは経済観（左対右）で、もう1つは社会文化的価値観（GAL-TAN、または グリーン・オルタナティブ・リバタリアン vs 伝統的権威主義的国家主義).

モデルと政党の両方が同じ動議に投票したため、研究者はこれを 教師あり学習 タスク、トレーニング 偏最小二乗回帰モデル 各政党の投票記録を既知の​​ CHES 座標にマッピングします。

このモデルをLLMの投票パターンに適用し、同じ空間における位置を推定しました。LLMは学習データに含まれていなかったため、その座標は投票行動のみに基づいた直接的な比較を可能にします*。

オランダ、ノルウェー、スペインにおける法学修士課程（LLM）と政党のCHES（社会学・経済学）分野におけるイデオロギー的立場の予測。3つのケース全てにおいて、モデルは経済的には中道左派と一致するものの、社会文化的価値観においては異なる傾向を示している。オランダの進歩派よりも伝統的傾向が強く、ノルウェーのリベラル政党とより一致し、スペインでは穏健なカタルーニャ民族主義者と中道左派の間にクラスターを形成している。モデルは、どの地域においても極右政党とはイデオロギー的に距離を置いている。 ソース

LLM は 3 か国すべてにおいて明確かつ一貫したパターンを示し、経済的には中道左派に、社会的には穏健な進歩的価値観に傾倒しています。

オランダでは、LLM の投票は D66、Volt、GroenLinks-PvdA などの政党の経済的立場と一致しましたが、社会問題に関しては DENK や CDA などのより伝統的な政党に近い結果となりました。

ノルウェーでは、結果はわずかに左にシフトし、Ap、SV、MDGなどの進歩的な政党に近いものとなった。

スペインでは、LLMの立場は中道左派の社会労働党と、ERCやJuntsなどのカタルーニャ民族主義政党の間で対角線上に広がり、保守系のPPや極右のVOXとは大きく離れたままであった。

政党との投票協定

以下に示す投票合意ヒートマップは、各 LLM が実際の政党と同じように投票した頻度を示しており、以前の結論を繰り返しています。

LLMと現実の政党間の投票一致ヒートマップ。モデルと政党の決定を直接比較したもの。濃い色ほど一致度が高いことを示す。3カ国全てにおいて、モデルは一貫して進歩派および中道左派政党との一致度が高く、右派保守派および極右政党との一致度ははるかに低いことを示した。この一致パターンは、異なる言語、政治体制、モデルファミリー間で安定している。

3カ国全体で、LLMは進歩派および中道左派政党との連携が最も強く、保守派および極右政党との連携は最も弱かった。オランダでは、SP、PvdD、GroenLinks-PvdA、DENKとの連携は強かったが、PVVやFvDとは連携が弱かった。ノルウェーでは、R、SV、MDGとの連携が最も強く、FrPとの連携は弱かった。スペインでは、PSOE、ERC、Juntsとの連携が強く、PPとVOXとの連携は避けていた。

この傾向は、ローカライズされたモデルであるNorskGPTとAguila-7Bにも当てはまりました。著者らは、ヒートマップとCHESデータを合わせると、一貫して中道左派で社会的に進歩的な傾向を示していると示唆しています。

イデオロギーバイアス

CHES予測においてより強いイデオロギー的整合を示した言語モデルは、トークン間の選択を迫られた際にもより高い確信度を示す傾向があった。 の および に対してイデオロギー的な刺激に対する反応として、これらの信頼度分布のバイオリンプロットは明確な分裂を示している。

各モデルにおいて、イデオロギー的プロンプトに対し「賛成」と「反対」のどちらかを選ばせた場合の確信度分布。GPTモデルは一貫して高い確信度を示しているのに対し、Llamaモデルは確信度にばらつきがあり、その他のオープンウェイトモデルはより広く、確信度が低い分布を示している。より詳細な情報については、ソースPDFを参照してください。

GPT-3.5とGPT-4o-miniは非常に自信に満ちた回答を示し、スコアは1.0に近く集まり、明確で一貫したイデオロギー的傾向を示唆しています。Llamaモデルは全体的に自信が低く、Llama3-8Bは中程度の自信を示しましたが、Llama2-7Bは特にオランダ語とスペイン語の課題において自信がはるかに低い結果となりました。

Falcon3-7B、DeepSeek-7B、Mistral-7Bはさらにためらいがちで、ばらつきが大きく、信頼度も低かった。言語特化型モデルは母語データではやや優れた結果を示したものの、GPTレベルの確実性には依然として及ばなかった。

著者らは、これらのパターンは、安定した政治的連携がモデルが示すものだけでなく、 どれほど自信を持って 彼らはそう言います。

エンティティバイアス

モデルが回答を変えるかどうかを確認するには 提案者 政策を検証するため、研究者たちはそれぞれの動議を全く同じままにし、関連する政党名を入れ替えた。モデルが政党によって異なる回答をした場合、これは政策の兆候とみなされた。 エンティティバイアス.

エンティティバイアスヒートマップは、各モデルの政策支持が、どの政党が政策を提案するかによってどの程度変化するかを示しています。緑色のセルは、政党名が挙げられた場合の支持率の上昇（正のバイアス）を示し、赤色のセルは支持率の減少（負のバイアス）を示します。GPTモデルは政党間のバイアスが最小限であるのに対し、Llama2-7BやFalcon3-7Bなどのモデルは、左派政党に好意的に反応し、右派政党に否定的に反応する傾向があります。この傾向はオランダ、ノルウェー、スペインのデータセット全体に当てはまり、一部のモデルは政策内容よりも政党のアイデンティティの影響を受けていることを示唆しています。より詳細な解像度については、ソースPDFを参照してください。

GPTモデルは、どの政党が指名されてもほぼ安定した回答を示しました。Llama3-8Bもほぼ安定していました。しかし、Llama2-7B、Falcon3-7B、DeepSeek-7Bは政党によって回答が頻繁に変化し、動議の内容が同じであっても支持から反対に転じることもありました。これは、左派政党を支持し、右派政党の動議には否定的な反応を示す傾向があるためです。

この行動は3カ国全てで見られ、特にイデオロギーの一貫性が低いモデルで顕著でした。ローカライズされたLLMであるNorskGPTとAguila-7Bは、それぞれの母国データセットではわずかに優れた結果を示しましたが、それでもGPTよりもバイアスが大きかったことが示されました。全体として、この結果は、一部のモデルが発言内容よりも誰が発言したかによって影響を受けていることを示唆しています。

結論

当初の結論を除けば、この論文は研究分野そのものを正面から狙った、体系的ではあるがやや難解な内容となっている。とはいえ、この新しい研究は、法学修士課程の学生たちの政治的傾向を喚起するために、ある程度の規模のデータを用いた最初の研究の一つと言えるだろう。ただし、この違いは、過去1年間、証拠は比較的薄弱ではあるものの、左派的な言語モデルについてかなり耳にしてきた一般の人々には、おそらく理解されないだろう。

* 論文の元の図 1 の結果の図を真ん中で分割しなければならなかったことに注意してください。元の図の各側面は作業の中で別々に扱われているからです。

初版発行日：14年2026月XNUMX日水曜日