AIチャットボットは現実の法律に投票する際に左寄りの傾向がある

初めての大規模な実世界データを使用した研究で、ChatGPTやその他の大規模言語モデルが数千の実際の議会投票でテストされ、3カ国すべてで左派や中道左派の政党と一致するパターンが見られ、保守派の政党との一致は弱かった。

オランダとノルウェーによる新しい学術的共同研究では、ChatGPTスタイルの大規模言語モデル（LLM）が、すでに人間の立法者によって決定された3カ国での数千の実際の議会動議に投票するよう求められた。

記録された政党の投票と比較し、標準的な政治的尺度にマッピングすると、AIのパターンは一貫して進歩的で中道左派の政党に近づき、保守的な政党から遠ざかっていることがわかった。

論文では次のように述べられている。

‘私たちの研究では、モデル間で一貫した中道左派と進歩的な傾向が見られ、右派保守政党に対する体系的な否定的偏見が見られ、またこれらのパターンは言い換えられたプロンプトに対して安定していることがわかった。’

ほとんどの以前の研究、たとえば 大規模言語モデルの政治的偏見の評価、および AIにおける政治的偏見の特定 でレビューされたものは、政治的偏見を調査するために、政治的コンパステストや政策質問紙などの小規模なキュレーションされたクイズを使用する。通常、これらのテストには100件未満のステートメントが含まれ、研究者によって手動で選択され、言い換えの影響 により、モデルの応答を逆にする可能性がある。

対照的に、新しい研究では、3カ国（オランダ、ノルウェー、スペイン）から数千の実際の議会動議を使用し、既知の政治党派からの投票記録を使用する。

短いステートメントを解釈するのではなく、各大規模言語モデル（LLM）が実際の法案に投票するよう求められ、その投票は量的に既知の党派行動と比較され、標準的なイデオロギー空間であるチャペルヒル専門家調査（CHES）の空間に投影された。これは政治学者が政党の位置を比較する際によく使う方法論である。

これにより、分析は抽象的な政策声明ではなく、大規模な実世界の立法活動に基づくものとなり、より繊細な、国を跨いだ比較が可能となる。また、エンティティ偏見（動議が変わらないのに、政党名が言及されるとモデルの応答がどう変化するか）の有害な影響も強調し、以前の研究では見られなかった、偏見検出の第2の層を照明する。

LLMの偏見研究の多くは社会的公平性やジェンダーなど、過去1年間の政治の中で優先度がやや低下したテーマに集中していた。最近までLLMの政治的偏見の研究は数が少なく、研究手段や設計も十分に整っていなかった。

新しい研究 は、大規模言語モデルにおける政治的偏見の暴露：議会投票レコードの使用 というタイトルで、オランダのアムステルダム自由大学とノルウェーのオスロ大学の7人の研究者によるものである。

方法とデータ

新しいプロジェクトの中核的な提案は、大規模言語モデルの政治的傾向を観察することであり、歴史的な法律（すでに3カ国で実際に採択または却下された法律）に投票するよう求めることによって実現し、CHES方法論を使用してLLMの応答の政治的色合いを特徴付けることである。

この目的のために、研究者は3つのデータセットを作成した。オランダ下院の15政党・2,701動議を含むPoliBiasNL、ノルウェー議会の9政党・10,584動議を含むPoliBiasNO、スペイン議会の10政党・2,480動議を含むPoliBiasESである。最後のデータセットだけが、スペインで認められる棄権票も含む。

各動議は、フレーミング効果を最小限に抑えるために、実行可能な条項に絞られ、党派の立場は支持を示すために1、反対を示すために–1（スペインのデータセットの場合、棄権を示すために0）としてエンコードされた。統一された党派からの投票は単一のブロックとして扱われ、新党の場合（New Social Contract〔NSC〕など）、党首の過去の投票を使用して以前の立場を推測した。

多様な実験が、ローカルGPUまたはAPI経由でテストされた大規模言語モデルに対して設計された。テストされたモデルは、Mistral-7B、Falcon3-7B、Gemma2-9B、Deepseek-7B、GPT-3.5 Turbo、GPT-4o mini、Llama2-7B、およびLlama3-8Bであった。言語固有の大規模言語モデルもテストされ、ノルウェーのデータセット用にはNorskGPT、スペインのコレクション用にはAguila-7Bが使用された。

テスト

プロジェクトで実施された実験は、それぞれ16GBのVRAMを備えたNVIDIA A4000 GPUで実行された。GPUの台数は明示されていない。

モデルの動作を現実の政治的イデオロギーと比較するために、研究者はLLMを同じ2次元のイデオロギー空間に投影し、CHESフレームワークに基づいて政治党派をプロットした。

CHESシステムは、2つの軸を定義する。1つは経済的見解（左対右）、もう1つは社会文化的価値観（GAL-TAN、またはグリーン・オルタナティブ・リバタリアン対伝統的・権威主義・国家主義）である。

モデルと政治党派の両方が同じ動議に投票したため、研究者はこれを教師あり学習タスクと見なし、各党派の投票記録を既知のCHES座標にマッピングするPLS回帰モデルをトレーニングした。

このモデルはLLMの投票パターンに適用され、同じ空間内の彼らの位置を推定するために使用された。LLMは訓練データの一部ではなかったため、その座標は投票行動だけに基づく直接比較となる*。

オランダ、ノルウェー、スペインにおけるLLMと政治党派のCHES空間における投影されたイデオロギー的位置。3つのケースすべてで、モデルは経済的に中道左派と一致するが、社会文化的価値観は異なる。オランダの進歩派よりも伝統的で、ノルウェーの自由派政党とはより近く、スペインでは穏健なカタルーニャ民族主義政党と中道左派の間に集まる。モデルはすべての地域で極右党派からイデオロギー的に遠ざかっている。 出典

LLMは、3カ国すべてで一貫したパターンを示し、経済的には中道左派に、社会的には穏健な進歩的な価値観に傾倒していた。

オランダでは、LLMの投票は、D66、Volt、GroenLinks-PvdAなどの党派の経済的立場と一致していたが、社会問題では、DENKやCDAなどのより伝統的な党派に近かった。

ノルウェーでは、結果はわずかに左にシフトし、Ap、SV、MDGなどの進歩的な党派に近かった。

スペインでは、LLMの位置は、中心左派のPSOEとカタルーニャ民族主義党のERCやJuntsの間で形成され、保守的なPPや極右のVOXから距離を置いていた。

政治党派との投票の一致

以下に示す投票の一致度のヒートマップは、LLMがどのくらい頻繁に実際の政治党派と同じように投票したかを示している。

LLMと実際の政治党派の間の投票の一致度のヒートマップ。ダークな色はより強い一致を示す。3カ国すべてで、モデルは一貫して進歩的で中道左派の党派と高い一致度を示し、右派保守党や極右党派とは低い一致度を示した。この一致度のパターンは、言語、政治システム、モデルファミリーの違いにもかかわらず安定していた。

3カ国すべてで、LLMは進歩的で中道左派の党派と最も一致し、保守的な党派や極右党派とは一致しなかった。オランダでは、SP、PvdD、GroenLinks-PvdA、DENKと一致していたが、PVVやFvDとは一致していなかった。ノルウェーでは、R、SV、MDGと最も一致し、FrPとはほとんど一致しなかった。スペインでは、PSOE、ERC、Juntsと一致し、PPやVOXとは一致していなかった。

これは、NorskGPTやAguila-7Bのようなローカライズされたモデルにも当てはまり、ヒートマップとCHESデータを合わせると、LLMは一貫して中道左派で社会的に進歩的な傾向があることを示唆している。

イデオロギー的偏見

CHESへの投影でイデオロギー的一致が強かった言語モデルほど、イデオロギーに関するプロンプトに対して「賛成」と「反対」のトークンのどちらかを強制的に選ばせると、より高い確信度を示す傾向があった。この確信度の分布を示すバイオリンプロットには、明確な違いが見られる。

イデオロギーに関するプロンプトで賛成と反対のどちらかを強制的に選ばせた場合の、各モデルの確信度の分布。GPTモデルは一貫して高い確信度を示す一方、Llamaモデルの確信度には差があり、その他の公開重みモデルは、より幅広く確信度の低い分布を示す。より高解像度の図は原論文のPDFを参照されたい。

GPT-3.5とGPT-4o-miniの回答は確信度が非常に高く、スコアは1.0付近に集中しており、明確で一貫したイデオロギー的傾向を示唆していた。Llamaモデルは全体的に確信度が低く、Llama3-8Bは中程度、Llama2-7Bは特にオランダ語とスペイン語の課題でさらに低かった。

Falcon3-7B、DeepSeek-7B、Mistral-7Bはさらにためらいが強く、分布が広く確信度も低かった。特定言語向けのモデルは自国語のデータでは多少良好だったが、GPT並みの確信度には届かなかった。

著者らは、このパターンが、安定した政治的傾向はモデルが何を言うかだけでなく、どれほど確信を持って言うかにも表れることを示唆すると指摘する。

エンティティ偏見

政策を誰が提案するかによってモデルの回答が変わるかを調べるため、研究者は動議を完全に同じに保ち、関連する政党名だけを入れ替えた。政党によって異なる回答が出れば、エンティティ偏見の兆候と見なした。

エンティティ偏見のヒートマップは、政策を提案する政党によって各モデルの支持がどれほど変わるかを示す。緑のセルは政党名が示されると賛同が増すこと（正の偏見）、赤のセルは賛同が減ること（負の偏見）を表す。GPTモデルの政党間の偏見は小さいが、Llama2-7BやFalcon3-7Bは左派政党により好意的、右派政党に否定的に反応することが多い。このパターンはオランダ語、ノルウェー語、スペイン語のデータで見られ、政策内容より政党のアイデンティティに左右されるモデルがあることを示唆する。より高解像度の図は原論文のPDFを参照されたい。

GPTモデルの回答は、どの政党名を示してもおおむね安定していた。Llama3-8Bも比較的安定していた。しかしLlama2-7B、Falcon3-7B、DeepSeek-7Bは、動議が同じでも支持から反対に転じるなど、政党によって回答を変えることが多く、左派政党を好み右派政党の動議には否定的に反応する傾向があった。

この挙動は3カ国すべてで見られ、もともとイデオロギーの一貫性が低いモデルで特に顕著だった。ローカライズされたNorskGPTとAguila-7Bは自国のデータセットでは多少良好だったが、GPTより偏見が強かった。全体として、何が語られるかより誰が語るかに左右されるモデルがあることを結果は示唆する。

結論

当初の結論にとどまらず、本論文は体系的ではあるがかなり難解で、研究分野そのものに向けたものだ。それでも、ある程度の規模のデータを使ってLLMの政治的傾向を引き出した初期の研究の一つである。ただし、過去1年間、もっと弱い証拠に基づく左寄り言語モデルの話をかなり聞いてきた一般の人々には、この違いが伝わらないかもしれない。

* 原論文の図1の結果図は、それぞれの側が本文で別々に扱われているため、筆者が中央で二分した点に留意されたい。

初出：2026年1月14日水曜日