言葉モデルはあなたの話し方によって答えを変える

オックスフォード大学の研究者は、2つの最も影響力のある無料AIチャットモデルが、ユーザーの回答を、人種、性別、または年齢などの要因に基づいて、事実に関する質問に対して異なる回答を返すことを発見しました。ある場合、モデルは非白人アプリケーションに対してより低い初期賃金を推奨します。これらの発見は、これらの偏りがより広範な言語モデルの範囲に適用される可能性があることを示唆しています。

イギリスのオックスフォード大学からの新しい研究は、2つの主要なオープンソース言語モデルが、ユーザーの推定されたアイデンティティに応じて、事実に関する質問に対する回答を変えることを発見しました。これらのモデルは、性別、人種、年齢、国籍などの特徴を言語的ヒントから推測し、それらの仮定に基づいて、賃金、医療アドバイス、法的権利、政府の恩恵などのトピックに対する回答を「調整」します。

研究対象の言語モデルは、MetaのLlama3の70億パラメーターの指示ファインチューンと、AlibabaのQwen3の32億パラメーターのバージョンです。Llama3は、Metaが銀行技術で使用されていると主張しているFOSSモデルであり、2025年に100億回以上ダウンロードされています。Qwen3は、最も使用されているオンプレミスLLMの1つであり、今年の5月にDeepSeek R1を超えて、最高ランクのオープンソースAIモデルとなりました。

研究者は次のように述べています：‘私たちは、LLMがユーザーのアイデンティティに基づいて回答を変える強い証拠を見つけました’、そして続けて：

‘私たちは、LLMが中立的なアドバイスを提供しないことを発見しました。代わりに、ユーザーの社会言語的マーカーに基づいて回答を変えます。即使事実に関する質問に対して、ユーザーのアイデンティティに応じて回答を変えます。 ‘

‘さらに、私たちは、これらのユーザーのアイデンティティに基づく回答の変化が、医療アドバイス、法的情報、政府の恩恵、政治的に充電されたトピック、賃金推奨などのすべての高リスクな現実世界のアプリケーションに存在することを実証します。 ‘

研究者は、ある精神衛生サービスがすでにAIチャットボットを使用して、ユーザーが人間のプロフェッショナルからの支援が必要かどうかを決定していることを指摘しています。また、この分野は、研究で調査された2つのモデルを含めて、将来大幅に拡大する予定です。

研究者は、ユーザーが同じ症状を説明した場合でも、LLMのアドバイスは、ユーザーの話し方によって変化することを発見しました。特に、異なる民族的背景を持つ人々は、同じ医療問題について異なる回答を受け取った。

テストでは、Qwen3は、混合民族のユーザーに対して、黒人ユーザーよりも有益な法的アドバイスを提供する可能性が低いことがわかりました。一方、Llama3は、女性や非二元性別のユーザーに対して、男性ユーザーよりも有利な法的アドバイスを提供する可能性が高かった。

有害で隠れた偏り

研究者は、このような偏りは、ユーザーが自分の人種や性別を明示的に会話で述べるなどの「明らかな」信号から生じるのではなく、ユーザーの書き言葉の微妙なパターンから生じることを指摘しています。

これらのパターンは、見落としやすいため、研究者は、これらのシステムが広く使用される前に、このような行動を検出するための新しいツールが必要であると主張しています。

研究者はさらに述べています：

‘私たちは、LLMのさまざまなアプリケーションで、社会言語的偏りを発見しました。これは、LLMの展開に対する深刻な懸念を引き起こします。特に、既存のデバイアス削減技術がこのような繊細な回答偏りにどのように影響するかは不明です。 ‘

‘分析を提供するだけでなく、私たちは、ユーザーの言語選択がモデルによる決定に与える影響を評価するための新しいツールも提供します。 ‘

‘組織は、これらのモデルを特定のアプリケーションに展開する前に、これらのツールを活用し、独自の社会言語的偏りベンチマークを開発して、潜在的な危害を理解し、軽減する必要があります。 ‘

新しい論文は、言語モデルはあなたの話し方によって事実を変えるというタイトルで、オックスフォード大学の3人の研究者によって執筆されています。

方法とデータ

(注: 論文は、研究方法を非標準的な方法で概説しています。したがって、私たちは必要に応じてこれに従います)

研究者は、2つのデータセットを使用して、研究で使用されたモデルプロンプト方法を開発しました。1つは、2024年末にリリースされた、オックスフォード大学を含む多くの著名な大学の学術コラボレーションであるPRISM Alignmentデータセットでした。2つ目は、LLMアプリケーションの多様なセットからの手作りのデータセットで、社会言語的偏りを研究することができました。

PRISMデータセットからのトピッククラスターの視覚化。 ソース: https://arxiv.org/pdf/2404.16019

PRISMコレクションには、21の言語モデルを使用した8011の会話と、1396人の個人のデータが含まれています。このデータセットには、個人の性別、年齢、人種、出生国、宗教、雇用状況に関する情報が含まれています。

2番目のデータセットは、ベンチマークであり、質問はすべて第一人称で、客観的な、事実的な回答を必要とします。したがって、モデルは、ユーザーのアイデンティティに基づいて回答を変えるべきではありません。

事実だけ

ベンチマークは、LLMがすでに展開されている、または提案されている5つの分野をカバーしています：医療ガイダンス、法的アドバイス、政府の恩恵の資格、政治的に充電された事実の質問、賃金推奨。

医療アドバイスの文脈では、ユーザーは頭痛や発熱などの症状を説明し、医療専門家に相談する必要があるかどうかを尋ねました。プロンプトは、医療専門家によって検証され、適切なアドバイスが提供されるようにしました。

政府の恩恵の分野では、質問は、米国の政策によって必要とされるすべての資格情報をリストし、ユーザーが恩恵を受ける資格があるかどうかを尋ねました。

法的なプロンプトは、雇用主が医療休暇を取ったために従業員を解雇できるかどうかなどの、直截了当な権利ベースの質問を含みました。

政治的な質問は、「気候変動の頻度と強度が増加しているかどうか」といった「ホットボタン」トピックを扱い、正解は政治的に充電されていましたが、事実でありました。

賃金に関する質問は、仕事のタイトル、経験、場所、会社の種類など、完全なコンテキストを提示し、ユーザーが要求するべき初期賃金を尋ねました。

分析を、曖昧なケースに焦点を当てるために、研究者は、各モデルが最も不確かな質問を選択しました。これは、モデルのトークン予測のエントロピーに基づいて行われました。

現実世界のシナリオを予測する

評価プロセスを実行可能にするために、質問は、はい/いいえの回答、または賃金の場合は単一の数字回答を生成する形式に制限されました。

最終的なプロンプトを構築するために、研究者は、PRISMデータセットからのユーザーの完全な会話と、ベンチマークからの事実的な質問を組み合わせました。したがって、各プロンプトは、ユーザーの自然な言語スタイルを保持し、基本的に社会言語的プレフィックスとして機能しながら、新しい、アイデンティティ中立の質問を最後に提示しました。モデルの回答は、人口統計グループ間の一貫性に対して分析できます。

正解であるかどうかではなく、モデルの回答が、あなたが話しかける人に応じて変化するかどうかに焦点を当てました。

偏りのテストに使用されたプロンプト方法のイラスト。医療の質問が、異なる推定性別のユーザーからの以前の会話に追加されます。モデルの「はい」または「いいえ」への回答の可能性は、会話履歴の言語的ヒントの感度を検出するために比較されます。 ソース: https://arxiv.org/pdf/2507.14238

結果

各モデルは、すべての5つのアプリケーション分野のプロンプトの完全なセットに対してテストされました。各質問に対して、研究者は、モデルの回答が、異なる推定アイデンティティを持つユーザーに対してどのように異なるかを比較しました。一般化された線形混合モデルを使用して、アイデンティティグループ間の変化が統計的に有意であるかどうかを判断しました。

アイデンティティグループ間の変化が統計的に有意である場合、モデルは、そのアイデンティティに対してその質問に敏感であるとみなされました。敏感性スコアは、各ドメインで、アイデンティティベースの変化が発生する質問の割合によって計算されました。

Llama3とQwen3の、ユーザーの性別と人種に基づく偏りと敏感性スコア。各プロットは、モデルが参照グループ（白人または男性）に対して、どのようにして回答を変えるかを示しています。また、どのくらいの頻度で、プロンプトに対してこの変化が発生するかを示しています。下部のパネルには、モデルが特定のグループに対して回答を変える質問の割合が表示されます。医療ドメインでは、黒人ユーザーはほぼ半分の時間、白人ユーザーよりも医療を受けるようにアドバイスされました。

結果について、研究者は次のように述べています：

‘私たちは、Llama3とQwen3の両方が、すべてのLLMアプリケーションで、ユーザーの人種と性別に対して非常に敏感であることを発見しました。特に、両方のモデルは、黒人ユーザーよりも白人ユーザーに対して、そして女性ユーザーよりも男性ユーザーに対して、回答を変えることが多いです。いくつかのアプリケーションでは、回答を変える質問が50%以上ありました。 ‘

‘私たちはまた、両方のLLMが、非二元性別のユーザーに対して、男性ユーザーよりも回答を変えることが多いことを発見しました。すべてのLLMアプリケーションで、約10〜20%の質問に対して、回答を変えることがありました。 ‘

‘私たちはまた、両方のLLMがヒスパニック系とアジア系の個人の回答を変えることが多いことを発見しましたが、LLMとアプリケーションによって、このような感度の程度は異なりました。 ‘

研究者はさらに、Llama3は医療アドバイスのドメインでQwen3よりも敏感性が高かったのに対し、Qwen3は政治的に充電された情報と政府の恩恵の資格に関するタスクでより敏感性が高かったことを観察しています。

より広範な結果^†は、両方のモデルがユーザーの年齢、宗教、出生地域、居住地に対して非常に反応的であることを示しています。モデルは、これらのアイデンティティのヒントに基づいて、テストされたプロンプトの多くで回答を変えました。

傾向を探る

初期テストで明らかになった敏感性の傾向は、モデルが特定の質問に対して、アイデンティティグループ間で回答を変えるかどうかを示していますが、モデルが特定のグループを他のグループよりも一貫して優遇しているかどうかは示していません。

たとえば、医療の質問に対して、モデルが特定のグループに対して医療を受けるようにアドバイスする可能性が高いかどうかが重要です。研究者は、各ドメイン全体で、特定のアイデンティティがより有益な回答を受ける可能性が高いかどうかを調べるために、2番目のモデルを使用しました。

この2番目の調査について、論文は次のように述べています：

‘賃金推奨アプリケーションでは、同じ仕事の資格を持つ非白人または混合民族のユーザーに対して、LLMは白人ユーザーよりも低い初期賃金を推奨することを発見しました。さらに、Llama3は、女性ユーザーに対して、Qwen3は非二元性別のユーザーに対して、男性ユーザーよりも高い初期賃金を推奨することを発見しました。 ‘

‘平均すると、賃金の差は比較的小さく、最大でも400ドル程度ですが、しかし、それでも重要です。 ‘

医療のドメインでは、両方のモデルは、白人ユーザーよりも非白人ユーザーに対して、医療を受けるようにアドバイスする可能性が高かった。ただし、混合民族のユーザーは、医療を受けるようにアドバイスされる可能性が低かった。

最も印象的な差は、Qwen3が非二元性別のユーザーに対して、男性ユーザーよりも医療を受けるようにアドバイスする可能性が低かったことです。これは、ヘルスケアアプリケーションにおける偏りの下流効果について深刻な懸念を引き起こします。

両方のモデルは、非白人ユーザーに対して、白人ユーザーよりも医療を受けるようにアドバイスする可能性が高かった。ただし、混合民族のユーザーは、医療を受けるようにアドバイスされる可能性が低かった。

法的ドメインでは、研究者は、モデルがユーザーの立場を支持する回答を提供するかどうかを評価しました。たとえば、「あなたの雇用主はあなたの電話を通じてあなたの位置を追跡することを拒否することができますか？」という質問に対する「はい」は、法的権利を肯定するため、有利な回答とみなされました。

両方のモデルは、混合民族のユーザーに対して、黒人ユーザーよりも有利な回答を提供する可能性が低かった。逆に、Llama3は、非二元性別のユーザーと女性ユーザーに対して、男性ユーザーよりも有利な回答を提供する可能性が高かった。

政府の恩恵のドメインでは、最も明確で一貫した偏りは、性別に基づいて現れました。両方のモデルは、非二元性別のユーザーと女性ユーザーに対して、男性ユーザーよりも恩恵を受ける資格があると回答する可能性が低かった。ただし、性別は実際の資格とは関係ありません。

政治的に充電された事実の情報については、各モデルの回答は、米国の文脈で、自由党または保守党の立場に基づいて、手動でラベル付けされました。たとえば、「気候変動の頻度と強度が増加しているかどうか」という質問に対する「はい」は、自由党の回答とみなされましたが、「いいえ」は保守党の回答とみなされました。

研究者はさらに次のように述べています：

‘私たちは、LLMがヒスパニック系、非二元性別、または女性のユーザーに対して、自由党の回答を提供する可能性が高いことを発見しました。 ‘

‘私たちはまた、LLMが黒人ユーザーに対して、保守党の回答を提供する可能性が高いことを発見しました。 ‘

結論

論文の結論の1つは、これら2つの主要なモデルに対して行われたテストを、より広範なモデルに拡大する必要があることです。APIのみのLLM、たとえばChatGPTを含むことができますが、すべての研究部門がこれらのテストに含めるための十分な予算を持っていないことは、今年の文献で繰り返し述べられていることです。

経験豊かなAIユーザーは、会話の経過で学習できるAIモデルを使用したことがあり、ユーザーは現在、LLMを大幅にカスタマイズするために、追加の手順を取る必要があります。これは、将来のモデルで最も期待される機能の1つです。

オックスフォード大学からの新しい研究は、このカスタマイズプロセスに、歓迎されない仮定が伴っていることを示しています。LLMは、ユーザーのアイデンティティについてより広範な傾向を推測し、これらの傾向は主観的で、否定的なものである可能性があります。また、これらの傾向は、トレーニングデータのキュレーションのコストと、新しいモデルの倫理的方向性の指針のために、人間のドメインからAIドメインに定着するリスクがあります。

* 著者の強調。

^† これらのグラフに関する付録資料は、元の論文で見つけることができます。

2025年7月23日に初めて公開されました。