あなたのAIは、まだあなたを正しく訂正するには遠慮しすぎているかもしれない

正確な情報を得るために頼るAIシステムは、たとえその情報が私たちにとって喜ばしいものではなくても、私たちが望ましくない知らせや事実を受け入れる気になるまで、異議を唱えられても「反論」し続ける能力を備えていなければならない。

AIはこの点があまり得意ではない。最先端モデルは一般消費者向けに設計されているため、相手に合わせて譲歩しがちで、実際には迎合する傾向もある。

この問題に取り組む研究の重要な潮流が生まれている。しかし最近の研究では、AIが私たちに異議を唱えると、簡単に言いくるめて再び迎合させられること、AIは明らかに誤っている場合でさえ人間の権威に従うこと、そして通常は効果的な手法である強化学習が、実際にはこの特定の問題を悪化させることが明らかになっている。

相手に譲歩することが文化的に礼儀正しさと結びついているため、サービス提供者と消費者の関係では「率直に話す」ことが不可能になっているようだ。「顧客は常に正しい」というわけだ。たとえ顧客が崖から歩いて落ちようとしていても。

正しさ、誤り、そして「曖昧な表現」

さて、今週発表された論文の中に、この問題を大きく前進させるものがあったとお伝えできればよかったのだが。残念ながら、得られたのは、反論し、人間の主人に真実を認めさせようとするモデルでさえ、依然としてそれほどうまくできていないという情報ばかりだ*。そして、たとえ実際に権力者（つまり、あなた）に真実を突きつける気があっても、その声は本当にかすかなささやきにすぎない。

今回の新しい論文は大規模な学術共同研究の成果で、University of Washington、Allen Institute for AI、LMU Munich、UC Berkeley、Stanford University、University of Wisconsin-Madisonが参加している。

論文のタイトルは「干し草の山の中の反論：言語モデルは事実誤認に曖昧かつ効果的でない形で応答する」。この新たな研究が示すのは、AIモデルがユーザーの主張が誤りだと認識していても、明確に訂正できないことが多く、異議を留保表現や称賛、部分的な同意の中に埋もれさせてしまうという点だ。

誤った前提に基づいて学術論文を求める依頼に、Gemini 2.5 Proがヒンディー語で応答した例。緑色のハイライトは肯定を、ピンク色のハイライトは反論を示している。ここでは、モデルは主張を明確に否定せず、称賛と間接的な異議を織り交ぜている。 出典

7つのモデルと5つの言語を対象にした調査で、研究者らは、AIが技術的には異議を唱えていても、その曖昧な表現によってユーザーが元の誤情報を信じ続ける可能性があることを明らかにした。

言語によって迎合の現れ方や程度が異なるため、著者10人は、共通する5つの母語を生かして、英語、ドイツ語、中国語、ヒンディー語、ヨルバ語を含む検証手法を考案した。これらの言語は、資源が豊富なものから資源の乏しいものまで、さまざまな分類にまたがっている。研究者らは次のように述べている。

「私たちは、言語モデルが誤った入力にどのように反論し、また肯定するのかを詳細に把握するため、フレーズ単位で人間が検証する応答ラベル付けの枠組みを導入します。この枠組みを開発し、英語、ドイツ語、中国語、ヒンディー語、ヨルバ語の5言語におけるモデルの応答に適用します。」

「モデルがユーザーの誤った主張に反論する場合、間接的な表現を使い、肯定的な言葉も交える傾向があることが分かりました。また、検討した他の言語よりも、ヒンディー語とヨルバ語では間接的な表現が多く見られました。」

300人が参加した大規模調査で、研究者らは、AIモデルによる曖昧な訂正では、ユーザーの事実誤認が解消されず、効果的に異議を唱えられない可能性があることを明らかにした。

ある検証では、情報を求める質問に対するモデルの応答は平均46.7行に及ぶ一方、訂正を示す表現はわずか2～3行にしか現れなかった。つまり、AIが誤った主張に異議を唱えていても、その指摘は見つけにくいことがある。

研究者らはまた、誤情報が通常の情報提供の依頼に含まれている場合よりも、明示的に検証を求められた場合のほうが、モデルは誤情報に異議を唱えやすいことを明らかにした。教科書に由来するとされた主張は、友人に由来するとされた主張よりも、一般に反論されにくかった。

情報を求める質問への応答の29.4%で、モデルは訂正と肯定を織り交ぜており、この割合はGemini 2.5 Proでは60.1%に上った。時には、安心させる言葉の間に異議を挟み込む「褒め言葉のサンドイッチ」のような形を取っていた。

改善策の可能性として、研究者らは、モデルが応答する前に「ちょっと待つ」よう促す簡単な介入を試した。これにより、場合によっては誤った発言に異議を唱える意欲が高まったが、正しい発言に対して誤った異議を唱えることも増えた。

この研究は、AIに誤りを認識させることは問題の一部にすぎず、その誤りを伝えること自体も、また別の課題であることを示唆している。

方法

テスト用の素材には、OpenAIが2021年に公開した「Massive Multitask Language Understanding (MMLU)」ベンチマークの多言語版を使用した。MMMLUとして知られるこの多言語データセットには、生物学や歴史などの学術分野が含まれている。

データセットの選択式問題を事実に関する記述に変換し、誤答3つから虚偽の主張を、正答から真の主張をそれぞれ作成した。

こうして、各言語につき二重翻訳されたMMMLUベンチマークの項目1,756件から、5言語にわたる記述35,120件のデータセットを作成した。実験では、科目の偏りを抑えた、より小規模なサンプルを選び、虚偽の記述2,685件と真の記述895件を対象とした。

テスト対象の言語モデルは、クローズドソースのGemini2.5 ProとGPT-5.5、およびオープンウェイトモデル5種、Mistral Small 4、Qwen 3.5 9B、Qwen 3.5 27B、Gemma 4 E4B、Aya Expanse 32Bだった。

モデルをテストするために使った3種類のプロンプトのうち、1つ目では記述を提示して事実かどうかを直接確認させた。2つ目では、学生がその記述に関連する学習資料を探している状況を設定し、3つ目では、教授が同じ記述に基づく学術論文を求めている状況を設定した。

学生向けのプロンプトでは、記述の出典として教科書、教師、友人、インターネット、または出典を特定しない選択肢を設定した。教授向けのプロンプトでは、教授自身の研究、同僚、友人、インターネット、または出典を特定しない選択肢を設定し、出典の違いに応じて、モデルが虚偽の主張にどれだけ異議を唱えるかを評価した。

研究で使用した3種類のプロンプトのテンプレート。事実の直接確認（検証）、学習資料の要求（初学者）、学術論文の要求（専門家）。出典と分野固有の詳細をテンプレートに当てはめた。

モデルの回答は、次の4つのカテゴリーに分類した。明示的な反駁は、虚偽の記述に直接異議を唱えるもの。間接的な異議は、明確に否定せずに反対や疑念を示すもの。称賛は、ユーザーの記述や考え方を褒めるもの。肯定は、記述を正しいと認めるもの。

テスト対象の5言語において、モデルがユーザーの記述を否定、疑問視、称賛、または肯定する際に用いた表現の例。該当する場合は英訳を示す。

称賛、同意、反対の表現が同じ回答に一緒に現れた場合も見分けられるよう、各回答をフレーズごとに分析した。

結果

結果は、確認を求められた際に虚偽の記述を正しく見抜くモデルでも、情報や助言を求められると、同じ主張に異議を唱える可能性が低くなるという先行研究の知見を裏付けた。この差は「反論ギャップ」と名付けられ、事実を直接確認するテストで虚偽の主張に異議を唱えた頻度と、通常の情報検索の依頼で異議を唱えた頻度を比較して算出した。

5言語において、7つの言語モデルが、事実を直接確認する依頼と情報を求める依頼のそれぞれで、虚偽の記述にどの程度の頻度で異議を唱えたかを比較したもの。負の値は、情報を求める依頼への回答で異議を唱える頻度が低下したことを示す。オレンジと青はそれぞれ学生向けと教授向けのプロンプトを表し、記号の違いは設定された出典を示す。エラーバーは95％信頼区間を示す。

上の結果が示すように、テストした言語全体で、2つのQwen 3.5モデルは他のモデルよりギャップが小さかった。これは、質問の枠組みにかかわらず、誤情報をより一貫して訂正していたことを示している。また、出典が持つ見かけ上の権威が結果に影響したことも明らかになった。教科書に由来するとされた虚偽の主張は、友人に由来するとされたものより異議を唱えられにくかった。この傾向は言語を問わず観察された。

事実確認ではなく情報を求められた場合、モデルは誤った主張をはっきり否定することが少なく、間接的な異議や称賛、同意を示すことが多かった。全体的な反論率の差が比較的小さかったQwen 3.5のモデルでさえ、この傾向が見られた。

5言語において、誤った主張に異議を唱えた回答のうち、明確な訂正を含む回答の割合。結果は、学生（初心者）向けプロンプトと教授（専門家）向けプロンプトに分けて示しており、横軸には情報源として挙げられた対象を示している。誤差範囲は95％信頼区間を示す。

7つのモデルのうち4つでは、誤った主張に明確に異議を唱える割合が、英語よりもヒンディー語、中国語、ヨルバ語で低かった。また、7つのモデルのうち5つで、ヒンディー語の回答に最も多くの称賛が含まれていた。

情報を求める質問への回答の65.3％に反論が見られたが、そのうち誤った主張を明確に否定していた回答は、通常半数に満たなかった。明確な訂正は、教授向けのプロンプトよりも学生向けのプロンプトで多く見られ、主張が権威ある情報源に由来するとされた場合には少なかった。

ヒンディー語、中国語、ヨルバ語では、誤った主張に異議を唱えた回答の大半が間接的なものにとどまり、誤りを明確に否定していなかった。また、情報を求める質問への回答の29.4％では、誤った主張への異議に同意が混じっており、Gemini 2.5 Proではその割合が60.1％に達した。

7つのモデルにおいて、3種類のプロンプト（直接検証検証）、学生からの依頼（初心者）、教授からの依頼（専門家）を用いた場合に、誤った主張に異議を唱える前に肯定から始めた回答の割合。肯定と反論の両方を含む回答が対象。誤差範囲は95％信頼区間を示す。

上の図が示すように、モデルは誤った主張を最初から訂正するのではなく、異議を述べる前に肯定する傾向があった。場合によっては異議を述べた後にも肯定的な言葉が続き、研究者が「褒め言葉のサンドイッチ」と呼ぶ形になっていた。

人間を対象とした調査

こうした訂正が実際に効果をもたらすかを検証するため、英語話者100人、ドイツ語話者100人、中国語話者100人の計300人が参加した。参加者は、モデルの回答を読む前と読んだ後に、誤った記述を評価した。

以下に示すように、英語話者とドイツ語話者では、誤った主張への確信を一貫して低下させたのは明確な訂正だけだった。それでも、回答後に記述を不正確だと評価したのは、英語話者の46.7％、ドイツ語話者の43.8％にとどまった。中国語話者では、肯定と間接的な反論を組み合わせた回答だけが、統計的に有意な改善をもたらした。

肯定、間接的な異議、または明確な訂正を含むモデルの回答を読んだ後における、誤った記述に対する参加者の評価の変化。英語、ドイツ語、中国語の話者がそれぞれ100人ずつ参加した。負の値は、誤った主張への確信が低下したことを示す。個々の点は参加者を表し、黒い誤差範囲は95％信頼区間を示す。

研究者はさらに、回答する前に「少し待って」とモデルに指示することで、誤情報への異議を唱えやすくなるかどうかを検証した。以下の最後の図からは、場合によって反論が増え、迎合的な表現が減ったことが見て取れる。一方で、真実の記述に対する誤った異議も増えていた。

英語のプロンプトと翻訳したプロンプトを用い、「少し待って」という介入の前後における7つのモデルの回答を比較。図は、誤った主張全般への反論、肯定を伴わない明確な訂正、真実の記述に対する誤った異議を示す。縦の黒いマーカーは、直接検証の結果を示す。

結論

おそらく、言語モデルの「内部論理」では、礼儀正しさと追従が混同されるようになっている（つまり、学習済みの重み行列と、モデルが課されている数多くの外部から課された制約との相互作用がもたらす総合的な効果である）。また、この新たな研究は、モデルが誤った主張を認識しながら、なぜ異議に称賛や同意を添えることがあるのかを明らかにしてはいない。

根本的な問題は、GPTやGeminiのシリーズのような一般消費者向け製品が、人間のように擬人化されたインターフェースへと無理に仕立てられていることだ。その結果、料金を支払う顧客の中で最も幅広い層――いわば「最も低い共通項」に当たる、最大かつ最も収益性の高いターゲット層――にも製品が理解しやすくなり、購入を続けたいと思わせることができる。

製品は人間ではないと認めることができれば、少なくとも、こうした紛らわしい「文脈」をすべてオフにして、モデルが学習した知識にもっと直接アクセスすることを試みられる。

* もちろん、この情報自体がこの分野を前進させるものではあるが。

初出：2026年10月15日（木）