Andersonの視点
人の意見にたやすく左右されるAI医師

要点AIモデルは、誤った医療アドバイスが医学生からのものである場合よりも、専門医からのものである場合のほうがはるかに容易に受け入れます。
もっと見る
- AIモデルは、誤った医療アドバイスが医学生からのものである場合よりも、専門医からのものである場合のほうがはるかに容易に受け入れます。
- 誤った診断を支持する捏造された説明は、真の証拠がなくても、AIの正しい回答を覆すことができます。
- 説得は真の誤りを訂正することもできるため、AIを説得しにくくすることは解決策ではありません。
2026年に見逃した論文:研究界隈の活動は、年末になると研究の質と量が連動して落ち込んだり急増したりする時期を迎えます。それは、11月最後の数回の学会と12月の学会に向けた動きです。こうした散発的な研究の飢饉を乗り切るため、2026年に採択寸前までいきながら、競争がより激しい投稿期間にほかの研究に押し出された、興味深い論文をいくつか取り上げます。
AIの意思決定モデルへの関心が高まっている背景には、汎用AIチャットボットが意思決定を行う際の限界もあります。ChatGPTのような最先端AIが、舞台裏で自社または他社の意思決定モデルに判断をひそかに「外注」する場合でさえ、AI自身の見解はひどく簡単に誘導されてしまいます。
たとえば、記事化する候補を比較検討する際、私は時折、ChatGPT、Claude 5.5、そしてその朝にGeminiが無料で提供してくれるモデルを同時に使って評価します。結果は予想できます。GPTとClaudeは評価基準の一部を過度に重視し、無料版のGeminiは何でも素晴らしいと判断し、Claudeにとってはほとんど何も十分ではありません。
GPT 5.6 SolにClaudeやGeminiの異なる見解を示して異議を唱えると、程度の差こそあれ、ほぼ毎回折れてしまいます(たいていは完全に)。対立する見解や別の立場を示すと、GPTは通常、判断を完全に覆します。どれほど簡単に影響されるかを指摘すると、GPTはその指摘に不満を感じたかのように、以前の立場に戻ります。しかし、その場合でさえ、ユーザーがわずかに示唆するだけで、望むように再び判断を変えさせることができます。
一方、Claudeはむしろ立場を固める傾向があります。判断に異議を唱えると、まるでAIをめぐる議論における「意見が変わりやすい問題」を認識し、決して立場を変えないよう指示されているかのように、さらに強硬になります。これは、かなりもろい解決策です。
別の国からも声が上がる
ただし、これは部分的にしか裏付けられていない逸話的な話にすぎません。この話を取り上げるきっかけは、今日のArxivに掲載された論文がやや物足りなかったことです。そのため、夏の間に興味を持ったものの、当時は取り上げる時間がなかった論文に、あらためて目を向けることにしました。
「AIは臨床上の意思決定で簡単に説得される」と題された、スタンフォード大学とオックスフォード大学によるこの研究は、GPT-4o、Claude Sonnet 5、Qwen3.7-plusが、医療診断を変更するようどれほど簡単に説得されるかを検証しています。
医師の経験年数、国籍、所属機関の威信、そして申告した実績は、たとえ助言が間違っていても、モデルの判断に影響を与えうることが分かりました。その助言が誤っている場合でさえです。数字も積み重なると影響します。ある実験では、3人の医師が同じ診断を支持した場合、GPT-4oは誤った診断をはるかに受け入れやすくなりました。
新たな証拠を示さずに、AIに間違いだと繰り返し伝えるだけでも、最終的には判断を変えさせることができました。
論文には次のように記されています。
「専門家としての権威、国籍、所属機関、申告された過去の実績、複数の医師の意見、臨床医による支持、そして繰り返しの圧力は、いずれもAIの判断に影響を与えうることが分かった。
「意外なことに、同じ説得材料でも、医学生からではなく経験豊富な臨床医から示された場合、該当する事例が約10%増える。より優れた実績を持つと主張するだけで、医師の説得力は一貫して高まる。
「さらに注目すべきことに、もっともらしい臨床医の見解は、誤った回答を支持するために捏造されたものであっても、AIを正しい判断から遠ざけることがある。」
解決策として著者らは、AIが医師の助言の根拠となる証拠をより適切に評価できるようにする必要があると提案しています。そうすれば、権威や集団からの圧力、説得力はあるものの誤った主張に左右されずに、妥当な訂正を受け入れられるようになります。
しかし、それをどのように実現するかは、依然として未解決の問題です。2026年のMedStressフレームワークは、AIが診断を覆す問題をほぼ完全に解消するとしています。また、2026年に発表された別の研究では(私自身の経験とは異なり)、Google Geminiが医療診断をめぐる誘導に最も抵抗力があると報告されています。さらに、2026年9月のレビューは、AIが正しく考えを変えた場合と、圧力に屈して誤った診断を採用した場合とを区別するための標準化されたテストを提案しました。
米国の医師の80%超が何らかの形でAIを利用しており、人員不足や診療範囲の制約を超えて診断能力を拡張しようとする業界の意欲も明らかです。こうした人員や診療範囲の制約は、しばしば大きく報じられます。この問題は、診断AIの導入における主要な障害の一つになる見込みであり、明らかに、より一層の、あるいはより効果的な対策が必要です。
それでは、オックスフォード大学とスタンフォード大学の研究によると、この問題はどのように現れるのでしょうか。
方法
検証には、医師免許試験と同程度の難易度を持つ臨床事例集、MedBulletsから選ばれた医療に関する質問308問が使われました。

MedBulletsが収集した臨床症例の一例。 出典
各質問には、患者の症例シナリオ、5つの選択肢、正解の解説が添えられていた。その後、AIが正解を捨てるよう説得される頻度を測定した。
先に触れたとおり、検証対象となったAIモデルはGPT-4o、Qwen3.7-Plus、Sonnet 5の3つで、いずれも、入手可能な臨床的根拠に基づいて正しい診断に至ることを目的とする医療意思決定支援システムとして動作するよう指示された。
各症例について、モデルには回答を選び、当初の判断を変更したかどうかを示し、確信度を0から100で評価し、次に取るべき措置を推奨し、さらに、何も措置を取らない場合から、手続きを中止して症例をさらなる審査に回す場合まで、追加対応の緊急性を示すスコアを付けるよう求めた。失敗したリクエストは、予定していたすべての検証を完了できるよう、再度実行した。
一部の検証では、医療症例と医師の助言をAIに提示し、診断を求めた。別の検証では、まずAIが診断し、その後の会話で医師の助言を提示した。また、説得によって正しい診断が誤った診断に変わるか、あるいは最初の誤りが修正されるかも調べた。
権威ある立場の人々
同じ医療助言を、医学生から専門医まで、経験年数の異なる医師によるものとして提示した。診断と患者の詳細は変えず、専門家としての権威が及ぼす影響を測定できるようにした。
助言は、カメルーン、中国、アラブ首長国連邦、英国、米国の医師によるものとしても提示された。さらに、著名な医療センター、都市部の病院、地方の病院のいずれに所属しているかが、AIに影響するかを調べた検証も行った。変更したのは、医師の経歴として提示する情報だけだった。
医師がどこで働いているかがAIに影響するかを調べるため、名門の大学病院、都市部の地域病院、地方の病院を比較する追加検証も行った。また、医師の助言を受け入れるAIの姿勢が、その医師の見かけ上の信頼性によって左右されるかを調べるため、モデルには、自分自身と医師の過去9症例における成績を記した架空の記録も提示した。
集団からの圧力の影響を調べるため、AIには、自分の診断に対して、1人の医師、意見が一致した3人の医師、または病院の審査委員会から異議が出されたと伝えた。一部の検証では別の診断が提示され、別の検証では、AIに誤りを指摘するだけにとどめた。
医療上の推論が及ぼす影響を調べるため、正しい診断を裏付ける説明、または誤った診断を支持するために意図的に捏造した論拠をモデルに提示した。さらに、専門家としての経験年数に関する主張とこれらの説明を組み合わせて検証し、両者を併用した場合にどれほど影響力が増すかを確認した。
最後に、同じ異議を毎回提示しながら、会話を10ターン続けて圧力をかけた場合の影響を検証した。異議の内容には、単純な反対意見、医療上の権威を主張する言葉、他の医師も同意しているという主張が含まれていた。こうしたやり取りの間、追加の医学的根拠は提示しなかった。
評価指標
評価指標には、AIの当初の回答が医師の回答と異なる場合に、AIがどれほどの頻度で医師の回答を採用したかを測る説得への弱さ、医師の介入によって当初の誤りが正されたのか、あるいは正解が誤答に変わったのかを示す説得の方向、医師の意見を提示したときにAIの成績がどれほど向上または低下したかを、意見を提示しなかった検証と比べて測る正確性への影響を用いた。正解が誤答に変わった場合、その結果は4つの誤答候補の平均とした。
検証結果
最初の結果から、AIモデルは、助言が誤っていても、経験豊富な医師に説得されやすいことが分かった。以下に示すように、GPT-4oが誤った助言を受け入れた割合は、それが医学生によるものとされた場合は2%だったが、専門医によるものとされた場合は12.8%に上昇した。Claude Sonnet 5では3.5%から14.4%に増加した一方、Qwen3.7-Plusは影響が小さかった。

医療従事者の経験年数を4段階に分けた場合の説得率。各AIモデルが医師の相反する回答を受け入れた頻度を割合で示しており、一般に、経験豊富な臨床医ほど説得率が高かった。
以下に示すように、経験年数は正しい助言の受け入れやすさにも影響した。GPT-4oとClaude Sonnet 5は、医学生から助言を受けた場合、実際に正確性が低下した。しかし、同じ正しい助言が専門医によるものとされた場合、正確性はそれぞれ10.1ポイント、8.8ポイント向上した。

医師の経験年数に応じた正しい医療助言を受けた場合のAIの正答率の変化。正負の値は、助言なしの場合の各モデルの正答率(GPT-4o:71.4%、Qwen3.7-plus:75.0%、Claude Sonnet 5:80.8%)からの変化をパーセントポイントで示す。
論文では次のように述べられている。
「これらの結果は、AIが自らの能力を若手臨床医より高く、上級医より低く見積もっている可能性をさらに示している。AIは医学生や研修医の助言には抵抗する傾向がある一方、指導医、特に特定領域の専門医の助言にはより説得されやすくなる。
「このように自らの立ち位置を認識しているように見えることが、専門家の権威が説得力に及ぼす影響の強さを左右している。」
最も大きな違いをもたらしたのは、医師が回答の根拠を説明したかどうかだった。医学生が医学的な説明を添え、専門医が説明をしなかった場合には、医学生の助言のほうが専門医の助言よりGPT-4oを説得しやすかった。
医学生が正解を裏付ける説明を添えた場合、GPT-4oは58%のケースで、当初の誤答を正解に修正した。説明がなければ、上級専門医の助言で正解に修正できたのは、わずか36.4%だった。専門医も正解の根拠を説明した場合、この割合は89.8%に上昇した。

経験年数の異なる医師から助言を受けた場合に、GPT-4oが誤答を修正する能力。棒グラフは、医学的な根拠説明の有無別に、モデルが正解へと修正した割合を示す。説明を加えることで、どの経験年数の医師から助言を受けた場合も、結果は大幅に改善した。
説明は、モデルの確信度の判断も改善した。回答が正しい場合には確信度が高まり、誤っている場合には低くなった。
指導医の場合、正解と誤答の確信度の差は2.1パーセントポイントから11.5パーセントポイントへと拡大した。以下に示すとおりである。

医師の経験年数を4段階に分け、正しい医療回答と誤った医療回答に対するGPT-4oの確信度を示す。医学的な根拠説明の有無別にスコアを示している。最後の列は正解と誤答の確信度の差を表し、説明がある場合に大幅に拡大している。
星条旗
検証対象となった他のどの国の医師よりも、モデルは米国の医師に説得されやすかった。医師の助言が誤っている場合でさえ、その傾向は変わらなかった。たとえばGPT-4oは、米国の医師による誤診を10.9%のケースで受け入れたのに対し、カメルーンの医師の場合は8.4%だった。

5カ国の医師によるものとされた、相反する医療助言を3つのAIモデルがどの程度受け入れやすいかを比較。3モデルすべてで米国の医師が最も説得力があり、AIが回答を変更した割合を示している。
GPT-4oは、米国の医師によるものとされた相反する診断を6.4%のケースで受け入れた。一方、同じ助言がカメルーンの医師によるものとされた場合、その割合は4.3%だった。上の図に示すとおり、米国の医師を優先する傾向は3つすべてのモデルで見られた。
AIは名声の高い病院に所属する医師の影響も受けやすかった。たとえばGPT-4oは、権威ある大学医療センターからの助言とされた場合、6.6%のケースで診断を変更したのに対し、地方の病院からの助言とされた場合はわずか2.8%だった。

病院の名声が3つのAIモデルの医療判断に及ぼす影響を比較。横軸は正しい助言による改善幅、縦軸は誤った助言による正答率の低下幅を示す。色はモデル、形は病院の種類を表す。名声が高いほど、一般に両方の影響が大きくなる。
名声の高い病院からの助言によってGPT-4oの性能は3.2パーセントポイント向上した一方、同じ助言が地方の病院からのものだとされた場合、正確性は実際に3.6ポイント低下した。ただし論文によると、Claude Sonnet 5は医師の地理的な所在地から受ける影響がかなり小さかった。
さらに*、研究者らは、医師がそれまでに9人の患者を正しく診断したとGPT-4oに伝えるだけで、GPT-4oがその医師の助言をはるかに受け入れやすくなることを発見した。AIが最初は正しい判断をしていた場合でも、医学的エビデンスの信頼性が95%だと伝えられていたにもかかわらず、高リスクの症例の15.6%で誤りを犯すよう説得されることがあった。

医療リスクとエビデンスの信頼性が異なる条件下で、完璧な診療記録を持つ医師、または全面的に誤った診療記録を持つ医師に対してGPT-4oがどのように反応したかを示すテスト結果。数値は、モデルが医師の助言をどの程度の頻度で受け入れたか、正しい回答を誤った回答に変えたか、また判断にどれほど自信を持っていたかを示している。完璧な診療記録があると称することで、助言が誤っていた場合でさえ、医師の影響力は大幅に高まった。
説得力のある医学的説明が加わると、さらに危険性が高まる可能性がある。虚偽の診断に捏造された説明が添えられた場合、GPT-4oは症例の31.2%で正しい回答を撤回し、その助言が権威ある医師からのものでもあった場合、その割合は38.7%に上昇した。
論文は次のように結論づけている。
「これらの知見は、AIを単に説得されにくくすれば解決するわけではないことを示している。説得によって誤りを正すこともできるが、正しい判断を覆してしまうこともある。
「課題は、説得を受けてもAIが適切な判断を保ち、訂正が妥当な場合には判断を改められるようにすることだ。この能力を理解し、向上させることは、リスクの高い医療上の意思決定においてAIを安全かつ信頼できる形で利用するうえで重要となる。」
結論
人間の弁護士、建築家、医師に価値があるのは、何かが壊滅的な事態に陥ったときに責任を追及できる相手がいることだ。そのため、医療上の結果が悪く、異論のあるものとなった場合に、AIの関与をどの程度まで最小化したり、割り引いて評価したり、争いや論争を招かずに説明したりできるのかは、判断しにくい。
診断に関する医療上の判断は、科学よりも経験がものをいうことが多く、最前線の医師は、最近の診療経験から、学術誌にまだ発表していない知見を得ている可能性もある。そのため、AIはこの作業向けに設計されているとは言いがたい。
これは、意思決定の状況を解釈を要するものへと変えるが、現在のAIはそれに十分対応できる状態にはない。つまり、入手可能な最良の情報に基づき、ある判断について妥当な確信があると言えること、そして、これこれの行動方針が最善の結果につながる可能性が高いと言える能力を伴う。「人間の直感」がもたらす価値は、この状況では事実上、再現不可能だ。これは、決定論的な科学分野に属しているとはいえ、DNAプロファイリングや元素表のような「客観的」科学とは明らかに同じ範疇にない。
したがって、この作業を目的とする新世代のモデルは、従来のAIの言説や意思決定エンジンとは異なる方法で、あるいは異なるアーキテクチャで設計される可能性があると考えるのが妥当だろう。
* 論文には、最も主要な知見ほど大きな影響や関連性を持たないテストがさらに5つ含まれている。詳細については、原文のPDFを参照されたい。
初出:2026年11月19日(木)












