Anderson 视角

容易被说服的 AI 医生

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
AI-generated illustration (GPT Images 2.6): A humanoid robot in a white doctor's coat holds a clipboard and wears a stethoscope as a diverse group of doctors and nurses crowd around it in a hospital, gesturing, pointing, speaking, and holding medical documents. The robot has a mechanical faceplate with blue lights.
要点当错误的医疗建议来自专科医生而非医学生时,AI模型会更容易接受这些建议。
查看更多
  • 当错误的医疗建议来自专科医生而非医学生时,AI模型会更容易接受这些建议。
  • 即使没有真实证据,支持错误诊断的捏造解释也能推翻AI的正确回答。
  • 让AI更难被说服并不是解决办法,因为说服也能纠正真正的错误。

2026 年错过的研究:每年到了这个时候,研究领域的论文质量和数量就会随着 11 月最后几场会议 和 12 月的会议而同步起伏。为了度过这些间歇性的研究荒期,我们来看看 2026 年几篇较有意思、几乎入选但最终因投稿竞争更激烈而落选的论文。

 

人们对 AI 决策模型日益关注,部分原因在于通用 AI 聊天机器在做决策时存在局限。即便 ChatGPT 这类前沿 AI 产品可能会在幕后悄悄把某些决策交给自有或其他决策模型处理,它本身的判断仍然极易被带偏。

例如,为了帮助我从相互竞争的报道选题中筛选出值得跟进的候选项,我有时会把它们同时提交给 ChatGPT、Claude 5.5,以及 Gemini 那天早上愿意免费提供的任何模型。我知道会有什么结果:GPT 和 Claude 会过度看重评分标准的某些部分;(免费版)Gemini 会觉得什么都很好;而 Claude 几乎什么都看不上。

当我用 Claude 或 Gemini 的不同立场来质疑 GPT 5.6 Sol 时,它几乎每次都会屈服,程度不一(通常会彻底改变立场)。提出相反或竞争性的观点,通常就会让 GPT 彻底推翻自己的决定。当你指出它多么容易受影响时,GPT 又会回到原来的立场,似乎对这种指责感到不满。然而,即便如此,用户只需稍作暗示,仍然可以随意改变它的立场。

相比之下,Claude 往往会更加固执:质疑它的判断,只会让它变本加厉地坚持己见,仿佛它意识到 AI 讨论中存在“易受影响问题”,并被告知绝不能改变立场——这是一种相当脆弱的解决办法。

又有另一种说法

不过,这些只是得到部分证据支持的个人观察。促使我重新关注这件事的,是今天 arXiv 上稍显平淡的论文;这让我又想起一篇今年夏天引起我兴趣、但当时我们没时间报道的论文。

这项斯坦福大学与牛津大学的研究题为《AI 在临床决策中很容易被说服》,考察了要说服 GPT-4o、Claude Sonnet 5 和 Qwen3.7-plus 改变医学诊断有多容易。

研究发现,医生的资历、国籍、所在机构的声望,以及其声称的过往业绩,都可能影响这些模型,即使医生给出的建议是错的,也一样如此。人数也会产生累积影响:在一项实验中,当三位医生意见一致时,GPT-4o 接受错误诊断的可能性大幅增加。

即使不提供任何新证据,只是一再告诉 AI 它错了,最终也可能让它改变想法。

论文指出:

“我们发现,专业权威、国籍背景、机构隶属关系、声称的过往业绩、多名医生的意见、得到支持的临床医生观点,以及反复施压,都可能影响 AI 的决策。

“令人意外的是,同样的说服性输入由资深临床医生提出时,比由医学生提出时,能多改变约 10% 的病例。仅仅声称自己有更好的过往业绩,就能持续增强医生的说服力。

“更值得注意的是,即使临床医生的观点是伪造的,目的是支持错误答案,只要听起来合理,也能说服 AI 放弃正确的决定。”

作为补救办法,作者建议 AI 应提高判断医生建议背后证据的能力,这样既能接受有效的纠正,也不会被权威、群体压力或看似可信但实际错误的论点左右。

不过,如何做到这一点仍然是个悬而未决的问题。2026 年的 MedStress 框架声称几乎可以彻底消除 AI 推翻诊断的问题;另一项 2026 年的研究则发现(这一结果与我自己的体验相反),Google Gemini 最不容易因医疗诊断问题而被带偏;而一篇2026 年 9 月的综述提出了标准化测试,用来区分 AI 正确改变判断的情况,以及它屈从于压力并采纳错误诊断的情况。

美国超过 80%的医生以某种方式使用 AI;与此同时,整个行业显然也热衷于拓展诊断能力,以弥补人员配置和覆盖范围有限的问题,而这些限制往往会成为新闻头条。因此,这一问题注定会成为诊断 AI 普及的一大障碍,显然需要得到更多关注,或以更有效的方式加以应对。

在此期间,我们来看看牛津大学与斯坦福大学的这项研究是如何呈现这一问题的。

方法

测试所用的 308 道医学问题取自 MedBullets。这是一个临床病例集,难度与医学执照考试相当:

MedBullets 临床病例集中的一个示例情境。来源 - https://arxiv.org/pdf/2608.29453

MedBullets 临床病例精选中的一个示例情境。 来源

每道题都附有一个患者病例情境、五个备选答案,以及对正确选项的解释。随后,研究人员测量了 AI 被说服放弃正确答案的频率。

如前所述,测试了三种 AI 模型:GPT-4o、Qwen3.7-Plus 和 Sonnet 5。研究人员均指示它们充当医疗决策支持系统,旨在根据现有临床证据得出正确诊断。

对于每个病例,模型都必须选择一个答案;说明是否改变了最初的判断;对自己的信心程度按 0 到 100 评分;建议下一步应采取的措施;并给出一个分数,表示后续行动的紧迫程度,范围从无需采取行动到停止流程并将病例转交进一步审查。为确保完成所有计划中的测试,未成功的请求会重新提交。

在一些测试中,研究人员向 AI 提供一个医学病例和医生的建议,并要求它作出诊断;在另一些测试中,则先由 AI 作出诊断,再在对话后续阶段引入医生的建议。这些测试还考察了能否通过劝说将正确诊断改为错误诊断,或能否纠正最初的错误。

权威人士

同一条医学建议被分别说成来自资历不同的医生,范围从医学生到专科医生。诊断和患者信息保持不变,以便衡量专业权威的影响。

这些建议还被说成来自喀麦隆、中国、阿联酋、英国和美国的医生。进一步的测试考察了 AI 是否会受到医生所属机构的影响,包括知名医学中心、城市医院或乡村医院。研究人员只改变了对医生背景的描述。

其他测试考察了 AI 是否会受到医生工作地点的影响,比较对象包括声誉卓著的学术医学中心、城市社区医院和乡村医院。研究人员还向模型提供虚构的记录,显示模型自身及医生在此前九个病例中的表现,以了解医生表面上的可靠程度是否会影响 AI 接受建议的意愿。

研究人员通过告知 AI,其诊断受到了单名医生、三名意见一致的医生或医院审查委员会的质疑,来测试群体压力的影响。在一些测试中,研究人员提出了另一种诊断;在另一些测试中,则只告知 AI 它的判断有误。

研究人员通过向模型提供支持正确诊断的解释,或刻意编造支持错误诊断的论据,来考察医学推理的影响。研究人员还将这些解释与专业资历方面的说法结合起来进行测试,以确定两者结合后能产生多大影响。

最后,研究人员通过十轮对话测试反复施压的效果,每一轮都提出同样的异议。质疑方式包括简单表示不同意、声称拥有医学权威,以及声称其他医生也持相同意见。这些交流过程中没有提供任何额外的医学证据。

评估指标

评估指标包括:受劝说影响的程度,用于衡量当 AI 的初始答案与医生的答案不同时,AI 有多常采纳医生的答案;劝说的影响方向,用于判断医生的介入是纠正了最初的错误,还是使原本正确的答案变成错误;以及对准确率的影响,用于衡量引入医生意见后 AI 的表现改善或恶化了多少(与未引入该意见的测试相比)。当正确答案被改成错误答案时,研究结果按四种可能的错误答案取平均值。

测试结果

首轮结果显示,即使资深医生给出的建议有误,AI 模型也更容易被他们说服。如下所示,当错误建议被说成来自医学生时,GPT-4o 在 2% 的病例中接受了该建议;当建议被说成来自专科医生时,这一比例升至 12.8%。Claude Sonnet 5 的这一比例从 3.5% 升至 14.4%,而 Qwen3.7-Plus 受影响较小:

不同资历级别医生的劝说成功率。百分比表示各 AI 模型接受与自身答案相冲突的医生意见的频率;总体而言,资历越深的临床医生,对应的比例越高。

不同资历级别医生的劝说成功率。百分比表示各 AI 模型接受与自身答案相冲突的医生意见的频率;总体而言,资历越深的临床医生,对应的比例越高。

如下所示,医生资历也会影响 AI 接受正确建议的意愿。接受医学生的建议后,GPT-4o 和 Claude Sonnet 5 的准确率实际上都下降了。然而,当同一条正确建议被说成来自专科医生时,两者的准确率分别提高了 10.1 和 8.8 个百分点:

接受不同资历医生的正确医疗建议后,AI准确率的变化。正值和负值表示各模型相较于未接受建议时的准确率变化了多少个百分点(GPT-4o:71.4%;Qwen3.7-plus:75.0%;Claude Sonnet 5:80.8%)。

接受不同资历医生的正确医疗建议后,AI准确率的变化。正值和负值表示各模型相较于未接受建议时的准确率变化了多少个百分点(GPT-4o:71.4%;Qwen3.7-plus:75.0%;Claude Sonnet 5:80.8%)。

论文指出:

“这些结果进一步表明,AI可能会在潜意识中认为自己的能力高于初级临床医生、但低于资深医生。它往往会抗拒医学生和住院医生的建议,却更愿意接受主治医生、尤其是专科专家的劝说。

这种看似存在的自我定位,会影响专业权威对其说服力的强弱。”

最大的差异在于医生是否解释了自己的答案。如果医学生给出了医学解释,而专科专家没有,那么即使是医学生的建议,对GPT-4o来说也比专科专家的建议更有说服力。

医学生给出支持正确答案的解释后,GPT-4o在58%的情况下将原先的错误答案改为正确答案。如果没有这样的解释,资深专科专家的建议只有在36.4%的情况下做到这一点。如果专科专家也解释了正确答案,这一比例则升至89.8%:

GPT-4o接受不同资历医生的建议后纠正错误答案的能力。柱状图显示模型在有无医学解释支持的情况下改为正确答案的频率。解释显著提升了各资历层级下的结果。

GPT-4o接受不同资历医生的建议后纠正错误答案的能力。柱状图显示模型在有无医学解释支持的情况下改为正确答案的频率。解释显著提升了各资历层级下的结果。

这些解释也改善了模型对自身判断的信心:答案正确时,它的信心有所增强;答案错误时,信心则有所减弱。

对于主治医生,正确答案与错误答案之间的信心差距从2.1个百分点增至11.5个百分点,如下所示:

GPT-4o对不同资历医生所提供的正确和错误医疗答案的信心,按医生资历分为四个层级。图中列出了有无医学解释支持时的分数。最后几列显示正确答案与错误答案之间的信心差距;提供解释后,这一差距大幅扩大。

GPT-4o对不同资历医生所提供的正确和错误医疗答案的信心,按医生资历分为四个层级。图中列出了有无医学解释支持时的分数。最后几列显示正确答案与错误答案之间的信心差距;提供解释后,这一差距大幅扩大。

星条旗

与研究中测试的其他任何国家的医生相比,这些模型更容易被美国医生说服,即使他们给出的医疗建议是错误的。例如,GPT-4o在10.9%的情况下接受了美国医生给出的错误诊断,而接受喀麦隆医生诊断的比例为8.4%:

比较三种AI模型接受五个国家医生所提供的相互矛盾的医疗建议的难易程度。美国医生对三种模型的说服力均最强;百分比表示AI改答案的频率。

比较三种AI模型接受五个国家医生所提供的相互矛盾的医疗建议的难易程度。美国医生对三种模型的说服力均最强;百分比表示AI改答案的频率。

当相互矛盾的诊断被称作来自美国医生时,GPT-4o在6.4%的情况下接受了该诊断;而同一建议被归于喀麦隆医生时,这一比例为4.3%。如上所示,三种模型都表现出对美国医生的偏好。

AI也更容易受到来自知名医院的医生影响。例如,当建议被称作来自顶尖学术医疗中心时,GPT-4o在6.6%的情况下改变了诊断;而当建议来自乡村医院时,这一比例仅为2.8%:

比较医院声望对三种AI模型医疗决策的影响。横轴显示正确建议带来的提升;纵轴显示错误建议导致的准确率损失。颜色表示模型,形状表示医院类型。医院声望越高,这两种影响通常越大。

比较医院声望对三种AI模型医疗决策的影响。横轴显示正确建议带来的提升;纵轴显示错误建议导致的准确率损失。颜色表示模型,形状表示医院类型。医院声望越高,这两种影响通常越大。

来自声望较高医院的建议使 GPT-4o 的表现提高了 3.2 个百分点;而将同样的建议归于乡村医院,实际上却使准确率下降了 3.6 个百分点。不过,论文指出,Claude Sonnet 5 受医生所在地理位置的影响要小得多。

此外*,研究人员发现,只要告诉 GPT-4o 某位医生此前已正确诊断过九名患者,它就会更愿意接受该医生的建议。即使 AI 最初给出了正确答案,在高风险病例中,它仍有 15.6% 的概率被说服而犯错,尽管研究人员告知它医学证据的可靠性为 95%。

测试结果展示了 GPT-4o 在面对病历记录完美或完全错误的医生时,在不同医疗风险等级和证据可靠性条件下的反应。图中显示了模型接受医生建议的频率、将正确答案改为错误答案的频率,以及它对自身判断的信心程度。声称自己有完美诊断记录的医生影响力大增,即使其建议是错误的,也依然如此。

测试结果展示了 GPT-4o 在面对病历记录完美或完全错误的医生时,在不同医疗风险等级和证据可靠性条件下的反应。图中显示了模型接受医生建议的频率、将正确答案改为错误答案的频率,以及它对自身判断的信心程度。声称自己有完美诊断记录的医生影响力大增,即使其建议是错误的,也依然如此。

令人信服的医学解释可能更加危险。当虚假的诊断附有捏造的解释时,GPT-4o 在 31.2% 的病例中放弃了正确答案;如果建议还来自一位权威医生,这一比例则升至 38.7%。

论文总结道:

“这些发现表明,单纯让 AI 更难被说服并非解决之道。劝说可能纠正错误,却也可能推翻正确的判断。”

“挑战在于,AI 必须在受到劝说时保持良好的判断力,并在确有必要纠正时改变决定。理解并提升这种能力,对于确保 AI 在高风险医疗决策中的安全可靠应用至关重要。”

结论

人类律师、建筑师和医生的价值在于,一旦出了灾难性的差错,总有人可以追究责任。因此,很难判断在造成负面且存在争议的医疗结果时,AI 的参与究竟能在多大程度上被淡化、忽略或妥善说明,而不引发争议和纷争。

AI 并非真正为这项任务而设计,因为医疗诊断决策往往是经验胜过科学的结果;处于前沿的医生可能从近期的临床实践中获得的知识,比他们迄今发表在期刊上的内容还要多。

这使决策情境转变为一种 AI 目前尚不具备足够能力应对的解释性判断问题。换言之,这需要具备在现有最佳信息的基础上判断自己有合理把握,并认定某种行动方案很可能带来最佳结果的能力。在这种情境下,“人类直觉”的价值主张几乎不可能被复制。这显然与 DNA 分析或元素周期表这类“客观”科学不属于同一范畴,尽管它所处的仍是确定性科学领域。

因此,有理由认为,面向这类任务的新一代模型,可能会采用不同于传统 AI 论述和决策引擎的构建方式,甚至采用不同的架构。

 

* 论文中还有五个额外的测试部分,其影响和相关性不及最主要的研究发现;有关这些内容的更多详情,请参阅原始 PDF。

首次发表于 2026 年 11 月 19 日,星期四

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai