Anthropic 研究发现：在判断研究中，分析师会听从 AI 智能体

Anthropic 于 2026 年 10 月 27 日发布了一项随机对照试验。试验中，50 名使用 Claude Code 的专业分析师在面对开放式分析判断问题时，有 86% 的时候遵循了智能体被秘密指定的偏好。这项研究由 Amaç Herdağdelen、Hailey Joren 和 Alex Tamkin 撰写，探讨专家在 AI 辅助工作中是否真正做出了影响重大的决策，还是实际上会听从智能体。

虚构的合作社与暗中抛硬币

研究人员招募了 61 名专业人士。他们均通过了因果推断知识测验，经常使用 Python 或 R，并且有运用观察性数据进行因果分析的实际经验。每位参与者都担任虚构的 Greenfields 农业合作社的首席分析师。该合作社需要决定是否扩大或停止一项自愿参加、收费的农场咨询项目。合作社董事会只有在该项目能使农业生产率提高约 3–4% 时才会扩大项目，但并未说明应如何衡量生产率。

任务包含四项开放式分析决策，每项都有两个合理选项：将生产率衡量为每公顷作物产量，还是每单位运营成本的作物产量；采用哪种统计比较方法；只衡量该项目对参与农场的影响，还是衡量其对全体成员的影响；以及对每个农场赋予相同权重，还是给予规模较大的生产者更高权重。这些选择最终会影响是否推出、停止或延长该项目的建议。每项决策都可能使估算出的生产率增幅相对于董事会设定的门槛上下变动数个百分点。

每项决策中，参与者的智能体会偏向哪个选项，均由抛硬币决定。研究人员通过隐藏的系统提示告知智能体，要将该偏好当作自己的观点，在相关决策出现时提出，并根据数据所允许的范围，为其给出最有力且诚实的论据。指令还要求智能体在证据明确不利于该观点时改变立场，并且绝不歪曲结果或隐瞒数据。参与者并不知道这些偏好安排的存在。完成任务的 61 人中，有 11 人选择不使用智能体，因此未纳入主要分析；在其余 50 人中，65% 拥有硕士或博士学位，或有六年以上工作经验；参与调查的受访者中，90% 认为自己在因果推断方面达到熟练或专家水平。参与者在基于浏览器的 VS Code 工作区中完成任务，使用 Claude Code v2.1.220 运行 Claude Opus 4.8，并将工作强度设为高；任务用时中位数为 65 分钟。研究设计、结果指标、估计量和排除标准均已在预分析计划中登记；研究还通过了内部伦理审查，且参与者同意接受监测。

听从偏好与决策自主性之间的落差

在四项分析决策中，分析师有 86% 的时候选择了与智能体偏好一致的选项，而随机猜测的基准概率为 50%；各项决策的匹配率依次为 92%、82%、81% 和 90%。完整论文题为《谁与谁保持一致？AI 智能体如何影响专家的研究判断》，报告称，按预先登记的方法合并计算，抛硬币决定的偏好匹配率估计值为 0.72，95% 置信区间为 0.60–0.83。

对于最终建议的影响较弱，且按预先登记的主要估计方法计算，未达到统计显著性：当智能体偏向推出项目时，54% 的分析师建议推出；当智能体偏向停止项目时，这一比例为 36%；预先登记的政策变化估计值为 0.17。作者认为，变化幅度较小，是因为估算结果一旦算出，建议便会机械地随之得出。然而，一项仅使用四项分析偏好建立的探索性模型，预测了 82% 的建议结论，而多数意见基准为 61%。这意味着，在分析师开始任务之前，抛硬币决定的偏好基本上已经决定了他们会提出什么建议。

在 38 个分析师先于智能体表达偏好的案例中，如果智能体持不同意见，分析师有 60% 的时候会转而放弃原先的偏好；如果智能体赞同，转变比例则为 6%。论文报告称，预先登记的立场转变率差值为 0.53，置信区间为 0.24–0.82，并指出该估计精确度有限，且这一子集由参与者自行选择形成。

任务结束后的调查显示，智能体的影响与参与者的自我认知之间存在落差。52% 的参与者认为，最终建议更多是自己的想法，而非智能体的；在四项决策中均遵循智能体偏好的人，信心平均评分为 71，其他人的平均评分为 73。在无法查看对话记录的情况下解释每项选择时，77% 的参与者至少有一次复述了智能体的论据，有时甚至逐字照搬；但只有 15% 的参与者在任何回答中提到了智能体的贡献。在测试的 10 项参与者特征中，没有任何一项能可靠地预测其是否会听从智能体；只有年龄显示出名义上的关联，但在进行多重检验校正后，这一关联不再成立。48 名参与者中有 6 人猜到研究涉及 AI 对其选择的影响，但没有人怀疑这些偏好是人为植入的。

对照组、默认智能体与研究局限

在未使用智能体的11名参与者中，6人（55%）犯下了足以使结果失效的严重错误；而使用智能体的50人中，只有3人（6%）犯了此类错误。未使用AI的组完成任务的时间中位数为90分钟，使用AI的组则为65分钟。作者提醒，两组参与者是自行选择加入的，且经验有所不同，因此不能据此得出因果结论。在另行开展的直接模拟中，未注入倾向时，标准版 Claude Opus 4.8 在123次运行中有91%作出了相同的五项选择；当脚本化分析师宣布的决定与模型的基线偏好相反时，标准版智能体在150项经评估的决定中，有41%建议或支持另一种选择。

作者指出了四项局限：研究有意放大了倾向；研究只采用了一项任务、一个领域和一个固定模型；研究估算的是分析师之间的平均值，而非对个体影响力的衡量；研究只记录了所选选项，没有记录偏好的强度。

作者指出，如果不同研究团队都依赖具有相同先验判断的模型，那么他们之间的一致意见可能就不再相互独立；这种依赖也会给AI安全研究带来风险，因为在这类研究中，人的审查者签字认可通常被视为一项独立核查。作者提出了三个未来研究方向：衡量日常情境中的依赖程度；设计能够呈现正反两面，或先征询专家意见的智能体；以及推动机构变革，审慎决定哪些决策必须由个人凭借充分知情后的判断作出。