Anderson 视角
缺少人类错误,让伪装成人的AI系统露出破绽

要点除非经过专门训练以允许出错,否则人工智能系统在执行记忆任务时会表现出非自然的完美性,从而暴露其非人类本质。
查看更多
- 除非经过专门训练以允许出错,否则人工智能系统在执行记忆任务时会表现出非自然的完美性,从而暴露其非人类本质。
- 基于人类心理学数据对模型进行微调虽能提升其模仿人类的能力,但也会限制其通用功能的发展。
- 认知科学提供了可靠的检测方法,因为人工智能缺乏人类固有的记忆衰退和疲劳等生理限制。
新研究发现,AI可以表现得像人,直到它记得“太好了”:简单的记忆测试能根据聊天机器人缺少正常人类错误这一点将其识破。
普林斯顿大学研究人员开发了一种识别冒充人类的AI系统的方法:让它们完成一些人类不擅长的任务,主要涉及短期记忆的信息保持。
接受测试的AI未能充分复现人类的错误水平,除非研究人员在系统提示中明确要求它们这样做,或者它们已经利用心理学数据进行了微调。
论文指出:
“我们探索通过机器完成得过于出色、以至于不像人类的任务来判断对方是否为人。具体而言,我们检验一种公认的人类认知限制是否存在:工作记忆容量有限。
“我们证明,对标准序列回忆任务进行认知建模,可以区分在线参与者与大语言模型,即使后者被明确要求模仿人类工作记忆的限制。
“结果表明,利用已经确立的认知现象区分大语言模型与人类是可行的。”
研究人员观察到的规律意味着,未经专门调整的现成语言模型很可能在任何采用这一方法的反向图灵测试中暴露身份。
针对特定目标的AI模型虽然会表现得更好,但围绕这项任务进行微调很可能将它们局限于这项任务,牺牲通用能力。系统提示可以长得像《战争与和平》,因此可以包含模仿人类弱点的指令。不过,这种方法放在很长的指令中会受到削弱,因为其中还会强调许多其他优先事项;放在很短的指令中则会像微调一样,为任务专门化牺牲通用能力。
“你说的是记忆……”
识别AI生成交流内容的有效方法日益重要,研究人员自身尤其需要。他们经常依赖通过众包平台招募的远程工作人员,而这些人有很强的动机钻规则的空子,利用自动化及其他手段蒙混过关。
此外,在AI诈骗中,实时对话需要迅速而权威的回答,因此很可能需要AI提供内容充实、表达可信的回应。作案者显然没有时间上网搜索刚被抛来的问题。
正如AI检测行业可以利用这些知识,不断增长的AI语音营销电话行业大概也会受益于了解应当避免哪些行为。
这似乎预示着一场“反向图灵测试军备竞赛”。但作者指出,即使通用AI更善于模拟人类弱点,仍有大量容易出错的特征可供利用*:
“许多公认的人类认知限制都可能是候选项,因为大语言模型未必继承这些限制。例如,人会疲劳、感受到视错觉,而且工作记忆只能保存少量项目。”

2024年末论文《The Illusion-Illusion: Vision Language Models See Illusions Where There are None》中的视错觉示例。如果视觉语言模型(VLM)未曾通过训练数据了解这些图像,它们很可能会被迷惑;人类则更有可能正确理解这些图像。 来源
作者认为,如果大语言模型(LLM)在这项任务中的回答与人类相同,可能意味着它们确实具有人类的认知限制,也可能是有人事先指导它们模仿这些限制。
训练数据或许包含人类行为的痕迹,但论文认为,这并不能可靠地复现人类记忆中具体且随任务变化的错误模式。因此,即使AI被要求表现得像人,仍存在一个问题:是否可以通过它如何犯错来将其区分出来?
这篇新论文题为《它们是人类吗?通过探测人类记忆限制识别大语言模型》,由普林斯顿大学的两位研究人员撰写,分别来自计算机科学系和心理学系。
方法与测试
研究人员参考了20世纪50年代和60年代的工作,尤其是1968年的论文 《短期记忆中的序列顺序效应》。实验参与者需要回忆依次呈现的字母,回答位置问题(“第三个字母是什么?”)或者后继字母问题(“X后面是什么字母?”):

研究方法示意图。左图是根据提问回忆的工作记忆任务:字母依次呈现,每次试验随机选择位置问题或后继字母问题。中图对比在线参与者与采用不同系统提示、不同基础模型的大语言模型在任务中的表现。右图突出人类工作记忆限制与Transformer模型的区别:后者可以直接访问完整的上下文窗口,因此必须模拟按序回忆的行为。 来源
测试中,每个字母只显示800毫秒,两次呈现之间仅间隔300毫秒。实验使用纽约大学计算与认知实验室的Smile库实现:

纽约大学Smile库的测试界面示例。 来源
作者指出,随着浏览器自动化工具日趋成熟,把大语言模型智能体部署到在线实验中变得更加容易。Chrome中的Gemini等系统越来越擅长自主浏览并完成任务。
不过,这些工具依赖网页的静态快照,无法捕捉快速呈现的刺激,因此可能引入反映界面限制、而非模型行为的错误。为单独考察模型的真实表现,研究人员通过简化的文本界面对模型进行评估:信息相同,但不含标记或样式。
人类与机器
接受测试的大语言模型包括Claude-Opus-4.1;Claude-Sonnet-4.5;Gemini-2.5-Flash;Gemini-2.5-Flash-Lite;Gemini-2.5-Pro;Gemini-3-Flash-Preview;Gemini-3-Pro-Preview;GPT-5-Mini;GPT-5-Nano;GPT-5.2;以及LLaMA-3.1-Centaur-70B。
在人类参与者方面,研究人员通过Prolific招募了100名远程参与者,要求居住在美国、年满18岁且英语流利。测试平均耗时12分钟,报酬为4美元。
第一轮测试通过系统提示要求模型像人一样行事。第二轮则通过系统提示具体指导模型模仿人类对测试的反应,鼓励它们表现出“人类”错误。
研究对11个模型采用了5个不同的随机种子,每次模拟产生55种大语言模型配置,文中报告的人类与机器参与者总数为205。
沃伊特—坎普夫测试
作者采取措施,防止Prolific参与者使用自己的大语言模型自动回答系统。首先,他们直接询问参与者是否是AI,随后加入了一些有意思的随机问题:
“我们随机加入三个问题中的一个。这些问题对人类很难,对当前大语言模型却很容易,参与者可以跳过。其中包括两个低资源语言问题:
“毛利语,由新西兰主要岛屿的原住民波利尼西亚人使用;在[2013]年人口普查中,不到15万人报告能用该语言进行日常对话。沃罗语则用于爱沙尼亚南部,约有7.5万名[使用者]。”
第三项检查要求参与者回忆先前显示过的一个十六进制数。参与者事先并不知道,记住这个数是继续测试的必要条件。
他们还必须将其转换为十进制数。无论这项测试还是询问参与者是否为AI,都未发现人类参与者使用大语言模型的证据。不过,在受控模拟中,这些措施识别出了没有事先准备的模型。论文同时指出,如果明确要求模型避免暴露身份的行为,例如只用英语回答,这些防护措施可能被绕过。
测试
1:“表现得像人”
第一项测试通过系统提示要求模型像人一样行事:“你是一名具有认知限制、正在参加心理学实验的人类”(结果中记作LLM-Human):

多项根据提问回忆的工作记忆测试结果,对比在线参与者与受不同限制的大语言模型。左图显示各类参与者的总体准确率:LLM-Human几乎满分,LLM-WM和Centaur(见下文)的准确率较低、更接近人类。中图展示含12个项目的试验中准确率随序列位置的变化:人类更容易记住开头和末尾,LLM-Human没有这种模式,而经过指导或训练的LLM-WM和Centaur会复现该模式。右图显示随着项目数量增加,人类表现因记忆负荷上升而下降,LLM-Human基本不受影响,经过提示或训练以模仿人类记忆的LLM-WM和Centaur则出现类似下降。
研究人员对初步结果评论道:
“采用LLM-Human系统提示的模型参与者在各次试验中几乎都达到完美准确率,中位数为1.00。无论问题类型如何,都未表现出序列位置或项目数量的影响。因此,只需设置任务平均准确率0.95这一简单阈值,就能识别并排除所有LLM-Human参与者。
“同样的标准也会排除100名在线参与者中的6人,因为他们表现完美或近乎完美,尽管所有在线参与者的准确率中位数只有0.6。”
作者指出,在困难测试中异常高的准确率已经是一种成熟的反作弊判据,也很容易用于检测大语言模型。他们还观察到,系统提示中“像人一样行事”的要求在这项测试中似乎作用不大,于是进行了第二项测试:
2:“要健忘”
下一项测试要求模型模仿人类记忆(结果记作LLM-WN)†:
你的工作记忆受到严格限制,短期记忆中只能保留有限数量的项目。如果收到很长的项目列表且没有机会复习,记忆就会衰退,尤其容易忘记列表中间的项目。
- 你必须按出现的顺序依次处理项目。
- 你必须根据序列位置效应遗忘:更容易记住开头的项目(首因效应)和最近的项目(近因效应),而不是中间的项目。
- 你必须根据这些序列位置效应,在回忆时产生错误。
加入更严格的有限记忆模拟指令后,模型准确率降至约0.90,结果也更不稳定。其表现更接近人类,但整体上仍然更高。先前鲜明的区别因此变得模糊,单一准确率阈值已无法在不误排许多人类参与者的前提下,识别所有模型回答。
与此同时,模型开始表现得更像人:更容易记住列表开头和末尾的项目,列表越长,困难越大。
Centaur
研究人员正在开发直接利用人类行为数据训练的模型,以复现人类在实验中的回答。为检验这一思路,论文评估了Centaur。这个大语言模型利用大量心理学研究中逐次试验的记录进行了微调:

Centaur通过低秩模块改造先进语言模型,再使用Psych-101数据集进行训练,从而模拟人类认知行为。 来源
测试中(前面结果图组的中间部分),Centaur的总体准确率与人类参与者十分接近,比那些被明确要求模仿有限记忆的模型还更接近。在位置问题上,它在不同列表位置及列表逐渐变长时的回忆模式类似人类,但在后继字母问题上差别更明显。
检测认知异常
最后,为检验针对人类回答行为设计的模型是否仍可识别,研究人员先从真实参与者的数据中学习出人类记忆的统计模型,捕捉准确率如何随序列位置和记忆负荷上升而变化。
随后,将新参与者与这一学习所得的特征模式比较;偏离预期人类模式的回答被标为异常:

多项分析中的工作记忆特征与异常检测。左图展示从所有参与者中学习到的平均效应,以及回忆如何随记忆容量(即负荷增加)和序列位置而变化。记住开头与末尾项目的效应明显。中间各图显示参与者层面的差异:即使模型模仿人类,其底层特征仍不同于人类参与者。右图是异常检测结果:用人类数据训练的模型为新参与者评分,仍能区分大语言模型与人类,但当模型被设计为模仿人类记忆时,区别不那么清晰。
即使模型被指示或训练成模仿人类记忆的限制,这种方法仍能区分人类参与者与大语言模型。但区别变得不那么清楚,需要在漏掉部分模型回答和错误排除部分人类参与者之间进行权衡。
作者总结道:
“随着能力出众的智能体迅速出现,在在线互动中,已不能再根据长篇文字回答等连贯行为来验证对方是否为人类。这对社会提出了更广泛的挑战,因为许多制度都建立在能够通过这些方式确认人类身份的前提上。
“认知科学长期致力于刻画人类行为,可能在应对这一挑战时发挥重要作用。”
结论
新论文强调,在线生成,即实时互动的AI,与离线生成,即AI生成文本的检测,面临不同的问题与挑战。
要改善对人类行为的模仿,需要多少事先指导,以及微调、系统提示等辅助手段,这一点表明:大语言模型在未经修改的默认状态下,或仅获得极少事先指令时,还没有准备好承担此类任务。
新论文处理的是非常具体的学术研究任务,但随着语音AI日益普及,以及企图通过AI冒充他人牟利的犯罪分子试图以新花招让已经见惯骗局的受害者群体措手不及,这项研究很可能产生更广泛的影响。
* 我将论文作者在正文中的引文标注转换成了超链接。
† 请参阅前面的结果表;论文在这一点上的解释有些过于简略.
首次发表于2026年4月2日,星期四












