Anderson 视角
DeepMind:AI 可能继承人类认知局限性,可能受益于“正式教育”

要点DeepMind与斯坦福研究表明,AI在逻辑推理任务中会表现出类似人类的信念偏差。
查看更多
- DeepMind与斯坦福研究表明,AI在逻辑推理任务中会表现出类似人类的信念偏差。
- 语言模型在抽象逻辑任务上表现困难,但在现实场景的沃森选择任务中表现良好。
- 研究人员提出采用类似正规教育的预训练方法,以提升AI的抽象推理能力。
DeepMind 与斯坦福大学的一项新合作研究表明,人工智能在抽象推理方面可能常常并不比人类更强。这是因为机器学习模型的推理架构来自现实世界中的人类示例;这些示例扎根于人工智能无法亲身体验的实际情境,也受到人类自身认知缺陷的影响。
如果得到证实,这可能会成为一种障碍,妨碍许多人期待机器学习系统展现的更出色的自由创造性思维和思想原创能力。它也说明了人工智能在多大程度上反映人类经验,并倾向于在塑造它的人类认知边界内思考和推理。
研究人员建议,在让人工智能处理现实世界任务之前,可以先训练其抽象推理能力,类似于接受一段“正规教育”。
论文指出:
“人类的推理并不完美。对于符合我们对世界的理解的事物和情境,我们的推理最有效。”
“我们的实验表明,语言模型也呈现这些行为模式。语言模型在逻辑推理任务上的表现并不完美,但其表现取决于内容和情境。尤其值得注意的是,这些模型常在人类也会失败的情况下失败——当刺激变得过于抽象,或与既有的世界理解相冲突时。”
为检验这些局限对 GPT 级超大规模自然语言处理(NLP)模型的影响,研究人员对合适的模型进行了三项测试,并得出结论*:
“我们发现,最先进的大型语言模型(拥有 70 亿或 700 亿个参数)在这些任务上呈现了许多与人类相同的模式。与人类一样,模型在可信的情境中,比在不切实际或抽象的情境中推理更有效。”
“我们的发现有助于理解这些认知效应,以及影响语言模型表现的因素。”
论文认为,如果培养人工智能的推理技能时,没有赋予其为这些技能提供情境的现实世界身体经验,就可能限制这些系统的潜力。作者指出,“扎根于现实的经验……可能支撑着人类的一些信念和推理。”
作者认为,人工智能被动地接触语言,而人类把语言作为社会交流中主动且核心的组成部分来体验。这种主动参与涉及传统的社会奖惩制度,可能是像人类一样理解意义的关键。
研究人员指出:
“因此,语言模型与人类之间的一些差异,可能源自人类丰富、扎根于现实且具有互动性的经验,与模型贫乏经验之间的差异。”
作者建议,在使用最终构建实用、通用语言模型的核心数据进行训练之前,可以先安排一段“预训练”,类似于人类在学校和大学中接受教育的过程。
研究人员类比的这段“正规教育”,不同于常规机器学习预训练。常规预训练通过复用已经部分训练的模型,或导入已充分训练模型的权重来启动训练,从而缩短训练时间。
这里指的则是一段持续学习过程,旨在以纯抽象的方式发展人工智能的逻辑推理技能,并培养其批判性思维能力,类似于大学生在学位学习期间受到的训练。
作者说:“多项结果表明,这可能并不像听起来那样不切实际。”
这篇论文题为《语言模型在推理中呈现出类似人类的内容效应》,由六位 DeepMind 研究人员和一位同时隶属于 DeepMind 与斯坦福大学的研究人员共同撰写。
测试
人类通过实际示例学习抽象概念。借助记忆术,示例中隐含的重要性也常帮助语言学习者记住词汇和语言规则。一个简单例子,是通过为火车和汽车构建“行程场景”来教授难懂的物理学原理。
研究人员设计了三项语言和语义测试,以检验超大规模语言模型的抽象推理能力;这些测试对人类也可能构成挑战。测试分别采用 zero-shot(没有已解示例)和 five-shot(先给出五个已解示例)的方式。
第一项任务是自然语言推理(NLI)。受试者——人或语言模型——收到两个句子,一个是“前提”,另一个是似乎由前提推出的“假设”。例如:X 小于 Y;假设:Y 大于 X(逻辑蕴涵)。
研究人员评估了Chinchilla(700 亿参数)及其 7B 版本(70 亿参数)在自然语言推理任务上的表现。对于内容一致、并非无意义的示例,只有较大的 Chinchilla 模型取得了优于随机猜测的结果。研究人员指出:
“这表明存在强烈的内容偏差:模型更倾向于按照既有预期补全句子,而不是遵循逻辑规则。”

Chinchilla 的 700 亿参数模型在 NLI 任务中的表现。据研究人员称,该模型及其较小的 7B 版本均显示出显著的信念偏差。 来源:https://arxiv.org/pdf/2207.07051.pdf
三段论
第二项任务是更复杂的三段论:两个真实陈述看似蕴涵第三个陈述,而第三个陈述可能是、也可能不是由前两者推出的逻辑结论。

论文测试材料中的多种现实、悖论或无意义的三段论。
人类在这方面极易出错。用于阐明逻辑原则的结构,几乎立刻就会受到人们对正确答案应该是什么的信念干扰,甚至可能长期如此。
作者指出,1983 年的一项研究发现,参与者会受到三段论结论是否符合自身信念的影响:
“如果结论可信,参与者更有可能错误地把无效三段论判断为有效,比例达到 90%。因此,他们主要依靠信念,而不是抽象推理。”
研究人员用多种三段论测试 Chinchilla,其中许多带有错误的蕴涵。他们发现,“信念偏差几乎主导了全部 zero-shot 判断。”如果结论与现实不符,模型就会强烈倾向于宣告最终论证无效,即便它确实是由前述陈述逻辑推出的。

Chinchilla 的 zero-shot 结果。多数受试者也会在获知基本规则后、不看已解示例就收到这些问题。结果说明,计算机的运算能力与 NLP 模型处理此类初步逻辑挑战的能力之间存在巨大差距。
沃森选择任务
第三项测试把更具挑战性的沃森选择任务改写为多个版本,交由语言模型解答。
这项任务于1968 年提出,看似十分简单:向参与者展示四张卡片,并告知一条任意规则,例如“如果卡片一面是 D,另一面就是 3”。四张可见牌面分别为 D、F、3 和 7。
随后询问参与者,要验证规则真假,需要翻开哪些卡片。
本例的正确答案是翻开 D 和 7。早期测试发现,大多数参与者会正确选择 D,却更容易选择 3 而不是 7,把规则的逆否命题(不是 3 则不是 D)与逆命题(3 则 D;原规则在逻辑上并不蕴涵这一点)混淆。
作者指出,既有信念可能干扰人的逻辑推理。即使专业数学家和数学本科生,在这项任务上的得分通常也低于 50%。
然而,当沃森任务的设定反映人类实际经验时,表现通常会相应提高。
作者引用先前实验指出:
“如果卡片显示年龄和饮料,规则是‘饮酒者必须年满 21 岁’,并展示‘啤酒’、‘汽水’、‘25’、‘16’四张卡片,绝大多数参与者都会正确选择检查‘啤酒’和‘16’。”
为测试语言模型在沃森任务中的表现,研究人员制定了多种现实和任意规则,其中一些含有无意义的词,考察人工智能能否穿透内容情境,判断应翻开哪些“虚拟卡片”。
在现实、并非无意义的沃森任务上,模型的表现与人类相当。

Chinchilla 在沃森选择任务中的 zero-shot 结果。至少对于现实规则,模型的表现明显优于随机猜测。













