DeepMind：AI 可能继承人类认知局限性，可能受益于“正式教育”

DeepMind 和斯坦福大学的一项新合作研究表明，AI 在抽象推理方面可能并不比人类更强，因为机器学习模型从现实世界中获得推理架构，这些架构以实际背景为基础（AI 无法体验），但也受到我们自己的认知局限性的阻碍。

如果得到证实，这可能代表了一个障碍，阻碍了许多人对机器学习系统的期望，即卓越的“蓝天”思维和知识创造的质量，并说明了 AI 反映人类经验的程度以及它容易受到人类界限的影响，这些界限已经影响了它的发展。

研究人员建议，AI 模型可以通过在面对现实世界任务之前进行抽象推理的预训练来受益，这可以被比喻为“正式教育”。

该论文指出：

“人类是不完美的推理者。我们最有效地推理与我们对世界的理解一致的实体和情况。”

“我们的实验表明，语言模型反映了这些行为模式。语言模型在逻辑推理任务上表现不完美，但这种表现取决于内容和上下文。最值得注意的是，这些模型通常在人类也失败的情况下失败——当刺激变得过于抽象或与我们对世界的先前理解相冲突时。”

为了测试超大规模自然语言处理（NLP）模型可能受到此类局限性的影响程度，研究人员设计了一系列三项语言和语义测试，这些测试对人类来说也很具有挑战性。这些测试以“零次”（没有已解决的示例）和“五次”（有五个先前的已解决示例）两种方式进行。

第一个任务涉及自然语言推理（NLI），其中主题（一个人或在这种情况下，一个语言模型）接收两个句子，一个“前提”和一个“假设”，该假设似乎是从前提中推导出来的。例如，“X 小于 Y，假设：Y 大于 X（蕴涵）”。

对于自然语言推理任务，研究人员评估了语言模型 Chinchilla（一个 70 亿参数模型）和 7B（同一模型的 7 亿参数版本），发现对于一致的示例（即不是无意义的示例），只有更大的 Chinchilla 模型获得了高于纯偶然性的结果；他们注意到：

“这表明存在强烈的内容偏见：模型更喜欢以符合先前期望的一致方式完成句子，而不是以符合逻辑规则的一致方式完成句子。”

测试

人类通过实践例子学习抽象概念，使用“暗示重要性”的方法，这种方法通常有助于语言学习者通过记忆术记住词汇和语言规则。最简单的例子是通过“旅行场景”来教授物理学中的抽象原理，比如火车和汽车的例子。

为了测试超大规模语言模型的抽象推理能力，研究人员设计了一系列三项语言和语义测试，这些测试对人类来说也很具有挑战性。这些测试以“零次”（没有已解决的示例）和“五次”（有五个先前的已解决示例）两种方式进行。

三段论

第二个任务呈现了一个更复杂的挑战，即三段论——两个真实陈述似乎蕴涵第三个陈述（该陈述可能是从前两个陈述中逻辑推导出来的结论，也可能不是）。

在这里，人类是非常容易出错的，一个旨在说明逻辑原则的构造很快就会因人类的“信念”而变得混乱和困惑，即认为什么是正确答案应该是什么。

作者指出，1983 年的一项研究表明，参与者受到自己的信念的影响，观察到：

“参与者更有可能（90% 的时间）错误地认为一个无效的三段论是有效的，如果结论是可信的，因此他们主要依赖于信念而不是抽象推理。”

沃森选择任务

对于第三个测试，甚至更具挑战性的沃森选择任务逻辑问题被重新制定为语言模型要解决的多个变体。

沃森任务于 1968 年设计：参与者被展示四张牌，并被告知一个任意规则，例如“如果一张牌的一面有‘D’，则另一面有‘3’”。四张可见的牌面显示‘D’，‘F’，‘3’和‘7’。

然后要求参与者确定需要翻转哪些牌来验证规则是否为真或假。

正确的解决方案是在这个例子中是翻转‘D’和‘7’。在早期测试中，发现大多数人类参与者会正确选择‘D’，但他们更有可能选择‘3’而不是‘7’，混淆了规则的逆否（“不 3 意味着不 D”）和逆（“3 意味着 D”，这在逻辑上并不蕴涵）。

正式教育

该论文的发现将超大规模 NLP 系统的推理潜力置于我们自己的局限性背景下，这些局限性似乎正在通过训练它们的现实世界数据集传递给模型。由于我们大多数人都不是天才，所以这些模型也不例外，它们的参数是由我们的局限性所告知的。

此外，该研究得出结论，我们至少有系统化教育的优势，以及形成人类动力的社会、经济甚至性动机。所有 NLP 模型可以获得的只是这些环境因素的结果，它们似乎正在遵循一般的人类模式，而不是例外的人类模式。

作者指出：

“我们的结果表明，内容效应可以仅通过训练一个大型变换器来模仿人类文化产生的语言来出现，而无需纳入这些人类特有的内部机制。”

“换句话说，语言模型和人类都达到这些内容偏见——但来自看似非常不同的架构、经验和训练目标。”

因此，他们建议进行纯粹推理的“归纳训练”，这已被证明可以改善模型在数学和一般推理方面的性能。他们还指出，语言模型已被训练或调整为更好地遵循抽象或概括级别的指令，并验证、纠正或消除自己的输出偏见。

* 我将内联引用转换为超链接。

首次发布于 2022 年 7 月 15 日。