阻止人工智能在测试中作弊的斗争

中国一所大学的新研究成果揭示了为什么像 GPT-3 这样的生成式自然语言处理模型在被问到难题时往往会“作弊”，给出的答案可能在技术上是正确的，但实际上并没有真正理解 为什么 答案是否正确；以及为什么它们几乎或完全无法解释其“简单”答案背后的逻辑。研究人员还提出了一些新方法，使系统在训练阶段“更加努力地学习”。

问题是双重的：首先，我们设计的系统试图快速实现结果并优化资源利用。 即使像 GPT-3 那样，资源可能比一般 NLP 研究项目能够聚集的资源要多得多，这种结果驱动优化的文化仍然弥漫在方法论中，因为它已经主导了学术惯例。

因此，我们的训练架构奖励那些快速收敛并对问题产生明显适当响应的模型，即使 NLP 模型随后无法证明其响应的合理性，或证明其如何得出结论。

早期的作弊倾向

之所以会出现这种情况，是因为模型在训练过程中学习“快捷反应”的时间远早于学习更复杂的知识获取方式。由于准确率的提高通常会在整个训练过程中不加区分地获得奖励，因此模型会优先考虑任何能够让它“轻率地”回答问题、且无需真正洞察的方法。

由于快捷学习必然代表 第一 如果培训期间取得了成功，课程自然会倾向于远离获得有用且更完整的认识论视角这一更困难的任务，这可能包含更深层次和更有洞察力的归因和逻辑层。

为人工智能提供“简单”的答案

第二个问题是，尽管最近的研究举措已经 研究 人工智能倾向于以这种方式“作弊”，并且已经识别出“捷径”现象，但到目前为止还没有尝试对贡献数据集中支持“捷径”的材料进行分类，这将是解决可能被证明是机器阅读理解（MRC）系统中根本架构缺陷的合乎逻辑的第一步。

新的 纸是王选计算机技术研究所和北京大学计算语言学教育部重点实验室合作的项目，针对各种语言模型进行了测试 新注释的数据集 其中包括对可能的问题的“简单”和“困难”解决方案的分类。

资料来源：https://arxiv.org/pdf/2106.01024.pdf

该数据集使用释义作为更复杂、更深入答案的标准，因为语义理解对于重新表述所获得的知识至关重要。相比之下，“快捷”答案可以使用日期等标记和其他封装关键词来生成事实准确但缺乏上下文或推理的答案。

注释的快捷方式组件具有问题词匹配（QWM）和简单匹配（SpM）功能。 对于 QWM，该模型利用从提供的文本数据中提取的实体并抛弃上下文； 对于 SpM，该模型识别答案句子和问题之间的重叠，这两者都在训练数据中提供。

快捷数据在数据集中的影响力几乎“病毒式”增长

研究人员认为，数据集往往包含很高比例的快捷问题，这使得经过训练的模型依赖于快捷技巧。

实验中使用的两个模型是 双DAF 和谷歌的 BERT-base。研究人员观察到，即使在数据集变体上进行训练，且“困难”问题的比例更高，尽管数据集中的示例数量很少，但这两个模型在快捷问题上的表现仍然比在更难的释义问题上的表现更好。

这几乎在病毒的背景下呈现了“快捷数据”——根据 NLP 中的传统标准和实践，数据集中只需存在很少的数据，就可以在训练中采用和优先考虑它。

证明作弊

这项研究用来证明快捷答案的脆弱性的一种方法是用一个“简单”的实体词代替一个异常词。如果使用了快捷方法，就无法提供“作弊”答案的逻辑；但如果答案是基于更深层次的语境和对更广泛的文本进行语义评估而得出的，系统就有可能解构错误并重建正确答案。

用“碧昂丝”（一个人）代替“美国”（一个地点），可以揭示该模型的答案是否有任何背景逻辑。

由于经济需要而走捷径

关于 NLP 训练工作流程中捷径如此优先的一些架构原因，作者评论道 “MRC 模型可能会学习 QWM 等快捷技巧，所需的计算资源比理解挑战（如识别释义）要少”.

那么，这可能是机器阅读理解方法中标准优化和资源保护理念的意外结果，以及在紧迫的时间范围内用有限的资源获得结果的压力。

研究人员还指出：

“由于捷径技巧可以用来正确回答大多数训练问题，剩下的有限未解决问题可能无法激励模型探索需要挑战性技能的复杂解决方案。”

如果该论文的结果随后得到证实，那么庞大且不断发展的数据预处理领域可能需要将数据中的“隐藏错误”视为长期需要解决的问题，或者修改 NLP 架构以优先考虑更具挑战性的数据提取例程。