人工智能在测试中作弊的困境

最近，中国一所大学的研究成果为我们提供了一个洞察，解释了为什么像GPT-3这样的生成式自然语言处理模型在面对困难问题时容易“作弊”，给出看似正确的答案，但实际上并没有真正理解为什么答案是正确的；以及为什么它们在解释“简单”答案的逻辑时表现不佳。研究人员还提出了新的方法来使这些系统在训练阶段“学习得更努力”。

问题的根源在于，我们设计的系统旨在快速高效地获得结果，即使像GPT-3这样的项目拥有远超普通NLP研究项目的资源，优化结果和资源利用的文化仍然主导了方法论，因为它已经成为学术惯例的一部分。

因此，我们的训练架构奖励那些快速收敛并给出看似合适的回答的模型，即使NLP模型后来无法证明其回答的合理性或解释其得出结论的过程。

早期倾向于作弊

这种情况发生是因为模型比学习更复杂的知识获取类型更早地学习了“捷径”响应。由于训练过程中经常不加区别地奖励提高准确率，模型优先考虑任何可以让它轻松回答问题的方法，而不是真正深入理解。

由于捷径学习在训练过程中往往是最早的成功，训练过程自然而然地偏离了获得更全面和有用的认识的更艰难任务，这种认识可能包含更深层次和更有见地的归因和逻辑层次。

喂养人工智能“简单”的答案

第二个问题是，尽管最近的研究已经研究了人工智能在这种方式下的“作弊”倾向，并且已经识别出了“捷径”的现象，但迄今为止，还没有努力对贡献数据集中的“捷径”启用材料进行分类，这将是解决机器阅读理解（MRC）系统中可能的根本架构缺陷的第一步。

新的论文，这是王旭安计算技术研究所和北京大学MOE计算语言学重点实验室之间的合作，测试了各种语言模型对一个新注释的数据集，其中包括对可能问题的“简单”和“困难”解决方案的分类。

来源：https://arxiv.org/pdf/2106.01024.pdf

该数据集使用改述作为更复杂和深层次答案的标准，因为需要语义理解来重构获得的知识。相比之下，“捷径”答案可以使用诸如日期和其他封装关键字等令牌来产生在事实上是准确的答案，但没有任何背景或推理。

捷径组件的注释包括问题词匹配（QWM）和简单匹配（SpM）。对于QWM，模型利用从提供的文本数据中提取的实体并丢弃上下文；对于SpM，模型识别答案句子和问题之间的重叠，这两者都在训练数据中提供。

捷径数据在数据集中几乎具有“病毒式”的影响

研究人员认为，数据集往往包含大量捷径问题，这使得训练模型依赖捷径技巧。

实验中使用的两个模型是BiDAF和Google的BERT-base。研究人员观察到，即使在训练数据集的变体中包含更高比例的“困难”问题时，两个模型仍然在捷径问题上表现更好，而不是更难的改述问题，尽管数据集中只有少数几个例子。

这使得“捷径数据”几乎具有“病毒式”的影响——即使在数据集中只存在很少的捷径数据，也足以使其在训练中被采用和优先考虑，在传统的NLP标准和实践中。

证明作弊

研究中使用的一种方法是用异常词替换“简单”的实体词来证明捷径答案的脆弱性。如果使用了捷径方法，逻辑上的“作弊”回答就无法提供；但是，如果答案是从更深层次的上下文和语义评估中获得的，那么系统就可以分解错误并重构正确的答案。

用‘碧昂斯’（一个人）替换‘美国’（一个地点），可以看出模型是否有任何背景逻辑来支持其答案。

由于经济压力导致的捷径

关于NLP训练工作流中捷径被优先考虑的架构原因，作者评论说“MRC模型可能会学习捷径技巧，如QWM，需要的计算资源比理解挑战，如识别改述，所需的资源要少”。

这可能是标准优化和资源保护方法在机器阅读理解方法中的一个意外结果，以及在紧迫时间内用有限资源获得结果的压力。

研究人员还指出：

“由于捷径技巧可以用来正确回答大多数训练问题，剩下的未解决问题可能不足以激励模型探索需要挑战性技能的复杂解决方案。”

如果论文的结果最终被证实，那么数据预处理的广阔领域可能需要考虑数据中的“隐藏作弊”作为一个长期需要解决的问题，或者修改NLP架构以优先考虑更具挑战性的数据摄取例程。g技能。如果论文的结果最终被证实，那么数据预处理的广阔领域可能需要考虑数据中的“隐藏作弊”作为一个长期需要解决的问题，或者修改NLP架构以优先考虑更具挑战性的数据摄取例程。