人工智能可能帮助研究人员确定哪些论文可以被复制，旨在解决再现危机

近年来，学者和研究人员越来越关注所谓的复制/再现危机。许多研究在尝试复制时无法获得相同的显著结果，因此科学界担心研究结果经常被过分强调。这个问题影响了从心理学到人工智能等多个领域。在人工智能领域，许多未经同行评审的论文声称取得了令人印象深刻的结果，但其他研究人员无法复制。为了解决这个问题并减少不可复制的研究数量，研究人员设计了一个人工智能模型，旨在确定哪些论文可以被复制。

据Fortune报道，凯洛格管理学院和西北大学复杂系统研究所的研究团队发表了一篇论文，提出了一种深度学习模型，可以潜在地确定哪些研究是可复制的，哪些不是。如果人工智能系统可以可靠地区分可复制和不可复制的研究，它可以帮助大学、研究机构、公司和其他实体筛选出成千上万的研究论文，以确定哪些论文最有可能是有用和可靠的。

西北大学团队开发的AI系统并不使用研究人员通常用来验证研究有效性的经验/统计证据。该模型实际上使用自然语言处理技术来尝试量化论文的可靠性。系统提取了作者在论文中使用的语言模式，发现某些词语模式比其他模式更可靠。

研究团队参考了1960年代的心理学研究，发现人们经常通过他们使用的词语来传达他们对自己的想法的信心。基于这个想法，研究人员认为论文作者可能在写作时无意识地传达了他们对研究结果的信心。研究人员进行了两轮训练，使用了不同的数据集。最初，模型是在大约200万个科学论文摘要上训练的，而第二次模型是在一个旨在确定哪些心理学论文可以被复制的项目的全部论文上训练的 – 心理学再现项目。

经过测试，研究人员将模型部署在了来自心理学和经济学等各个领域的几百篇论文的集合上。研究人员发现，他们的模型比通常用来确定论文结果是否可以被复制的统计技术更可靠地预测了论文的再现性。

凯洛格管理学院教授和研究人员布莱恩·乌兹（Brian Uzzi）向Fortune解释说，虽然他希望人工智能模型有一天可以被用来帮助研究人员确定结果有多大可能被复制，但研究团队不确定他们的模型学习了什么模式和细节。机器学习模型通常是黑盒子的事实是一个常见的问题，但这可能会使其他科学家犹豫是否使用该模型。

乌兹解释说，研究团队希望该模型可以被用来解决冠状病毒危机，帮助科学家更快地了解病毒，并确定哪些研究结果是有前途的。正如乌兹向Fortune所说：

“我们希望开始将其应用于COVID问题——一个现在很多事情变得宽松的问题，我们需要建立在大量先前工作的坚实基础上。目前尚不清楚哪些先前的工作将被复制或不被复制，我们没有时间进行复制。”

乌兹和其他研究人员希望通过使用更多的自然语言处理技术（包括他们创建的用于分析公司盈利电话录音的技术）来改进模型。研究团队已经建立了一个包含大约30,000个电话录音的数据库，他们将分析这些录音以寻找线索。如果团队能够建立一个成功的模型，他们可能能够说服分析师和投资者使用该工具，这可能会为该模型及其技术铺平道路，实现其他创新的用途。