AI 聊天机器人难以理解语言

人工智能（AI）聊天机器人的出现已经改变了对话体验，带来了似乎与人类语言理解和使用相平行的进步。这些聊天机器人，由大量语言模型驱动，正在变得擅长于处理人类交互的复杂性。

然而，最近的一项 研究 揭示了这些模型在区分自然语言和无意义句子的持续脆弱性。由哥伦比亚大学研究人员进行的调查为聊天机器人性能和人类语言处理的潜在改进提供了有趣的见解。

语言模型的探究

该团队详细介绍了他们的研究，涉及九种不同的语言模型和大量句子对。研究中的人类参与者被要求区分每对句子中更“自然”的句子，反映日常使用。然后根据这些模型的评估是否与人类的选择相符来评估这些模型。

当这些模型相互比较时，基于变换器神经网络的模型表现出比简单的循环神经网络模型和统计模型更好的性能。然而，即使是更复杂的模型也表现出错误，往往选择被人类认为是无意义的句子。

与无意义句子的斗争

哥伦比亚大学齐克曼研究所的首席研究员尼古拉斯·克里格斯科特（Nikolaus Kriegeskorte）强调了大型语言模型在捕捉简单模型错过的关键方面方面的相对成功。他指出，“即使我们研究的最佳模型仍然可以被无意义的句子欺骗，这表明它们的计算缺乏某些方面的东西，这些方面是人类处理语言的方式。”

研究中一个引人注目的例子强调了像 BERT 这样的模型判断句子自然度的错误，与像 GPT-2 这样的模型相比，后者与人类的判断一致。这些模型中普遍存在的缺陷，如哥伦比亚大学心理学助理教授克里斯托弗·巴尔达萨诺（Christopher Baldassano）博士所指出的那样，引发了人们对依赖 AI 系统进行决策的担忧，引起了人们对它们明显的“盲点”的关注，即标记句子。

影响和未来方向

模型的性能差距以及为什么某些模型比其他模型更出色的探索是克里格斯科特博士感兴趣的领域。他认为，了解这些差异可以显著推动语言模型的进步。

该研究还为探索 AI 聊天机器人的语言机制是否可以激发新的科学探究提供了途径，帮助神经科学家解开人类大脑的复杂性。

论文的通讯作者塔尔·戈兰（Tal Golan）博士对了解人类的思维过程感兴趣，考虑到 AI 工具在语言处理方面的日益增长的能力。“将他们的语言理解与我们的语言理解进行比较，为我们提供了一个新的思考方式，来思考我们如何思考，”他评论道。

探索 AI 聊天机器人的语言能力已经揭示了他们的理解与人类认知之间的持续挑战。

继续探索这些差异和随之而来的发现不仅有可能提高 AI 聊天机器人的有效性，还有可能揭开人类认知过程的众多层面。

AI 驱动的语言理解和人类认知的对比为多方面的探索奠定了基础，可能会重塑对 AI 和神经科学相互关联领域的认识和知识。