大型语言模型为什么忘记中间内容：揭示AI的隐藏盲点

当大型语言模型（LLMs）被广泛用于文档摘要、法律分析和医疗史评估等任务时，认识这些模型的局限性至关重要。虽然像幻觉和偏见这样的常见问题众所周知，但研究人员最近发现了另一个重要的缺陷：在处理长文本时，LLMs倾向于保留开始和结束的信息，但经常忽略中间的内容。

这种被称为”失中症“的现象可能会严重影响这些模型在实际应用中的性能。例如，如果AI被要求总结一份长的法律文件，遗漏中间的关键细节可能会导致误导或不完整的摘要。在医疗环境中，忽略患者历史中间的信息可能会导致不准确的建议。了解为什么会发生这种情况仍然是研究人员在尝试构建更安全、更可靠的AI时面临的挑战。然而，最近的一项研究提供了一些迄今为止最清晰的答案，揭示了这个问题深深植根于这些模型的架构中。

“失中症”问题

“失中症”现象指的是LLMs倾向于对长输入序列中间的信息给予较少的关注。这与人类通常更好地记住列表中的第一个和最后一个项目，而不是中间的项目类似。这种人类的认知偏见通常被称为首位效应和近因效应。对于LLMs来说，这意味着它们在开始或结束处的关键信息时表现更好，但当信息埋藏在中间时会挣扎。这导致了一个”U形”的性能曲线，准确性在开始处高，中间显著下降，然后在结束处再次上升。

这种现象不仅仅是一个理论问题。它已被观察到在广泛的任务中，从问答到文档摘要。例如，如果您要求LLM回答一个问题，而答案位于长文章的前几个段落中，它可能会正确回答。同样，如果答案在最后几个段落中也是如此。但如果关键信息隐藏在中间某处，模型的准确性会大幅下降。这是一个严重的限制，因为它意味着我们不能完全信任这些模型来执行需要理解长且复杂上下文的任务。它还使它们容易被操纵。有人可以故意将误导性信息放在文档的开始或结束处来影响AI的输出。

理解LLMs的架构

为了了解为什么LLMs会忘记中间内容，我们需要看看它们的构建方式。现代LLMs基于一种称为Transformer的架构。Transformer是一项突破，因为它引入了一种称为自注意力的机制。自注意力允许模型在处理任何给定单词时权衡输入文本中不同单词的重要性。例如，在处理句子”The cat sat on the mat”时，自注意力机制可能会学习到”cat”和”sat”之间的高相关性。这使模型能够比以前的架构构建出更丰富的单词之间关系的理解。

另一个关键组件是位置编码。由于自注意力机制本身没有内在的单词顺序感知，位置编码被添加到输入中以给模型关于序列中每个单词位置的信息。没有它，模型会将输入文本视为没有结构的”词袋“。这些两个组件，自注意力和位置编码，一起使LLMs更加有效。然而，新的研究表明，它们的交互作用也是这个隐藏盲点的来源。

位置偏见如何出现

最近的一项研究使用了一种巧妙的方法来解释这一现象。它将Transformer中的信息流建模为一个图，其中每个单词是一个节点，注意力连接是边。这样，研究人员就可以数学地跟踪不同位置的信息如何通过模型的多个层次被处理。

他们发现了两个主要的见解。首先，许多LLMs中使用的因果掩蔽固有地在序列开始处创建了一个偏见。因果掩蔽是一种确保当模型生成一个单词时，它只能关注之前的单词，而不是之后的单词的技术。这对于像文本生成这样的任务至关重要。然而，经过多个层次，这会产生一种复合效应。文本中的前几个单词被反复处理，它们的表示变得越来越有影响力。相比之下，中间的单词总是回顾已经建立的上下文，它们自己的独特贡献可能会被淹没。

其次，研究人员研究了位置编码如何与这种因果掩蔽效应相互作用。现代LLMs通常使用相对位置编码，它们关注单词之间的距离，而不是它们的绝对位置。这有助于模型对不同长度的文本进行泛化。虽然这似乎是一个好主意，但它会产生一种竞争压力。因果掩蔽将模型的焦点推向开始，而相对位置编码则鼓励它关注附近的单词。这种拔河的结果是，模型最关注文本的开始和任何给定单词的局部上下文。远处且不在开始处的信息，换句话说，就是中间的信息，得到的关注最少。

更广泛的影响

“失中症”现象对依赖长文本处理的应用有着重大的影响。研究表明，这个问题不仅仅是一个随机效应，而是我们设计这些模型的基本结果。这意味着简单地在更多数据上训练它们不太可能解决这个问题。相反，我们可能需要重新思考Transformer的某些核心架构原则。

对于AI的用户和开发者来说，这是一个关键的警告。我们必须意识到这个限制，当设计依赖LLMs的应用时。对于涉及长文档的任务，我们可能需要开发策略来减轻这种偏见。这可能包括将文档分解为较小的块或创建专门将模型的注意力引导到文本不同部分的模型。它还强调了彻底测试的重要性。我们不能假设在短文本上表现良好的LLM在面对更长、更复杂的输入时会是可靠的。

结论

AI开发一直专注于识别限制并找到克服它们的方法。”失中症”问题是大型语言模型的一个重大缺陷，它们倾向于忽略长文本序列中的中间信息。这个问题源于Transformer架构中的偏见，特别是因果掩蔽和相对位置编码之间的交互作用。虽然LLMs在文本开始和结束处的信息上表现良好，但当重要细节放在中间时会挣扎。这限制了LLMs在文档摘要和问答等任务中的准确性，这可能会在法律和医学等领域产生严重的影响。开发者和研究人员必须解决这个问题，以提高LLMs在实际应用中的可靠性。