大型语言模型中幻觉的解决：一项关于最前沿技术的调查

像GPT-4、PaLM和Llama这样的大型语言模型（LLM）已经在自然语言生成能力方面取得了显著的进步。然而，一个持续的挑战限制了它们的可靠性和安全部署，即它们倾向于产生幻觉——生成看似连贯但事实上不正确或与输入上下文无关的内容。

随着LLM在各个领域的应用变得更加普遍，解决幻觉问题变得至关重要。本文提供了对最新技术的全面概述，这些技术被研究人员引入以检测、量化和减轻LLM中的幻觉。

理解LLM中的幻觉

幻觉是指LLM生成的与现实或输入上下文无关的虚构事实或内容。一些例子包括：

• 在生成关于某个人的文本时，编造没有证据支持的传记细节或事件。
• 提供错误的医疗建议，编造药物副作用或治疗程序。
• 捏造不存在的数据、研究或来源来支持某个说法。

这种现象是由于LLM是在大量在线文本数据上进行训练的。虽然这使得它们能够获得强大的语言建模能力，但也意味着它们学会了推断信息、进行逻辑跳跃和填补空白，这看起来令人信服，但可能是误导性的或错误的。

一些关键因素导致了幻觉的产生，包括：

• 模式泛化 – LLM识别和扩展训练数据中的模式，这可能不能很好地泛化。
• 过时的知识 – 静态预训练阻止了新信息的整合。
• 模糊性 – 模糊的提示允许进行错误的假设。
• 偏见 – 模型延续和放大偏见的观点。
• 不足的基础 – 缺乏理解和推理能力意味着模型生成它们不完全理解的内容。

解决幻觉问题对于在医学、法律、金融和教育等领域的可靠部署至关重要，因为在这些领域生成错误信息可能会造成伤害。

幻觉缓解技术的分类

研究人员已经引入了多种技术来解决LLM中的幻觉问题，这些技术可以分为以下几类：

1. 提示工程

这涉及仔细设计提示以提供上下文并引导LLM生成事实和有根据的响应。

• 检索增强 – 检索外部证据以使内容有根据。
• 反馈循环 – 迭代提供反馈以改进响应。
• 提示调优 – 在微调期间调整提示以获得期望的行为。

2. 模型开发

通过架构更改创建内在上不容易产生幻觉的模型。

• 解码策略 – 以增加忠实度的方式生成文本。
• 知识基础 – 将外部知识库整合到模型中。
• 新型损失函数 – 在训练期间优化忠实度。
• 监督微调 – 使用人工标注的数据来增强事实性。

接下来，我们将对每种方法下的著名技术进行调查。

著名的幻觉缓解技术

检索增强生成

检索增强生成通过检索和条件化外部证据文档来增强LLM，而不是仅依赖模型的隐式知识。这使得内容基于最新、可验证的信息，减少了幻觉的产生。

著名的技术包括：

• RAG – 使用检索器模块为序列到序列模型提供相关段落，两者一起进行端到端训练。
• RARR – 使用LLM来研究生成文本中的无关联的说法，并通过检索的证据来修订它们。
• 知识检索 – 在生成文本之前，使用检索的知识来验证不确定的生成内容。
• LLM增强器 – 迭代搜索知识来为LLM提示构建证据链。

反馈和推理

利用迭代的自然语言反馈或自我推理使LLM能够改进和完善其初始输出，减少幻觉的产生。

CoVe采用了一种链式验证技术。LLM首先草拟一个响应，然后生成潜在的验证问题来事实核查其响应的可信度。例如，对于一个描述新医疗治疗的响应，CoVe可能会生成问题，如“该治疗的有效率是多少？”，“它是否获得了监管部门的批准？”，“潜在的副作用是什么？”等。然后，LLM尝试独立回答这些验证问题，而不受其初始响应的影响。如果答案与初始响应中的陈述相矛盾或无法支持，则系统识别这些为可能的幻觉并在呈现给用户之前改进响应。

DRESS专注于通过自然语言反馈使LLM更好地符合人类偏好。该方法允许非专业用户对模型生成的内容提供自由形式的批评，如“提到的副作用似乎被夸大了”或改进指令，如“请讨论成本效益”。DRESS使用强化学习来训练模型生成更符合人类偏好的响应，从而增强交互性并减少不切实际或不支持的陈述。

MixAlign处理用户提出的问题与系统检索的证据段落不直接对应的情况。例如，用户可能会问“中国的污染会恶化吗？”，而检索的段落讨论的是全球污染趋势。在这种情况下，MixAlign明确地向用户询问如何将问题与检索的信息相关联，以避免在不充分的上下文中产生幻觉。这种人机交互机制允许获取反馈以正确地使证据有根据并上下文化，防止不基于事实的响应。

自我反思技术训练LLM来评估、提供反馈和迭代改进其自身的响应，使用多任务方法。例如，给定一个医疗查询的响应，模型学习评分其事实准确性，识别任何矛盾或不支持的陈述，并通过检索相关知识来编辑这些陈述。通过教导LLM这种检查、批评和迭代改进自身输出的反馈循环，减少了盲目幻觉的产生。

提示调优

提示调优允许在微调期间调整提供给LLM的指示性提示以获得期望的行为。

SynTra方法采用了一种合成摘要任务来最小化幻觉，然后将模型转移到真实的摘要数据集。这种合成任务提供输入段落，并要求模型仅通过检索来总结它们，而不进行抽象。这训练模型完全依赖来源内容，而不是在总结时产生新的信息。SynTra被证明可以在微调模型部署到目标任务时减少幻觉问题。

UPRISE训练一个通用提示检索器，为少样本学习的下游任务提供最优的软提示。通过检索在多样任务上调优的有效提示，模型学习泛化和适应新任务，即使它缺乏训练示例。这种方法增强了性能，而无需任务特定的调优。

新型模型架构

FLEEK是一个专注于协助人类事实核查员和验证者的系统。它自动识别给定文本中可能需要验证的潜在事实性陈述。FLEEK将这些需要核查的陈述转换为查询，检索相关证据从知识库中，并为人类验证者提供这些上下文信息，以有效地验证文档的准确性和修订需求。

CAD解码方法通过上下文感知解码减少了语言生成中的幻觉。具体来说，CAD放大了LLM的输出分布在条件化上下文和无条件生成之间的差异。这阻止了模型违背上下文证据，引导模型朝着有根据的生成方向发展。

DoLA通过对变换器网络不同层的对数概率进行对比来减轻事实幻觉。由于事实知识往往局限于某些中间层，通过DoLA的对数概率对比来放大这些事实层的信号，减少了不正确的事实生成。

THAM框架在训练期间引入了一个正则化项，以最小化输入和幻觉输出之间的互信息。这有助于增加模型对给定输入上下文的依赖，而不是无限制的想象，减少了盲目幻觉。

知识基础

将LLM的生成内容基础于结构化知识，防止无限制的推测和编造。

RHO模型在对话上下文中识别实体，并将它们链接到知识图谱（KG）。关于这些实体的相关事实和关系从KG中检索，并融入提供给LLM的上下文表示中。这一知识丰富的上下文引导减少了对话中的幻觉，通过保持响应与提到的实体/事件的事实相关联。

HAR创建了包含模型生成幻觉的对比训练数据集，以更好地教导模型基础知识。给定一个事实段落，模型被提示引入幻觉或扭曲，生成一个改变后的对比版本。对这些数据进行微调迫使模型更好地将内容基础于原始的事实来源，减少即兴发挥。

监督微调

• Coach – 一个交互框架，回答用户查询，同时也要求纠正以改进。
• R-Tuning – 拒绝意识微调，识别出通过训练数据知识缺口确定的不支持的查询。
• TWEAK – 一个解码方法，根据假设支持输入事实的程度对生成内容进行排名。

挑战和局限性

尽管取得了有希望的进展，但仍有一些关键挑战需要解决：

• 技术通常在质量、连贯性和创造性与真实性之间进行权衡。
• 难以进行严格的评估，超出了有限的领域。指标无法捕捉所有细微差别。
• 计算成本高 – 许多方法需要大量的检索或自我推理。
• 严重依赖训练数据质量和外部知识来源。
• 难以保证在不同领域和模态中的普遍性。
• 幻觉的根本原因，如过度推广，仍然未被解决。

解决这些挑战可能需要采取多层次的方法，结合训练数据增强、模型架构改进、忠实度增强损失和推理时技术。

前路

LLM中的幻觉缓解仍然是一个开放的研究问题，目前正在取得积极的进展。一些有前途的未来方向包括：

• 混合技术 – 结合检索、知识基础和反馈等互补方法。
• 因果建模 – 增强理解和推理能力。
• 在线知识整合 – 保持世界知识的更新。
• 形式验证 – 为模型行为提供数学保证。
• 可解释性 – 将透明度构建到缓解技术中。

随着LLM在高风险领域的应用不断增多，开发强大的解决方案来遏制幻觉对于确保其安全、道德和可靠的部署至关重要。 本文中概述的技术提供了迄今为止提出的技术的概述，但仍有许多开放的研究挑战。 总体而言，增强模型的事实性的趋势是积极的，但继续进步需要解决局限性并探索新的方向，如因果关系、验证和混合方法。 通过各学科研究人员的勤勉努力，强大而值得信赖的LLM的梦想可以变成现实。