人工智能
使用检索增强生成（RAG）克服大语言模型的幻觉
大语言模型（LLM）正在改变我们处理和生成语言的方式，但它们并不完美。就像人类可能在云中看到形状或在月球上看到面孔一样，LLM也可能“幻觉”，生成不准确的信息。这一现象，被称为LLM幻觉，随着LLM的使用而变得越来越令人担忧。
错误可能会让用户感到困惑，并在某些情况下甚至导致公司面临法律问题。例如，在2023年，空军退伍军人Jeffery Battle（也被称为The Aerospace Professor）对微软提起诉讼，因为微软的ChatGPT驱动的Bing搜索有时会提供关于他的名字搜索的不准确和有害信息。搜索引擎将他与被定罪的罪犯Jeffery Leon Battle混淆起来。
为了解决幻觉问题，检索增强生成（RAG）已经成为一个有前途的解决方案。它将外部数据库的知识融入其中，以提高LLM的输出准确性和可靠性。让我们更详细地了解RAG如何使LLM更加准确和可靠。我们还将讨论RAG是否能够有效地减轻LLM幻觉问题。
了解LLM幻觉：原因和例子
LLM，包括著名的模型如ChatGPT、ChatGLM和Claude，是在大量文本数据集上训练的，但它们并不能免于产生事实上不正确的输出，这种现象被称为“幻觉”。幻觉发生是因为LLM被训练为根据潜在的语言规则生成有意义的响应，而不考虑其事实上的准确性。
Tidio的一项研究发现，虽然72%的用户认为LLM是可靠的，但75%的用户至少一次从AI那里收到了不正确的信息。甚至最有前途的LLM模型，如GPT-3.5和GPT-4，有时也会产生不准确或无意义的内容。
以下是常见的LLM幻觉类型的简要概述：
常见的AI幻觉类型：
- 源混淆： 这种情况发生在模型将来自不同源的细节合并时，导致矛盾或甚至虚构的源。
- 事实错误： LLM可能会生成具有不准确事实基础的内容，特别是考虑到互联网的固有不准确性。
- 无意义的信息： LLM根据概率预测下一个单词。它可能会导致语法正确但无意义的文本，误导用户关于内容的权威性。
去年，两名律师因在法庭文件中引用六个不存在的案例而面临可能的处罚，因为他们被ChatGPT生成的信息误导。这个例子强调了以批判的眼光对待LLM生成的内容的重要性，强调了验证以确保可靠性的必要性。虽然其创造能力使其在故事讲述等应用中受益，但它在需要严格遵守事实的任务中（如进行学术研究、撰写医疗和财务分析报告以及提供法律建议）带来了挑战。
探索解决LLM幻觉的解决方案：检索增强生成（RAG）如何工作
2020年，LLM研究人员引入了一种称为检索增强生成（RAG）的技术，以减轻LLM幻觉，方法是将外部数据源集成到模型中。与传统的仅依赖预训练知识的LLM不同，基于RAG的LLM模型通过从外部数据库中动态检索相关信息来生成事实上准确的响应。
RAG过程分解：
RAG过程步骤：来源
步骤1：检索
系统在特定的知识库中搜索与用户查询相关的信息。例如，如果有人询问上一个足球世界杯的冠军，它将寻找最相关的足球信息。
步骤2：增强
原始查询然后用找到的信息增强。使用足球的例子，查询“谁赢得了足球世界杯？”被更新为“阿根廷赢得了足球世界杯”等具体细节。
步骤3：生成
使用增强的查询，LLM生成一个详细和准确的响应。在我们的例子中，它将根据关于阿根廷赢得世界杯的增强信息来制作一个响应。
这种方法有助于减少不准确性，并确保LLM的响应更加可靠和基于准确的数据。
RAG在减少幻觉方面的优缺点
RAG已经显示出通过修复生成过程来减少幻觉的潜力。这种机制允许RAG模型提供更准确、更及时和更相关的信息。
当然，讨论检索增强生成（RAG）在更广泛的意义上可以更好地理解其在不同实现中的优缺点。
RAG的优势：
- 更好的信息搜索： RAG可以快速从大型数据源中找到准确的信息。
- 改进的内容： 它为用户需要的内容创建清晰、匹配的内容。
- 灵活的使用： 用户可以调整RAG以满足其特定的需求，例如使用其专有数据源，从而提高其有效性。
RAG的挑战：
- 需要特定的数据： 准确地理解查询上下文以提供相关和准确的信息可能很困难。
- 可扩展性： 扩展模型以处理大型数据集和查询，同时保持性能，是一项具有挑战性的任务。
- 持续更新： 自动用最新信息更新知识数据集需要大量资源。
探索RAG的替代方法
除了RAG之外，以下是一些其他有前途的方法，允许LLM研究人员减少幻觉：
- G-EVAL： 通过使用可信的数据集来验证生成内容的准确性，从而提高可靠性。
- SelfCheckGPT： 自动检查和修复其自身的错误，以保持输出的准确性和一致性。
- 提示工程： 帮助用户设计精确的输入提示，以引导模型生成准确和相关的响应。
- 微调： 调整模型以适应特定任务的数据集，从而提高特定领域的性能。
- LoRA（低秩适应）： 该方法修改模型参数的一小部分以适应特定任务，从而提高效率。
对RAG和其替代方法的探索凸显了改进LLM准确性和可靠性的动态和多方面的方法。随着我们继续前进，持续创新技术如RAG对于解决LLM固有的挑战至关重要。
要了解最新的AI和机器学习发展，包括深入分析和新闻，请访问unite.ai。
