人工智能
使用检索增强生成（RAG）克服大语言模型的幻觉
大语言模型（LLM）正在改变我们处理和生成语言的方式，但它们并不完美。就像人类可能在云中看到形状或在月球上看到脸一样，LLM也可能“幻觉”，创建不准确的信息。这一现象，被称为LLM幻觉，随着LLM的使用而变得越来越令人担忧。
错误可能会让用户感到困惑，并在某些情况下甚至导致公司面临法律问题。例如，在2023年，空军退伍军人杰弗里·巴特尔（也被称为航空教授）对微软提起诉讼，因为微软的ChatGPT驱动的Bing搜索有时会提供关于他的名字搜索的不准确和有害信息。搜索引擎将他与被定罪的罪犯杰弗里·莱昂·巴特尔混淆。
为了解决幻觉问题，检索增强生成（RAG）已经成为一个有前途的解决方案。它将外部数据库的知识纳入，以提高LLM的结果准确性和可信度。让我们更详细地了解RAG如何使LLM更加准确和可靠。我们还将讨论RAG是否可以有效地对抗LLM幻觉问题。
了解LLM幻觉：原因和例子
LLM，包括著名的模型如ChatGPT、ChatGLM和Claude，是在大量文本数据集上训练的，但它们也会产生事实上不正确的输出，这种现象被称为“幻觉”。幻觉是因为LLM被训练为根据潜在的语言规则生成有意义的响应，而不考虑其事实准确性。
一项Tidio研究发现，虽然72%的用户认为LLM是可靠的，但75%的用户至少一次从AI那里收到了不正确的信息。甚至最有前途的LLM模型，如GPT-3.5和GPT-4，也有时会产生不准确或无意义的内容。
以下是LLM幻觉的常见类型的简要概述：
常见的AI幻觉类型：
- 源混淆：这种情况发生在模型合并来自不同来源的细节时，导致矛盾或甚至虚构的来源。
- 事实错误：LLM可能会生成具有不准确事实基础的内容，尤其是考虑到互联网的固有不准确性
- 无意义的信息：LLM根据概率预测下一个单词。这可能会导致语法正确但无意义的文本，误导用户关于内容的权威性。
去年，两名律师因在法庭文件中引用六个不存在的案例而面临可能的处罚，因为他们被ChatGPT生成的信息误导。这一例子强调了以批判的眼光对待LLM生成的内容的重要性，强调了验证以确保可靠性的必要性。虽然其创造能力在应用如故事创作方面有益，但在需要严格遵守事实的任务中，如进行学术研究、撰写医疗和财务分析报告以及提供法律建议，它带来了挑战。
探索解决LLM幻觉的方法：检索增强生成（RAG）如何工作
2020年，LLM研究人员引入了一种称为检索增强生成（RAG）的技术，以减轻LLM幻觉，方法是将外部数据源集成到模型中。与仅依赖预训练知识的传统LLM不同，RAG基于LLM模型通过动态检索外部数据库中的相关信息来生成事实上准确的响应。
RAG过程分解：
RAG过程步骤：来源
步骤1：检索
系统在特定的知识库中搜索与用户查询相关的信息。例如，如果有人询问最后一届足球世界杯的冠军，它会寻找最相关的足球信息。
步骤2：增强
原始查询然后用找到的信息增强。使用足球的例子，查询“谁赢得了足球世界杯？”被更新为带有具体细节的查询，如“阿根廷赢得了足球世界杯。”
步骤3：生成
使用增强的查询，LLM生成一个详细和准确的响应。在我们的例子中，它会根据增强的信息创建一个关于阿根廷赢得世界杯的响应。
这种方法有助于减少不准确性，并确保LLM的响应更加可靠和基于准确的数据。
RAG在减少幻觉方面的优缺点
RAG已经显示出减少幻觉的潜力，方法是修复生成过程。这种机制允许RAG模型提供更准确、更及时和更相关的信息。
当然，讨论检索增强生成（RAG）在更广泛的意义上可以更好地理解其在不同实现中的优势和局限性。
RAG的优势：
- 更好的信息搜索：RAG可以快速从大型数据源中找到准确的信息。
- 改进的内容：它创建了清晰、匹配的内容，以满足用户的需求。
- 灵活的使用：用户可以调整RAG以适应他们的特定需求，例如使用他们的专有数据源，以提高有效性。
RAG的挑战：
- 需要特定的数据：准确地理解查询上下文以提供相关和准确的信息可能很困难。
- 可扩展性：扩展模型以处理大型数据集和查询，同时保持性能，是一个挑战。
- 持续更新：自动更新知识数据集以获取最新信息是一个资源密集的过程。
探索RAG的替代方法
除了RAG之外，还有一些其他有前途的方法可以帮助LLM研究人员减少幻觉：
- G-EVAL：交叉验证生成内容的准确性与可信数据集，以提高可靠性。
- SelfCheckGPT：自动检查和修复其自身错误，以保持输出准确和一致。
- 提示工程：帮助用户设计精确的输入提示，以引导模型生成准确和相关的响应。
- 微调：调整模型以适应特定任务的数据集，以提高特定领域的性能。
- LoRA（低秩适应）：这种方法修改模型参数的一小部分以适应特定任务，提高效率。
探索RAG及其替代方法突出了改进LLM准确性和可靠性的动态和多方面的方法。随着我们继续前进，创新技术如RAG对于解决LLM幻觉的固有挑战至关重要。
要随时了解最新的AI和机器学习发展，包括深入分析和新闻，请访问unite.ai。
