人工智能幻觉的解决方案：RAG是否是答案？

人工智能（AI）在设计上具有“自主思考”的能力，这也带来了一个缺点，即生成式人工智能模型会偶尔编造信息，这种现象被称为“人工智能幻觉”。早期的例子包括一位纽约法官 谴责 律师使用ChatGPT撰写的法律文件，该文件引用了不存在的法院案例。最近，还有AI生成的搜索引擎告诉用户为健康益处而 食用岩石 ，或使用非毒性 胶水 来帮助奶酪粘在披萨上。

随着GenAI变得越来越普遍，采用者必须认识到幻觉目前是GenAI解决方案的不可避免的方面。这些解决方案建立在大型语言模型（LLM）上，通常由大量不同来源的信息提供，这些信息可能包含一些不准确或过时的信息——这些虚构的答案占AI聊天机器人对用户提示的响应的 3%至10% 。鉴于AI的“ 黑盒 ”性质——我们很难检查AI如何生成其结果——这些幻觉对于开发人员来说几乎无法追踪和理解。

无论如何，AI幻觉都令人沮丧，甚至危险和不道德。

在包括医疗保健、金融和公共安全在内的各个领域，幻觉的影响包括传播虚假信息、泄露敏感数据，甚至危及生命。如果幻觉继续不受控制，用户和社会对AI系统的信任将受到损害。

因此，必须认识到并解决AI幻觉的风险，以确保LLM生成输出的可信度。

RAG作为解决幻觉的起点

一种减轻幻觉的方法是 检索增强生成 （RAG）。这种解决方案通过将外部信息存储集成到LLM中来增强LLM的可靠性——从根据查询性质选择的可信数据库中提取相关信息，以确保对特定查询的更可靠的响应。

一些行业 专家 认为RAG可以单独解决幻觉。但是，RAG集成的数据库仍然可能包含过时的数据，这可能会生成虚假或误导性的信息。在某些情况下，RAG的外部数据集成甚至可能增加大型语言模型中的幻觉可能性：如果AI模型过度依赖它认为是最新的但实际上已经过时的数据库，幻觉的程度可能会变得更加严重。

AI防护栏——弥补RAG的差距

如您所见，RAG在减轻AI幻觉方面确实具有潜力。然而，转向这些解决方案的行业和企业必须了解其固有的局限性。确实，当与RAG一起使用时，还有其他补充方法可以用来解决LLM幻觉。

例如，企业可以使用实时AI 防护栏 来保护LLM响应并减轻AI幻觉。防护栏作为一个网络，检查所有LLM输出是否有虚构、亵渎或离题内容，然后再将其提供给用户。这种主动的中间件方法确保了RAG系统中检索的可靠性和相关性，最终提高了用户的信任度，并确保了与公司品牌一致的安全交互。

或者，还有“提示工程”方法，它需要工程师修改后端主提示。通过向可接受的提示添加预先确定的约束——换句话说，不仅监控LLM从哪里获取信息，还监控用户如何询问答案——工程提示可以引导LLM朝着更可靠的结果发展。这种方法的主要缺点是这种提示工程对于程序员来说可能是一项非常耗时的任务，他们通常已经时间和资源紧张。

“微调”方法涉及在专用数据集上训练LLM以 改进性能 并减轻幻觉的风险。这种方法训练任务专用LLM从特定、可信域中提取信息，从而提高输出的准确性和可靠性。

考虑LLM推理性能的输入长度影响也很重要。事实上，许多用户倾向于认为他们的提示越长、参数越多，输出就会越准确。然而，最近的一项 研究 发现，LLM输出的准确性实际上会随着输入长度的增加而 降低 。因此，增加任何给定提示的指南数量不能保证生成可靠的生成式AI应用程序的一致可靠性。

这种被称为提示过载的现象凸显了过度复杂的提示设计的固有风险——提示越宽泛，LLM就越容易打开通往不准确信息和幻觉的大门，因为LLM会努力满足每个参数。

提示工程 需要不断更新和微调，但仍然难以有效地防止幻觉或无意义的响应。另一方面，防护栏不会产生额外的虚构输出风险，使其成为保护AI的有吸引力的选择。与提示工程不同，防护栏提供了一个全面的实时解决方案，确保生成式AI只会在预定义的边界内创建输出。

虽然用户反馈本身并不是解决方案，但也可以通过类似上下票的操作帮助减轻幻觉，从而改进模型、提高输出准确性并降低幻觉的风险。

仅凭RAG解决方案需要大量实验来实现准确的结果。但是，当与微调、提示工程和防护栏结合使用时，它们可以提供更有针对性和更高效的解决方案来解决幻觉。探索这些补充策略将继续改进LLM中的幻觉缓解，有助于在各个应用中开发更可靠、更值得信赖的模型。

RAG不是AI幻觉的解决方案

RAG解决方案通过用外部知识丰富LLM为其增添了巨大的价值。但是，鉴于人工智能仍然有很多未知之处，幻觉仍然是一个固有的挑战。解决它们的关键不在于试图消除它们，而是在于通过战略性的防护栏、审核流程和微调的提示来减轻它们的影响。

我们越能相信GenAI告诉我们的内容，我们就越能有效、有效地利用其强大的潜力。