利兰·哈森（Liran Hason）是Aporia的联合创始人和CEO，Aporia是一家领先的AI控制平台，受到全球Fortune 500公司和行业领袖的信任，以确保GenAI的可靠性。Aporia还被世界经济论坛认可为技术先锋。在创立Aporia之前，利兰曾是Adallom（被微软收购）的ML架构师，后来成为Vertex Ventures的投资者。利兰在亲眼目睹了AI无防护措施的影响后创立了Aporia。2022年，福布斯将Aporia评为“下一个十亿美元公司”。
人工智能（AI）在设计上具有“自主思考”的能力，这也带来了一个缺点，即生成式人工智能模型会偶尔编造信息，这种现象被称为“人工智能幻觉”。早期的例子包括一位纽约法官 谴责 律师使用ChatGPT撰写的法律文件，该文件引用了不存在的法院案例。最近，还有AI生成的搜索引擎告诉用户为健康益处而 食用岩石 ，或使用非毒性 胶水 来帮助奶酪粘在披萨上。随着GenAI变得越来越普遍，采用者必须认识到幻觉目前是GenAI解决方案的不可避免的方面。这些解决方案建立在大型语言模型（LLM）上，通常由大量不同来源的信息提供，这些信息可能包含一些不准确或过时的信息——这些虚构的答案占AI聊天机器人对用户提示的响应的 3%至10% 。鉴于AI的“ 黑盒 ”性质——我们很难检查AI如何生成其结果——这些幻觉对于开发人员来说几乎无法追踪和理解。无论如何，AI幻觉都令人沮丧，甚至危险和不道德。在包括医疗保健、金融和公共安全在内的各个领域，幻觉的影响包括传播虚假信息、泄露敏感数据，甚至危及生命。如果幻觉继续不受控制，用户和社会对AI系统的信任将受到损害。因此，必须认识到并解决AI幻觉的风险，以确保LLM生成输出的可信度。RAG作为解决幻觉的起点一种减轻幻觉的方法是 检索增强生成 （RAG）。这种解决方案通过将外部信息存储集成到LLM中来增强LLM的可靠性——从根据查询性质选择的可信数据库中提取相关信息，以确保对特定查询的更可靠的响应。一些行业 专家 认为RAG可以单独解决幻觉。但是，RAG集成的数据库仍然可能包含过时的数据，这可能会生成虚假或误导性的信息。在某些情况下，RAG的外部数据集成甚至可能增加大型语言模型中的幻觉可能性：如果AI模型过度依赖它认为是最新的但实际上已经过时的数据库，幻觉的程度可能会变得更加严重。AI防护栏——弥补RAG的差距如您所见，RAG在减轻AI幻觉方面确实具有潜力。然而，转向这些解决方案的行业和企业必须了解其固有的局限性。确实，当与RAG一起使用时，还有其他补充方法可以用来解决LLM幻觉。例如，企业可以使用实时AI 防护栏 来保护LLM响应并减轻AI幻觉。防护栏作为一个网络，检查所有LLM输出是否有虚构、亵渎或离题内容，然后再将其提供给用户。这种主动的中间件方法确保了RAG系统中检索的可靠性和相关性，最终提高了用户的信任度，并确保了与公司品牌一致的安全交互。或者，还有“提示工程”方法，它需要工程师修改后端主提示。通过向可接受的提示添加预先确定的约束——换句话说，不仅监控LLM从哪里获取信息，还监控用户如何询问答案——工程提示可以引导LLM朝着更可靠的结果发展。这种方法的主要缺点是这种提示工程对于程序员来说可能是一项非常耗时的任务，他们通常已经时间和资源紧张。“微调”方法涉及在专用数据集上训练LLM以 改进性能 并减轻幻觉的风险。这种方法训练任务专用LLM从特定、可信域中提取信息，从而提高输出的准确性和可靠性。考虑LLM推理性能的输入长度影响也很重要。事实上，许多用户倾向于认为他们的提示越长、参数越多，输出就会越准确。然而，最近的一项 研究 发现，LLM输出的准确性实际上会随着输入长度的增加而 降低 。因此，增加任何给定提示的指南数量不能保证生成可靠的生成式AI应用程序的一致可靠性。这种被称为提示过载的现象凸显了过度复杂的提示设计的固有风险——提示越宽泛，LLM就越容易打开通往不准确信息和幻觉的大门，因为LLM会努力满足每个参数。提示工程 需要不断更新和微调，但仍然难以有效地防止幻觉或无意义的响应。另一方面，防护栏不会产生额外的虚构输出风险，使其成为保护AI的有吸引力的选择。与提示工程不同，防护栏提供了一个全面的实时解决方案，确保生成式AI只会在预定义的边界内创建输出。虽然用户反馈本身并不是解决方案，但也可以通过类似上下票的操作帮助减轻幻觉，从而改进模型、提高输出准确性并降低幻觉的风险。仅凭RAG解决方案需要大量实验来实现准确的结果。但是，当与微调、提示工程和防护栏结合使用时，它们可以提供更有针对性和更高效的解决方案来解决幻觉。探索这些补充策略将继续改进LLM中的幻觉缓解，有助于在各个应用中开发更可靠、更值得信赖的模型。RAG不是AI幻觉的解决方案RAG解决方案通过用外部知识丰富LLM为其增添了巨大的价值。但是，鉴于人工智能仍然有很多未知之处，幻觉仍然是一个固有的挑战。解决它们的关键不在于试图消除它们，而是在于通过战略性的防护栏、审核流程和微调的提示来减轻它们的影响。我们越能相信GenAI告诉我们的内容，我们就越能有效、有效地利用其强大的潜力。
在现代技术迅速发展的领域中，”负责任的 AI” 的概念已经出现，以解决和减轻由 AI 幻觉、误用和恶意的人为意图引起的问题。然而，它已经证明是一个多方面的挑战，因为它包含了各种关键元素，包括偏见、性能和道德。虽然量化性能和预测结果可能看起来很简单，但解决复杂的问题，如偏见、不断变化的法规和道德考虑，证明是一个更复杂的任务。负责任的 AI 的定义是主观的，引发了关于谁应该有权决定什么构成负责任的 AI 的关键问题。在这种情况下，我们面临着双重任务：首先，确定决定负责任的 AI 的基础支柱，第二，分解这些关键支柱的基本组成部分。偏见和道德 AI 的挑战AI 面临着固有的偏见挑战，这是一种复杂性，既复杂又可以通过彻底的分析来识别。识别歧视和公平性指标很困难，因为偏见可以在各种形式中出现在 AI 模型或产品中，其中一些可能不容易被观察到。跨利益相关者（包括潜在的政府参与）的合作努力对于确保全面有效的缓解策略至关重要。道德考虑需要积极地让公众参与讨论和决策，以一种民主的方式接受广泛的多样化观点，并包括政府机构的监督。一个通用的标准本质上不适合 AI 领域，强调了需要涉及伦理学家、技术专家和政策制定者的跨学科观点。平衡 AI 进步与社会价值对于有意义的技术进步至关重要，这些进步将造福人类。AI 幻觉和缺乏可解释性在 AI 的动态领域中，无法解释的预测的后果是深远的，特别是在决策具有巨大重量的关键应用中。超越简单的错误，这些后果深入到像金融、医疗保健和个人福祉等领域的复杂性中。在美国，金融机构和银行被法律要求在拒绝某人贷款时提供明确的解释，基于 AI 预测。这一法律要求强调了金融领域中 可解释性...
为了保护人们免受 AI 的潜在危害，美国和欧洲联盟的一些监管机构越来越倡导对开放源码 AI 模型的控制和制衡。这部分是由大公司控制 AI 开发和塑造 AI 发展以造福自己的愿望所驱动的。监管机构还担心 AI 发展的速度，因为他们担心 AI 发展太快，可能没有足够的时间建立防止其被用于恶意目的的保障措施。美国的 AI 权利法案和 NIST AI 风险管理框架，以及欧盟的 AI 法案，支持诸如准确性、安全性、非歧视性、安全性、透明度、问责制、可解释性、可理解性和数据隐私等原则。另外，欧盟和美国都预计标准化组织，无论是政府还是国际实体，都将在为 AI 建立指南方面发挥至关重要的作用。在这种情况下，为了实现一个透明和开放的 AI 未来，必须努力使 AI 系统能够被检查和监控。这将使全球的开发人员能够彻底检查、分析和改进...
