思想领袖
如果您的AI出现幻觉,不要责怪AI

AI“幻觉”——那些听起来令人信服但实际上是错误的答案——吸引了大量媒体关注,例如最近的纽约时报文章,AI变得更加强大,但其幻觉也变得更加严重。在消费者聊天机器人中,幻觉是一个真正的危险。在商业应用中,这是一个更加严重的问题。幸运的是,作为商业技术领导者,我对此有更多的控制权。我可以确保代理有正确的数据来产生有意义的答案。
因为这是真正的问题。在商业中,没有借口让AI出现幻觉。停止责怪AI。责怪自己没有正确使用AI。
当生成式AI工具出现幻觉时,它们正在做它们被设计来做的事情——根据可用的数据提供最好的答案。当它们编造答案时,产生一个不基于现实的答案,这是因为它们缺乏相关数据,无法找到它,或者不理解问题。是的,像OpenAI的o3和o4-mini这样的新模型出现幻觉更多,更加“创造性”地处理它们无法回答的问题。是的,更加强大的工具可以出现更多幻觉——但如果我们正确设置它们,它们也可以产生更加强大和有价值的结果。
如果您不希望您的AI出现幻觉,请不要剥夺它的数据。为AI提供最好的、最相关的数据来解决您想要它解决的问题,它就不会被诱惑去歪路。
即使这样,当使用任何AI工具时,我建议保持您的批判性思维能力完整。AI代理提供的结果可以是高效和愉快的,但关键是不要关闭您的脑袋,让软件为您做所有的思考。继续提问。当AI代理给您一个答案时,质疑该答案,以确保它有意义并且有数据支持。如果是这样,那应该是一个令人鼓舞的迹象,表明它值得您花时间提问。
您提出的问题越多,您将获得越多的见解。
为什么会出现幻觉
这不是什么神秘的事情。AI并不是想欺骗您。每个大型语言模型(LLM)AI本质上都是根据概率预测下一个单词或数字。
在高层次上,发生的事情是LLM按照概率预测句子和段落中的下一个单词,基于其训练数据中的数十亿个例子。LLM的前身(除了Clippy)是文本消息和计算机代码的自动补全提示、自动人工语言翻译工具和其他概率语言系统。随着计算能力的增加和互联网规模的数据训练,这些系统变得足够“智能”,可以像ChatGPT的推出一样进行完整的对话。
AI怀疑论者喜欢指出,这与真正的“智能”不同,只是可以提炼和复制人类智慧的软件。如果要求它总结数据并撰写报告,它会模仿其他作家总结类似数据的方式。
只要数据正确,分析有用,这对我来说是一个学术上的争论。
如果AI没有数据怎么办?它会填补空白。有时很有趣,有时是一团糟。
当构建AI代理时,这个风险增加了10倍。代理应该提供可行的见解,但它们会在途中做出更多决定。它们执行多步骤任务,步骤1的结果会影响步骤2、3、4、5、…10、…20。如果步骤1的结果不正确,错误会被放大,使步骤20的输出变得更糟。特别是,代理可以做出决定并跳过步骤。
如果做得正确,代理会为部署它们的业务带来更多成果。然而,作为AI产品经理,我们必须认识到与更大回报相关的更大风险。
这就是我们的团队所做的。我们看到了风险,并解决了它。我们没有建造一个花哨的机器人;我们确保它运行在正确的数据上。以下是我认为我们做对了的事情:
- 构建代理以提出正确的问题并验证它是否具有正确的数据。确保代理的初始数据输入过程实际上更具确定性, menos“创造性”。您希望代理在没有正确数据时说出来,而不是继续下一步,而是编造数据。
- 为您的代理构建一个剧本——确保它不会每次都想出一个新计划,而是具有半结构化的方法。结构和上下文在数据收集和分析阶段至关重要。您可以让代理在有事实和准备撰写摘要时放松并表现得更“创造性”,但首先要确保事实正确。
- 构建一个高质量的工具来提取数据。这应该不仅仅是一个API调用。花时间编写代码(人们仍然这样做),以生成将要收集的正确数量和类型的数据,并在此过程中构建质量检查。
- 让代理显示其工作。代理应该引用其来源并链接到用户可以验证数据、从原始来源查看并进一步探索的位置。不能有任何手法!
- 防护栏:思考可能出错的地方,并构建防护措施以防止您绝对不能允许的错误。在我们的例子中,这意味着当代理任务分析市场时,如果没有数据(我指的是我们的Similarweb数据,而不是从网络中拉取的任意数据源),确保它不会编造东西是一个必不可少的防护栏。代理无法回答比提供虚假或误导性答案更好。
我们将这些原则融入了我们最近发布的三个新代理中,更多代理即将推出。例如,我们的AI会议准备代理不仅要求销售人员提供目标公司名称,还要求提供会议目标和与谁会面等详细信息,以便更好地回答问题。它不需要猜测,因为它使用了大量公司数据、数字数据和高管资料来告知其建议。
我们的代理是完美的吗?不。目前没有人能够创建完美的AI,即使是世界上最大的公司。但是,面对问题总比忽视它要好。
想要减少幻觉?给您的AI一大块高质量的数据。
如果它出现幻觉,也许不是AI需要修复。也许是您没有正确利用这些强大的新功能,没有投入时间和精力来做对。












