思想领袖

扩大 AI 智能体的应用规模前,先问问它们不知道什么

Dror Nadler
将 Unite.AI 添加到您在 Google 上的首选来源
要点当智能体省略了过期申报日期或财年日历差异等背景信息时,自信的答案就会失败。
查看更多
  • 当智能体省略了过期申报日期或财年日历差异等背景信息时,自信的答案就会失败。
  • 近六成企业将自信但错误的AI答案归因于业务背景信息缺失或不完整。
  • 人工审核必须与风险程度相匹配,因为正确数据若以错误方式共享仍可能违反法规。

设想这样一个场景:一位首席财务官正准备与一家大型机构投资者会面。为了协助筹备会议,投资者关系(IR)团队请 AI 工具搜集一些背景信息,例如上次与该机构会面的日期、对方表达的优先事项、持股数量等。

该工具信心十足地表示,这位投资者持有 250 万股。没人对此提出异议,首席财务官也继续全力准备这场重要谈话。

但问题来了:AI 从一份13F 表格申报文件中提取了这个数字,而这类文件反映的是截至上一季度末的持股情况。这些信息在申报时确实准确无误……但如今已经是几个月前的数据了。与此同时,这位投资者已悄然卖出 200 万股,大幅减持了持仓。会议议程(甚至可能连会议本身!)似乎都已不再适用。

问题出在哪里?在这个情境中,AI 并没有产生幻觉,也没有捏造数字。它检索到的信息确实真实有效,却没有说明这些信息的适用条件或局限性。

在这个案例中,后果或许只是谈话变得尴尬,或错失机会;但在其他情况下,同样缺乏关键背景、却显得斩钉截铁的回答,可能带来更大的风险。

模型更强,不一定就能解决问题

基础模型正变得越来越强。那么,为什么听起来信心十足、实际却错得离谱的回答似乎反而越来越常见?各行各业的企业都在应对这一问题。

首先,生成式人工智能(GenAI)已无处不在。根据 McKinsey 的《2026 年 AI 现状》报告,近十分之九的商业从业者表示,他们所在的组织经常在至少一项业务职能中使用 AI。

随着组织逐渐摆脱试验阶段,越来越依赖 AI 处理日常业务任务和决策,它们也开始遭遇这些工具在知识和理解能力方面的局限。

近期一项行业调查揭示了这类问题的常见根源:仅在过去六个月里,就有近十分之六的企业(57%)发现,AI 智能体给出听起来信心十足、实际却错误的答案,原因是缺少或缺乏完整的业务背景信息。

考虑到 AI 能获取的数据如此丰富,这或许令人意外。但有一个重要区别需要厘清:背景信息并不等同于数据。

什么是背景信息,什么又不是

背景信息可以涵盖组织内部知识、规则的例外情况、人际关系、工作流程,以及工作开展方式方面的预期——这些细微之处往往各家公司独有。

在我与投资者关系团队合作时,我深切体会到这些区别的重要性。以下是几个看似简单的例子:

  • 财年日历:一家公司的第一季度可能与日历年第一季度一致,另一家公司的第一季度却可能从九月开始。缺少这一背景信息,AI 智能体就可能拿错报告期的数据进行比较。
  • 财务指标:一家组织可能同时报告 GAAP 和非 GAAP 每股收益。如果智能体不清楚应引用哪种指标(以及何时引用),就可能歪曲公司的业绩表现。
  • 公司叙事:公司的对外表述会随着时间推移而演变,体现了公司经过审慎考虑后决定强调什么、略去什么。如果不了解其历史脉络和背后的考量,AI 智能体生成的内容就可能损害公司精心构建的叙事。

因此,同一个底层模型在不同公司可能给出截然不同的结果,这并不奇怪;结果取决于模型可获取的背景信息和专业知识。

专门针对特定行业打造的 AI(也称“垂直领域 AI”)有助于弥补其中一些缺口,因为它能够识别特定领域的专业知识、工作流程和细微特点。但即使是最先进的技术,也无法捕捉组织掌握的全部知识,因此人的作用同样不可或缺。

AI 不知道你业务中的哪些事

但人不会永远留在岗位上。想想看,一位经验丰富的投资者关系专员(IRO)在公司工作了五年后离职,会发生什么。他们很可能一直在寻找并锁定潜在投资者、分析股东活动、维护关系、筹备财报发布,还要为高管做准备……以及处理许多其他工作。

公司会保留财报讲稿、演示文稿和其他文件。但支撑这些材料的组织内部知识呢?其中很大一部分也会随着员工离职而流失。尤其值得注意的是,近十分之八的 IRO(78%)都没有明确的继任人选。

因此,组织需要付出努力,以 AI 系统能够利用的方式保存知识和理解。仅仅把 AI 智能体接入共享云盘,往往并不足够。

以系统化的方式记录关键知识和工作流程,对各行各业的企业都很重要。这些内容包括关键决策背后的考量、关系往来的历史,以及其他对业务至关重要、却从未写入正式文件的信息。

而要让这样的知识库发挥作用,离不开人的参与:既要有人记录信息,也要有人运用判断力处理这些信息。人工智能可以帮助整理知识,但技术往往会遗漏关键背景,而这些背景需要员工来补充。

在高风险环境中,背景信息缺失会造成严重后果

我们已经讨论过人工智能答错时会发生什么。但有时,人工智能代理检索到的信息本身完全正确——准确、及时且相关——却仍然可能因为在不恰当的情况下分享这些信息而引发问题。

在受到严格监管的行业,这类失误尤其代价高昂。

例如,在投资者关系领域,如果向分析师或投资者披露重大非公开信息(MNPI),例如尚未发布的财务业绩,就可能违反美国证券交易委员会(SEC)的公平披露条例(Reg FD),并可能导致经济处罚和声誉受损。

医疗保健、金融服务和法律服务等其他行业也面临类似的监管风险。这凸显了在人工智能代理能够接触敏感信息时设置防护措施的必要性。

这也说明了人类为何仍不可或缺:审查并批准对外传达的内容,离不开人的参与。企业可以考虑让人工审查的力度与潜在风险相匹配,并根据不同人工智能工作流程的性质,赋予其不同程度的自主权。

扩大人工智能代理应用规模前要问的三个问题

我们大概都曾在工作或日常生活中遇到这样的情况:不知道自己有哪些未知之处。有时,后果无关紧要;有时,情况则会严重得多。

如今,人工智能可以使用规模庞大的数据集,模型掌握的信息也多得多……但当信息存在缺口时,它们仍需要主动“指出来”。因此,随着企业运用人工智能处理更多战略重点事项和工作流程,在扩大应用规模前,重要的是先提出以下问题:

  • 我们的代理能否说明答案的来源,以及相关信息最后一次更新的时间?即使没有人询问,它也能主动提供这些信息吗?
  • 代理是否掌握解读请求并作出回应所需的业务背景?它会说明自身的局限吗?
  • 我们是否知道何时需要有人介入,进行审查和批准?什么情况下需要介入,又会如何触发审查?

解决之道不是避开人工智能

我想明确表明:我看好人工智能。我每天都会在工作中使用它,也看得到它当前和未来的益处;在我看来,在许多方面,我们才刚刚触及人工智能潜力的表面。我毫不怀疑,避开人工智能的企业,以及未能以有条理、有效的方式部署人工智能的企业,都确实面临落后的风险。

但采用人工智能,并不意味着让通用模型访问企业数据,然后任由它随意行事。

就目前而言,据我所知,完全自主的人工智能并不适用于每一项业务任务或决策。企业需要弄清楚哪些工作可以由人工智能独立完成,哪些工作需要补充背景信息,以及哪些环节绝不能缺少人的判断。

因此,在询问人工智能代理知道什么之前,先问问它不知道什么。答案将决定你如何部署它、信任它完成哪些工作,以及如何为它创造成功所需的条件。

Dror Nadler担任Q4 Inc.的首席产品官,负责领导产品战略与创新,帮助投资者关系团队借助人工智能、数据和技术更高效地开展工作。他拥有超过25年的企业技术、SaaS和金融服务领域经验,曾在Intralinks、Cellrox、Rapid7和EMC担任领导职务。纵观其职业生涯,Dror一直专注于开发和扩展技术产品、推动创新并加速业务增长。他拥有Boston University的高管工商管理硕士学位、Harvard University的信息技术硕士学位,以及Reichman University的法律学位。