思想领袖
隐藏的影子AI风险

大多数企业团队并没有计划让AI接管他们的工作流程。它始于简单的工具,承诺更快的写作、更顺畅的会议和更好的客户洞察。员工在浏览器中安装了AI助手,将它们连接到电子邮件,添加到Zoom,并在Slack和Google Workspace中进行实验。
但那些早期的试验比企业控制更快地蔓延,遍及整个公司的SaaS系统,直到AI成为日常工作的一部分。这正是如何出现影子AI,现代企业中最被低估的风险之一。它在大多数组织内部长期存在,远在领导者们意识到它与敏感数据的深度联系之前。
影子AI指的是在组织内部运行的AI工具,未经批准、无可见性,且常常没有防护措施。一旦这些工具直接与Salesforce、Zoom或Microsoft 365等平台集成,它们将获得领导者认为是安全的信息的访问权限。危险已经表现出来,包括合规失败、未监控的数据流和AI代理采取的意外行动。
我们多年来一直与认为自己有强大安全计划的公司合作。然而,当我们帮助他们调查SaaS环境时,他们发现了数百个未经授权的活跃AI连接。其中一些连接已经活跃了几个月,而其他连接属于已经离开公司的员工。影子AI悄悄地增长,因为它比治理和大多数组织的检测速度更快。
不可见的数据管道
故事通常始于高尚的意图:一位销售代表想要写更好的电子邮件,或者一位客户成功经理想要重要会议的记录,或者一位工程师想要更快地审查代码。AI工具使这些任务变得轻松,员工迅速采用它们。但采用只是第一步。
许多这些工具通过OAuth、浏览器扩展或API密钥请求广泛的权限。一旦授予,它们将获得CRM记录、客户笔记、内部消息或机密源代码的访问权限。
我们已经看到接下来会发生什么。在一个案例中,一个团队发现连接到Salesforce的AI助手在一个周末内生成了超过四百份报告。最初,大家都以为这是一个系统故障。然而,AI获得了广泛的访问权限。它开始以人类分析师永远不会尝试的规模自动执行任务。敏感的销售预测和客户信息出现在它们不应该出现的地方,只是因为一个AI工具决定采取行动。
另一家组织部署了一个AI转录服务,以帮助他们的客户面向团队。它记录了每次会议,并收集了有关定价、客户问题、即将到来的计划和竞争对手洞察力的详细信息。所有这些信息都直接进入了一个第三方系统,没有任何协议,也没有可见性来查看数据如何存储或使用。这种情况变得越来越普遍,因为AI工具的行为与传统软件非常不同。它读取更多数据,移动速度更快,且常常没有明确的边界。
随着AI采用加速,攻击面将继续扩大。特别是模型上下文协议的崛起,使AI更加强大,允许代理直接与企业数据交互。不幸的是,这种便利也为供应链攻击和权限升级打开了新的门户。
高管必须了解现代AI不适合公司仍然依赖的旧安全模型,因为这些AI工具存在于系统内部,而不是边缘,这使得它们更难被发现,也更难管理。
传统安全工具的局限性
大多数安全计划都是为应用程序存在于企业网络内部、用户通过可预测的模式连接的世界而设计的。然而,AI已经打破了这种模式。现代工具存在于SaaS平台中,而不是企业服务器中。它们通过API进行通信,而不是通过网络。它们不断地读写数据,其行为方式是遗留的监控系统无法解释的。
我们的经验表明,组织经常低估其环境中AI工具的数量。许多不知道哪些集成是活跃的,或者这些权限存在了多久。其他人假设单点登录或防火墙规则足以使其安全。它们是不够的。影子AI在安全团队很少审查的身份系统、权限层和第三方集成中蓬勃发展。它隐藏在公司不看的地方和员工安装的工具中,因为他们想更快地移动。
向嵌入式AI的转变使得这项工作更加困难。Microsoft 365、Google Workspace、Slack和Salesforce等平台现在带有内置的AI功能。一些功能默认启用。其他功能可以通过单击激活。组织可能已经在不知不觉中使用AI功能,并不知道这些功能消耗了什么数据或这些系统如何存储输出。风险不仅来自于员工添加的内容,还来自于供应商引入的内容。
重新控制
影子AI不应被视为员工的失败。相反,它是快速技术进步的自然结果,领导者需要可见性,而不是责备。第一步是假设影子AI存在,并开始绘制AI已经与关键系统交互的位置。第二步是创建一套批准的AI工具,以便团队可以安全地创新。阻止AI是不现实的,提供安全选项是唯一可持续的路径。
实时监督也是必不可少的。季度审查无法跟上可以在几小时内泄露数据的工具。组织需要对哪些AI代理是活跃的、它们持有什么权限以及这些权限是否与最小权限访问相符有连续的洞察力。当我们与高管团队合作时,我们鼓励他们提出直接的问题:哪些工具访问客户系统、哪些工具连接到生产环境以及哪些工具在用户离开后仍然活跃?
我们已经看到组织如何将这种混乱转化为清晰。领导者一旦看到AI在其系统内部的运行位置,就可以实施正确的限制,并让团队安全地使用AI。那时AI就不再是风险,而成为真正的优势。
影子AI不是未来才会出现的东西。它已经存在。但是,能够在它发展成危机之前解决它的组织将会领导AI时代。
