Ofer Klein, Reco 首席执行官 Ofer Klein Reco 首席执行官

隐藏的影子AI风险

大多数企业团队并没有计划让AI接管他们的工作流程。它从简单的工具开始，这些工具承诺更快的写作、更顺畅的会议和更好的客户洞察。员工在浏览器中安装了AI助手，将它们连接到电子邮件，添加到Zoom和Google Workspace中，并尝试使用Slack。但是，这些早期的试验比公司的控制措施更快地发展，并在整个公司的SaaS系统中传播，直到AI成为日常工作的一部分。这就是影子AI出现的原因，影子AI是现代企业中最被低估的风险之一。它在大多数组织内部生长，远在领导者们意识到它与敏感数据的深度联系之前。影子AI指的是在组织内部运行的AI工具，这些工具没有得到批准，没有可见性，往往也没有防护措施。一旦这些工具直接与Salesforce、Zoom或Microsoft 365等平台集成，它们就可以访问领导者认为是安全的信息。危险已经表现出来，包括合规性失败、未监控的数据流和AI代理采取的意外行动。我们已经与多家公司合作，这些公司认为他们有强大的安全计划。然而，当我们帮助他们调查SaaS环境时，他们发现了数百个未经授权的活跃AI连接。其中一些连接已经活跃了几个月，而其他连接属于已经离开公司的员工。影子AI在身份系统、权限层和安全团队很少审查的第三方集成中悄悄生长。不可见的数据管道故事通常从高尚的意图开始：一位销售代表想要写更好的电子邮件，或者一位客户成功经理想要重要会议的记录，或者一位工程师想要更快地审查代码。 AI工具使这些任务变得轻松，因此员工很快采用了它们。但是，采用只是第一步。许多这些工具通过OAuth、浏览器扩展或API密钥请求广泛的权限。一旦授予权限，它们就可以访问CRM记录、客户笔记、内部消息或机密源代码。我们已经看到接下来会发生什么。在一个案例中，一支团队发现连接到Salesforce的AI助手在一个周末内生成了超过400份报告。最初，每个人都认为这是一个系统故障。然而，AI获得了广泛的访问权限。它开始以人类分析师永远不会尝试的规模自动执行任务。敏感的销售预测和客户信息出现在它们不应该出现的地方，只是因为一个AI工具决定采取行动。另一家组织部署了AI转录服务，以帮助他们的客户面向团队。它记录了每次会议，并收集了有关定价、客户问题、即将到来的计划和竞争对手洞察的详细信息。所有这些信息都直接进入了一个没有协议也没有可见性的第三方系统。这种情况变得更加普遍，因为AI工具的行为与传统软件非常不同。它读取更多的数据，移动得更快，往往没有明确的界限。随着AI的采用加速，攻击面将继续扩大。特别是模型上下文协议的兴起，使AI更加强大，允许代理直接与企业数据交互。遗憾的是，这种便利也为供应链攻击和权限升级打开了新的门户。高管必须了解现代AI不适合公司仍然依赖的旧安全模型，因为这些AI工具生活在系统内部，而不是边缘，这使得它们更难被发现，也更难以管理。传统安全工具的局限性大多数安全计划都是为一个应用程序生活在公司网络内部、用户通过可预测的模式连接的世界而设计的。然而，AI已经打破了这种模式。现代工具生活在SaaS平台中，而不是公司服务器中。它们通过API进行通信，而不是通过网络。它们不断地读写数据，并且以传统监控系统无法解释的方式行事。我们的经验表明，组织经常低估其环境中AI工具的数量。许多组织不知道哪些集成是活跃的，也不知道这些权限存在了多久。其他组织假设单点登录或防火墙规则足以使他们安全。事实并非如此。影子AI在安全团队很少审查的身份系统、权限层和第三方集成中蓬勃发展。它隐藏在公司不常看的地方，也隐藏在员工安装的工具中，因为他们想更快地移动。向嵌入式AI的转变使得这项工作更加困难。像Microsoft 365、Google Workspace、Slack和Salesforce这样的平台现在带有内置的AI功能。有些功能默认启用，而其他功能可以通过单击激活。组织可能已经在不知不觉中使用AI功能，而不知道这些功能消耗了什么数据，也不知道这些系统如何存储输出。风险不仅来自于员工添加的内容，还来自于供应商引入的内容。重新控制影子AI不应被视为员工的失败。相反，它是技术进步迅速的自然结果，领导者需要可见性，而不是责备。第一步是假设影子AI存在，并开始绘制AI已经与关键系统交互的位置。第二步是创建一套批准的AI工具，以便团队可以安全地创新。阻止AI是不现实的，提供安全选项是唯一可持续的路径。实时监督也很重要。季度审查无法跟上可以在几小时内泄露数据的工具。组织需要对哪些AI代理是活跃的、它们持有什么权限以及这些权限是否与最小权限访问相符有持续的洞察力。当我们与高管团队合作时，我们鼓励他们提出直接的问题：哪些工具访问客户系统、哪些工具连接到生产环境以及哪些工具在用户离开后仍然活跃？我们已经看到组织将这种混乱转化为清晰。领导者一旦看到AI在系统内部的运行情况，就可以设定合适的限制，让团队安全地使用AI。这时，AI不再是风险，而是真正的优势。影子AI不是未来才会出现的东西。它已经存在。但是，能够在影子AI成为危机之前解决它的组织将会领导AI时代。