暗影AI丛林：为什么平台审批并不等同于确保所建内容的安全

企业AI采用远非一帆风顺。数据控制、法规遵从和安全问题伴随着每个阶段的旅程。但随着组织在Microsoft、Salesforce和ServiceNow等主要平台上扩大运营，人们越来越感到最艰难的治理问题至少部分得到了解决。企业协议已经到位。安全审查已经完成。平台已经获得批准。

然而，这种信心往往忽略了一个完全不同的问题：不是平台是否安全，而是谁在建造什么。

在各个行业中，一个安静的革命正在进行，非技术员工使用企业AI平台创建自主代理、自动化工作流和数据连接应用，通常只需几分钟，无需编写一行代码。摆脱传统开发时间表和限制，这些构建者是组织效率的福音。但这些工具从未被安全团队审查。在许多情况下，安全团队甚至不知道它们的存在。

这些工具，无论被归类为应用、代理还是自动化，都属于一个日益增长的问题，称为暗影AI，这代表了十年来企业风险最显著的转变，仅仅是因为威胁已经转移到内部。

最初的暗影IT问题相对简单：员工正在使用未经授权的外部工具，安全的工作是找到并阻止它们。暗影AI是一个完全不同的挑战。工具位于您已批准的平台内。构建它们的人是您自己的员工。他们使用的访问权限是合法的。并且没有任何安全流程能够在问题到达生产之前捕获它们。

使得这个问题特别难以解决的是规模。大多数安全领导者严重低估了在自己的环境中正在构建的内容。最近的研究发现，来自200多家企业CISO和安全领导者的研究发现，平均而言，企业安全团队只能追踪到44%的AI代理、自动化和应用，这些是由业务用户创建的。这不是一个差距，这是一个盲点，覆盖了大部分正在运行的内容。

原因很简单：业务用户现在在一些组织中以10比1的比例超过专业开发人员。他们在每个部门不断构建，使用设计为易于构建的平台，并被C级高管鼓励构建。安全团队围绕开发人员管道和代码仓库进行定位。他们从未被设计为监视这一点。

最常见的误解是，批准一个平台就能解决安全问题。事实并非如此，它只是将问题转移了。 当一个企业与Microsoft、Salesforce或UiPath签订协议时，平台提供商确保了其基础设施的安全性。但员工在其上面构建的内容以及他们如何配置它，完全是企业的责任。

问题在于，业务用户创建的工具不像传统的软件。没有代码可以扫描，没有仓库可以监视，没有管道可以检查。通过菜单和文本提示构建的AI代理，对于大多数安全工具来说是不可见的。

然而，这些工具远非微不足道。研究发现，超过一半的CISO确认，业务用户构建的应用程序现在支持业务关键流程，并且可以访问敏感的公司数据。风险是真实的，监督还没有跟上。

从零到灾难

用例多样，数量众多，几乎来自每个部门，甚至包括安全团队可能从未关注过的部门。

例如，一个营销协调员在一个完全批准的平台上构建了一个面向客户的AI代理，以回答产品问题。仅仅几分钟，应用程序就启动并运行了，但作为没有接受过安全培训的人，两个小的配置错误被忽略了，导致代理直接访问公司的整个数据库，并且没有任何限制可以检索。生产环境中，用户要求它拉取员工记录。它照做了。因为代理还具有电子邮件功能，用户指示它将该数据发送到个人地址。整个序列在60秒内完成。没有未经授权的访问，没有平台漏洞，没有安全警报。

这不是一个复杂的攻击。这是预期的结果，一个善意的员工构建了他们并不完全理解的东西，在一个使构建变得容易、治理变得可选的平台上。

没有被纳入预算的治理差距

对于大多数组织来说，暗影AI问题在某些事情出错之前仍然是抽象的。但业务风险比泄密响应更深。

当一个业务构建的代理泄露敏感数据时，董事会会问的问题不是“如何发生这种配置错误？”而是“为什么没有人知道这个工具正在运行？”他们不会区分外部攻击者和内部工具引起的泄密。如果个人数据被泄露，组织缺乏对正在运行的内容的可见性，监督的缺乏本身就是责任。“一个员工在一个批准的平台上构建了它”不是辩护，这是差距的描述。

紧迫性是真实的，但意图和执行并不是同一件事，对于大多数企业来说，它们之间的差距仍然很大。

答案不是限制谁可以构建。锁定公民开发将牺牲真正的生产力收益，并且在实践中不会坚持。员工会找到变通方法。答案是将正在构建的内容带入视野，并在风险实际出现的地方进行治理：运行时。

这意味着了解不仅代理的存在，还有它们的行为、它们访问的数据、它们接触的系统，以及它们的操作是否保持在构建者预期的范围内。这意味着在组织层面上设置防护栏，而不仅仅是在配置点。并且这意味着到达一个安全团队可以回答关于环境中任何代理的最基本问题的地方：谁构建了它，它可以访问什么，它是否按照预期行为?

大多数企业今天无法回答这些问题。首先到达那里并能够自信地扩大AI采用规模的组织将是那些知道自己实际运行了什么的组织。