暗影AI丛林：为什么平台审批并不等同于保障其上的内容

企业AI采用远非一帆风顺。数据控制、法规遵从和安全问题伴随着每个阶段的旅程。但是，当组织在Microsoft、Salesforce和ServiceNow等主要平台上扩大运营时，人们越来越感到最艰难的治理问题至少部分得到了解决。企业协议已就绪。安全审查已完成。平台已获批。

然而，这种信心往往忽略了一个完全不同的问题：不是平台是否安全，而是谁在建造什么。

跨行业，一个安静的革命正在进行，非技术员工使用企业AI平台创建自主代理、自动化工作流和数据连接应用，通常只需几分钟，无需编写一行代码。摆脱传统开发时间表和限制，这些构建者是组织效率的福音。但是，这些工具从未被安全团队审查。在许多情况下，安全团队甚至不知道它们的存在。

这些工具，无论被归类为应用、代理还是自动化，都属于一个日益增长的问题，称为暗影AI，这代表了十年来企业风险最显著的转变，仅仅是因为威胁已经转移到内部。

原始的暗影IT问题相对简单：员工使用未经授权的外部工具，安全的工作是找到并阻止它们。暗影AI是一个完全不同的挑战。工具位于您已批准的平台内。构建它们的人是您的员工。他们使用的访问权限是合法的。并且没有任何安全流程能够在问题到达生产之前捕获它们。

使其特别难以解决的是规模。绝大多数安全领导者严重低估了在其自身环境中正在构建的内容。最近的研究发现，超过200名企业CISO和安全领导者，平均而言，企业安全团队只能追踪到其业务用户创建的AI代理、自动化和应用程序的44%。这不是一个差距，而是一个盲点，覆盖了大部分正在运行的内容。

原因很简单：业务用户现在在一些组织中以10比1的比例超过专业开发人员。他们在每个部门不断构建，使用设计为易于构建的平台，并被C级高管鼓励去构建。安全团队围绕开发者管道和代码仓库展开。它们从未被设计为监视这一点。

最常见的误解是，批准一个平台就能解决安全问题的信念。事实并非如此，它只是将问题转移了。当企业与Microsoft、Salesforce或UiPath签订协议时，平台提供商保护其基础设施。员工在其上构建的内容以及他们如何配置它，则完全是企业的责任。

问题在于，业务用户创建的工具不像传统的安全系统中的软件。没有代码可以扫描，没有仓库可以监控，没有管道可以检查。通过菜单和文本提示创建的AI代理，对大多数安全工具来说是不可见的。

然而，这些工具远非微不足道。研究发现，超过半数的CISO确认，业务用户构建的应用程序现在支持业务关键流程，并且可以访问敏感的公司数据。风险是真实的，监督还没有跟上。

从零到灾难

用例多样且来自几乎每个部门，甚至是安全团队可能从未关注过的部门。

例如，营销协调员在一个完全批准的平台上构建了一个面向客户的AI代理，以回答产品问题。仅仅几分钟，应用程序就启动并运行了，但作为没有安全培训的人，两个小的配置错误被忽略了，代理获得了对公司整个数据库的直接访问权限，并且没有任何边界限制可以检索。生产中，用户要求它拉取员工记录。它照做了。由于代理还具有电子邮件功能，用户指示它将该数据发送到个人地址。整个序列在60秒内完成。没有未经授权的访问，没有平台漏洞，没有安全警报。

这不是一个复杂的攻击。这是具有良好意图的员工在没有完全理解的情况下构建某些东西的可预测结果，在一个使构建变得容易且治理可选的平台上。

没有被定价的治理差距

对于大多数组织来说，暗影AI问题在某些事情出错之前仍然是抽象的。但是，业务风险比数据泄露更深。

当业务构建的代理泄露敏感数据时，董事会会问的问题不是“配置错误是如何发生的？”而是“没有人知道工具正在运行？”他们不会区分外部攻击者引起的泄露和内部工具引起的泄露。如果个人数据被泄露，组织缺乏对正在运行的内容的可见性，监督的缺乏本身就是责任。“员工在批准的平台上构建了它”不是辩护，这是差距的描述。

紧迫性是真实的，但意图和执行并非同一件事，大多数企业之间的差距仍然很大。

答案不是限制谁可以构建。锁定公民开发会牺牲真正的生产力收益，并且在实践中不会坚持。员工会找到变通方法。答案是将正在构建的内容带入视野，并在风险实际出现的位置进行治理：运行时。

这意味着不仅要了解哪些代理存在，还要了解它们的行为方式、它们可以访问的数据、它们可以接触的系统，以及它们的行为是否保持在其构建者预期的边界内。这意味着要在组织层面设置防护栏，而不仅仅是在配置点设置防护栏。这意味着要到达一个安全团队可以回答关于其环境中任何代理的最基本问题的地方：谁构建了它，它可以访问什么，它的行为是否符合其设计意图。

大多数企业今天无法回答这些问题。首先到达的组织将是那些能够自信地扩大AI采用规模的组织，因为他们将知道自己实际上运行了什么。