Steve Povolny, AI战略与安全研究副总裁，Exabeam Steve Povolny AI战略与安全研究副总裁，Exabeam

人工智能安全支出越来越多，但并没有减少任何人工智能风险

人工智能安全预算正在迅速增长。在许多组织中，它们的增长速度甚至超过了它们所要保护的系统。这种不平衡很容易被忽略。人工智能投资继续加速增长，全球私人资金达到 $33.9亿美元仅在2025年。同时，安全领导者被要求对模型行为、数据暴露和对抗性操纵等新风险负责。他们的反应是可以预测的：更多工具、更多控制和更多预算。很容易将其转变为关于做业务成本的问题，一个简单的问题是组织需要花多少钱来保护人工智能。然而，这不是正确的方法。相反，组织需要检查他们的AI投资是否真正保护了正确的工具。在大多数企业中，人工智能仍然是在任务级别引入的。团队尝试使用总结、编码辅助、分析或工作流自动化来提高个体生产力。这些工具提供局部收益，但它们很少改变决策或系统的运行方式。这种差距开始出现在结果中。虽然采用率很广泛，但只有大约 20% 的组织报告了对其底线的有意义影响。安全投资正在随着这种实验而扩大。然而，在许多情况下，它被应用于不断增长的断开工具集合，而不是连贯的系统，这些系统决定了业务的运行方式。人工智能在任务级别进行评估，在系统级别进行保护，但从未在工作流级别进行设计，即真正创造价值的地方。人工智能采用速度快于整合速度今天的大多数人工智能部署都是狭义的。它们的设计目的是使个别任务更快，而不是改变工作流在团队或系统中流动的方式。销售团队可能会采用人工智能来撰写电子邮件或总结电话。工程团队使用它来加速代码生成。运营团队尝试使用分析或预测支持。每一个用例都能在个体水平上提供可衡量的生产力收益，这通常足以证明初始投资的合理性。复杂性开始于这些孤立的收益积累时。每次部署都会引入自己的模型、数据访问模式、API和依赖项。随着时间的推移，组织发现自己正在管理一个不断增长的人工智能能力生态系统，这些能力从未被设计为一起工作。即使现在，许多企业仍然处于早期实验阶段，许多计划尚未嵌入核心业务运营中。安全团队继承了这种环境。他们被要求保护的不是一个系统，而是一组不断变化的工具、集成和数据流，这些数据流会随着每个新实验而扩大。没有统一的架构，安全性成为覆盖而不是控制的练习。真正的风险不是单个工具，而是系统碎片化随着人工智能实验的继续，领导层的期望开始转变。董事会和高管团队正在询问不断增长的人工智能支出如何转化为可衡量的业务成果。当早期计划未能实现时，组织很少减慢速度。他们扩大了努力。更多的试点项目被启动。更多的工具被引入。更多的集成被创建，以寻找尚未实现的价值。预测已经表明，超过一半的人工智能项目可能会失败，无法在未来几年内达到生产或实现预期结果。对于安全团队来说，这个周期创造了新的风险。挑战不再仅仅是保护单个应用程序或模型。它是管理一个不断变化的环境，在这个环境中，底层系统不断变化。每个新工具都会引入额外的身份、数据流和模型行为，这些行为会在防御者有时间充分理解之前扩大攻击面。在这种情况下，增加安全支出并不一定会降低风险。它可以增加运营复杂性。保护碎片化的系统需要更多工具、更多监控和更多协调，但它并没有解决根本问题，即缺乏人工智能部署和使用的连贯结构。安全支出只有在人工智能变得可操作时才会变得战略性我们处于一个伟大的位置，因为人工智能安全投资；创新程度是天文数字，而人工智能用例的未来是光明的，但安全投资往往与人工智能真正创造价值的地方脱节。当人工智能主要作为一组孤立的生产力工具部署时，安全工作被迫遵循这种碎片化。团队最终保护的是几十个断开的应用程序，这些应用程序对核心业务成果的影响有限。更大的价值出现在人工智能被嵌入到驱动组织运营的工作流中时。规划、预测、资源分配和运营决策是人工智能开始以有意义的方式影响成果的地方。这些也是安全投资变得更加战略的地方。保护一个断开的工具保护一个任务。保护一个集成系统保护一个业务流程。这是任务级别采用和工作流级别设计之间的区别变得至关重要的地方。人工智能如果不集成到决策中，将难以产生有意义的影响。安全性如果不与这些决策系统保持一致，也将难以降低有意义的风险。变化必须尽早发生组织不需要更少的人工智能计划。他们需要更有意图的人工智能计划。第一个转变是人工智能成功的评估方式。如果部署不会改变决策或工作流在团队中的移动方式，其影响将保持有限，无论其采用率如何广泛。以工作流水平而不是任务水平衡量成功提供了人工智能真正创造价值的更清晰信号。第二个转变是安全投资的优先顺序。组织不应该将控制分散到每个实验工具上，而应该集中保护在影响规划、运营和决策的系统上。这些是风险和价值交汇的地方。第三个转变是结构性的。人工智能系统引入了超越传统应用程序边界的新形式的所有权。模型、训练数据、数据管道和人工智能生成的输出都需要明确的责任。没有明确的所有权，治理将变得不一致，安全漏洞将更难被识别。这些变化使组织从保护活动转向保护成果。构建真正可以扩展的人工智能系统将人工智能采用与工作流水平设计相一致的组织，可以更清晰地看到价值和控制的道路。当安全资源集中在最重要的系统上时，它们会变得更加有效。领导层可以更好地看到人工智能投资如何转化为运营影响。随着时间的推移，人工智能计划变得更加可持续，因为它们是建立在结构化系统上，而不是积累的工具上。人工智能投资不会减慢。安全支出将继续随之增长。区别在于这些投资的应用方式。继续在任务级别扩展人工智能的组织将会发现自己正在保护一个不断扩大的断开工具集合。那些在工作流级别设计人工智能的组织将会保护真正值得保护的系统。