马克·尼科尔森（Mark Nicholson）是德勤会计师事务所（Deloitte & Touche LLP）的合伙人，并担任德勤美国网络安全人工智能领导者。
AI驱动的网络攻击已经到来，确认了曾经只是理论上的风险，现在它们正在引领一个新的威胁格局。随着AI代理能够在几分钟内发起复杂的端到端攻击，网络犯罪者可以以机器速度针对和利用企业漏洞。参与规则已经改变：昨天的网络防御已经不能跟上今天的AI驱动的进攻。随着AI增强网络威胁，企业需要部署自己的AI驱动的防御能力，以保持速度、规模和精度。目前，网络对手仍然遵循熟悉的战术、技术和程序（TTPs），但AI正在加速和升级他们的战术。另外，企业AI模型本身也成为新的目标，通过模型中毒和语言驱动的社会工程，需要网络团队正确地保护他们的AI能力。因此，安全性应该成为组织更大AI战略的核心部分。什么区别于AI驱动的网络攻击？在一个已经被几乎无休止的网络入侵尝试所充斥的数字世界中，恶意行为者的进入门槛已经降低，不仅增加了攻击的数量，还增加了攻击的复杂性。AI驱动的攻击可以利用AI或机器学习（ML）来自动化、加速或增强攻击生命周期的每个阶段，从侦察和信息收集到利用和敏感数据的泄露。仅仅依赖现有的安全流程和技术，而不部署与对手相同的先进技术，会给对手带来几乎无法通过防御AI来弥补的优势。组织已经被传统威胁行为者的监控所淹没。AI驱动的攻击将加剧警报疲劳。这需要从人工管理的流程演变到混合的网络人力和数字化工作力。绘制每个数字资产在今天的世界中，了解企业环境中的潜在入口点是基本要求，但对于许多大型企业来说，这仍然是一个难以实现的目标。除了数字系统和资产之外，还需要对组织内的所有身份和访问权限进行全面映射。数字身份，它将物理和行为特征与个人联系起来，在现有的控制中已经得到很好的理解，以管理数字访问。然而，了解企业范围内的非人类身份（NHIs）对于保护数字资产至关重要。实现AI在组织内的潜在价值意味着给AI代理访问和权限，以自主完成业务流程。就像以前的安全时代中的云环境一样，今天的代理驱动的工作流程以规模扩展和缩减NHIs，需要先进的能力来管理和跟踪它们在环境中的操作以及它们如何实现预期的任务或角色。企业应该在代理身份生命周期中扩展身份管理，并监控代理行为，就像他们今天监控人类用户访问一样，用于内部风险行为或来自威胁行为者的账户泄露。随着代理能力获得更多的自主性和业务关键工作，了解他们的身份足迹和访问模式对于实施保护他们和企业免受滥用的访问和监控控制至关重要。锁定AI模型AI能力具有解锁效率和生产力的潜力，但也可能被转而对付组织。将AI引入业务运营的每个方面不再是“可以”的选择，而是今天的竞争格局中成功所必需的。因此，安全地部署AI是安全地实现业务潜力和成果的必要组成部分。转向AI增强的网络防御正在进行中，而AI模型本身已经成为目标。对手可能会尝试毒害这些模型的数据，并操纵它们采取意外的行为，甚至泄露敏感信息。对AI的对抗攻击可以采取多种形式，例如中毒攻击、提示注入攻击等。为了适当地保护AI免受潜在的操纵，组织应该利用网络基础设施和安全机构（CISA）的安全设计哲学。这从模型训练的数据开始。早期在开发过程中锁定输入为可靠输出奠定了基础。了解模型和能力的输入是可能的，通过对数据管理和对模型本身的访问控制。允许验证所需输出的关键控制包括数据丢失防护（DLP）；策略和安全执行；通过可验证的来源进行接地；以及高影响力操作的严格审批控制、可审计性和持续测试，包括对模型进行渗透测试，以使其变得坚固。将AI嵌入安全运营到目前为止，应用AI到网络防御一直是战术性的，许多组织将AI连接到传统的、以人为中心的流程，而不是从头开始重新思考如何构建以AI为中心的流程。这就像试图将V8发动机安装到自行车上。下一个AI赋能的演变将是从头开始设计流程，使代理AI和自动化成为设计的本质。尝试和测试的安全运营方法和流程，例如威胁检测、威胁狩猎和检测工程，仍然是组织安全中的关键项目。在AI时代，转变当前的安全流程以实现AI增强可以为未来AI赋能的安全运营中心（SOC）奠定坚实的基础。另外，自动化并不是AI出现的新概念；安全工作流程和流程已经被自动化多年，成熟的组织已经具有非常成熟的编排和自动化能力。然而，AI增强了现有的基于规则的自动化，并使其进一步演进，允许动态、适应性、上下文丰富的自动化工作流程，这些工作流程可以帮助解决这些新出现的AI风险的速度和敏捷性要求。接下来是什么？安全性需要继续成为业务和IT的首要任务，以保持关键资产和用户免受恶意利用。设计安全的AI是必要的，考虑到AI模型可以被部署和要求执行更关键任务的速度。网络团队应该从头开始战略性地思考转变流程，以适当地实施新的AI能力，跟上网络猫鼠游戏的步伐。安全领导者可以采取几个具体步骤：进行对当前安全流程的全面审查，以确定差距、现代化机会和需要转变的领域。跟上AI新出现的威胁、趋势和技术。最重要的是，仍然坚持已经证明自己有效的基础安全原则——深度防御，从身份到端点、网络、数据，具有强大的监控和响应能力，并不断被测试。AI的变革潜力太大了，不能忽视其采用，而威胁行为者的魔瓶已经打开。因此，在这个新时代，安全领导者的角色与以往一样：支持组织实现业务目标，带来周密的风险缓解——现在是以机器速度和AI的使用来实现的。
