德勤美国网络安全人工智能和自动化负责人Kieran Norton – 采访系列

Kieran Norton 是德勤与杜致（Deloitte & Touche LLP）的一位主管（合伙人），也是德勤美国网络安全人工智能和自动化的负责人。凭借超过25年的丰富经验和扎实的技术背景，Kieran擅长于应对新兴风险，并为客户提供战略性和务实的见解，以帮助他们管理网络安全和技术风险。

在德勤内部，Kieran领导了美国网络安全实践的AI转型工作。他负责设计、开发和部署AI和自动化解决方案，以帮助客户增强其网络安全能力，并采用AI/Gen AI技术，同时有效地管理相关风险。

在外部，Kieran帮助客户进化他们的传统安全策略，以支持数字化转型，现代化供应链，缩短上市时间，降低成本，并实现其他关键的商业目标。

随着AI代理变得越来越自治，哪些新的网络安全威胁类别正在出现，企业可能尚未完全理解?

使用新的人工智能相关技术来设计、构建、部署和管理代理的风险可能被理解——但操作化是一个不同的问题。

AI代理的代理性和自治性——即代理能够独立于人类感知、决定、行动和运作——可能会在维持对代理与用户、数据和其他代理的关系和交互的可见性和控制方面带来挑战。随着代理在企业内不断增加，连接多个平台和服务，具有越来越多的自治性和决策权，这将变得越来越困难。未能充分保护、过度或影子AI代理的自治性可能会带来诸多威胁，包括数据泄露、代理操纵（通过提示注入等）和代理到代理的攻击链。这些威胁并非都是当前的，但企业应该考虑如何在采用和成熟AI驱动的能力时管理这些威胁。

AI身份管理也是一个需要谨慎考虑的风险。识别、建立和管理AI代理的机器身份将变得更加复杂，因为越来越多的代理被部署和使用在企业中。AI模型/模型组件的短暂性质会导致维护这些模型ID的挑战。模型ID是必要的，以便从安全和信任的角度监控代理的活动和行为。如果没有正确实施和监控，检测潜在问题（性能、安全等）将非常困难。

我们应该多担心AI训练管道中的数据中毒攻击？如何预防这些攻击?

数据中毒代表了几种影响/操纵AI模型的方式之一，通常发生在恶意行为者将有害数据注入训练集中。然而，值得注意的是，除了明显的对抗性行为者，数据中毒也可能由于数据生成中的错误或系统问题而发生。随着组织变得更加数据饥渴，并在更多地方寻找可用的数据（例如，外包手动注释，购买或生成合成数据集等），无意中毒化训练数据的可能性会增加，并且可能不容易被诊断出来。

针对训练管道是对手使用的主要攻击向量，用于微妙和公开的影响。AI模型的操纵可能导致包括假阳性、假阴性和其他更微妙的隐蔽影响在内的结果，这些结果可以改变AI的预测。

预防策略包括技术、程序和架构策略。程序策略包括数据验证/清理和信任评估；技术策略包括使用安全增强的AI技术，如联邦学习；架构策略包括实施零信任管道和强大的监控/警报，以便于异常检测。这些模型的好坏取决于其数据，即使组织使用最新和最好的工具，数据中毒也可能成为未准备好的组织的阿喀琉斯之踵。

恶意行为者如何操纵部署后的AI模型？企业如何尽早检测篡改?

访问部署后的AI模型通常是通过访问应用程序编程接口（API）、应用程序或通过端口协议访问边缘设备来实现的。早期检测需要在软件开发生命周期（SDLC）中进行早期工作，了解相关的模型操纵技术以及优先的威胁向量，以便为检测和保护制定方法。一些模型操纵包括API劫持、内存空间（运行时）操纵以及通过模型漂移的缓慢/渐进中毒。考虑到这些操纵方法，一些早期检测策略可能包括使用端点遥测/监控（通过端点检测和响应以及扩展检测和响应），实施安全推理管道（例如，机密计算和零信任原则），以及启用模型水印/模型签名。

提示注入是一种模型攻击家族，发生在部署后，可用于各种目的，包括以意外的方式提取数据，揭示不适用于正常用户的系统提示，并诱导模型产生可能使组织陷入负面形象的响应。市场上有各种防护工具可以帮助减轻提示注入的风险，但与其他网络安全问题一样，这是一个不断升级的对抗过程，攻击技术和防御对策不断更新。

传统的网络安全框架在解决AI系统的独特风险方面存在哪些不足?

我们通常将“网络安全框架”与指导和标准联系起来——例如NIST、ISO、MITRE等。一些制定这些框架的组织已经发布了针对保护AI系统的更新指南，这些指南非常有帮助。

AI并没有使这些框架无效——您仍然需要解决传统的网络安全领域——您可能需要更新您的流程和程序（例如您的SDLC），以解决与AI工作负载相关的细微差别。将控制措施嵌入和自动化（在可能的情况下），以保护免受上述细微威胁，是最有效的方式。

在战术层面上，值得提到的是，可能的输入和输出的全部范围通常远远大于非AI应用程序，这为传统的渗透测试和基于规则的检测带来了规模问题，因此我们注重自动化。

为部署生成性AI或大型语言模型的组织设计的网络安全策略应包括哪些关键元素?

在为部署生成性AI或大型语言模型（LLM）制定网络安全策略时，没有一种适用于所有情况的方法。很大程度上取决于组织的整体业务目标、IT战略、行业焦点、监管足迹、风险承受能力等，以及所考虑的特定AI用例。内部使用的聊天机器人具有与可能影响患者健康结果的代理不同的风险特征。话虽如此，仍有一些基本原则适用于所有组织：

• 进行准备评估——这建立了当前能力的基线，并找出了潜在的差距，考虑到优先的AI用例。组织应该确定现有的控制措施可以扩展以解决与生成性AI相关的细微风险的领域，以及需要实施新技术或增强当前流程的领域。
• 建立AI治理流程——这可能是组织内的新流程，或者是对当前风险管理程序的修改。它应该包括定义企业范围内的AI赋能功能，并将业务、IT、产品、风险、网络安全等各个领域的利益相关者纳入治理结构。另外，定义/更新相关政策（可接受的使用政策、云安全政策、第三方技术风险管理等），以及为支持AI素养和AI安全/安全性而制定的培训要求，应该被包括在内。
• 建立可信AI架构——随着AI/生成性AI平台和实验沙盒的建立，现有的技术以及新解决方案（例如AI防火墙/运行时安全、防护、模型生命周期管理、增强的IAM能力等）需要被集成到开发和部署环境中，以可重复和可扩展的方式。
• 增强SDLC——组织应该在AI开发人员和保护、安全和建立AI解决方案信任的风险管理团队之间建立紧密的集成。这包括与更广泛的AI开发和采用的团队合作，建立统一的安全软件开发实践和控制要求。

你能用简单的术语解释“AI防火墙”的概念吗？它与传统的网络防火墙有什么不同?
AI防火墙是一种安全层，旨在监控和控制AI系统（尤其是大型语言模型）的输入和输出，以防止滥用、保护敏感数据并确保AI的负责任行为。与传统的防火墙不同，传统防火墙通过基于IP地址、端口和已知威胁的过滤来保护网络，AI防火墙专注于理解和管理自然语言交互。它们阻止诸如有毒内容、数据泄露、提示注入和AI的不道德使用等内容，通过应用政策、上下文感知过滤器和模型特定的防护措施。在本质上，虽然传统防火墙保护您的网络，AI防火墙保护您的AI模型及其输出。

目前是否有行业标准或新兴协议来管制AI特定防火墙或防护的使用?
模型通信协议（MCP）并不是一个通用的标准，但在行业内正在获得关注，以帮助解决企业在管理AI-生成性AI解决方案多样性方面日益增长的配置负担。MCP管制AI模型如何交换信息（包括学习），包括完整性和验证。我们可以将MCP视为AI模型的传输控制协议（TCP）/互联网协议（IP）堆栈，这在集中式、联邦或分布式使用场景中特别有用。MCP目前是一个概念框架，通过各种工具、研究和项目来实现。这个领域正在迅速发展，我们可以预计它将在未来几年内发生很大的变化。

与五年前相比，AI如何改变威胁检测和响应领域?

我们已经看到商业安全运营中心（SOC）平台正在现代化，使用大量高质量的数据集和先进的AI/ML模型来改进威胁的检测和分类。此外，他们还利用自动化、工作流和自动修复能力来减少从检测到缓解的时间。最后，一些SOC平台还引入了协同驾驶员功能，以进一步支持应急响应。

此外，代理正在被开发以在SOC中履行特定的角色。例如，我们已经为自己的托管服务开发了一个“数字分析师”代理。该代理作为一级分析师，处理传入的警报，添加来自威胁情报和其他来源的上下文，并根据大量案例历史记录，推荐响应步骤（供我们的人类分析师审查、修改（如果需要）并采取行动）。

你如何看待AI和网络安全的关系在未来3-5年内的演变——AI会成为更大的风险还是解决方案?
随着AI在未来3-5年内的演进，它既可以帮助网络安全，也可能引入风险。AI将扩大攻击面，并从防御角度带来新的挑战。此外，对抗性AI将增加攻击的可行性、速度和规模，从而带来进一步的挑战。另一方面，利用AI在网络安全业务中可以带来显著的机会，提高网络安全运营在大多数领域的有效性、效率、敏捷性和速度——最终创造一个“以火制火”的场景。

感谢这次精彩的采访，读者可能还想访问德勤。