德勤美国网络人工智能与自动化负责人 Kieran Norton 访谈系列

基兰·诺顿 德勤会计师事务所（Deloitte & Touche LLP）主管（合伙人），德勤美国网络人工智能与自动化负责人。Kieran 拥有超过 25 年的丰富经验和扎实的技术背景，擅长应对新兴风险，为客户提供网络安全和技术风险管理方面的战略性和务实见解。

内 德勤Kieran 领导美国网络业务的人工智能转型工作。他负责监督人工智能和自动化解决方案的设计、开发和市场部署，帮助客户提升网络能力，采用人工智能/通用人工智能技术，同时有效管理相关风险。

在外部，Kieran 帮助客户改进其传统安全策略，以支持数字化转型、实现供应链现代化、加快产品上市时间、降低成本并实现其他关键业务目标。

随着人工智能代理变得越来越自主，企业可能尚未完全了解哪些新的网络安全威胁类别正在出现？

使用新的人工智能相关技术来设计、构建、部署和管理代理所带来的风险是可以理解的，但操作化则是另一回事。

人工智能代理的自主性和能动性——即代理独立于人类感知、决策、行动和操作的能力——可能对模型/代理与用户、数据和其他代理之间的关系和交互保持可见性和控制力带来挑战。随着代理在企业内部不断增多，连接多个平台和服务，并拥有越来越高的自主性和决策权，实现这一点将变得越来越困难。保护不力、过度或影子人工智能代理/自主性所带来的威胁数不胜数。这可能包括数据泄露、代理操纵（通过即时注入等）以及代理间攻击链。并非所有这些威胁都存在，但企业在采用和完善人工智能驱动的功能时，应该思考如何应对这些威胁。

AI身份管理是另一个需要深思熟虑的风险。随着越来越多的AI代理在企业中部署和使用，识别、建立和管理其机器身份将变得更加复杂。AI模型/模型组件的短暂性，会在各种情况下反复启动和拆卸，这将导致维护这些模型ID面临挑战。从安全和信任的角度，需要模型身份来监控代理的活动和行为。如果没有得到适当的实施和监控，检测潜在问题（性能、安全性等）将非常困难。

我们应该对人工智能训练流程中的数据中毒攻击有多担心，最好的预防策略是什么？

数据中毒是影响/操纵 AI 模型的几种方式之一，存在于模型开发生命周期中。中毒通常发生在恶意行为者将有害数据注入训练集时。然而，值得注意的是，除了明确的敌对行为者之外，数据中毒还可能由于数据生成过程中的错误或系统性问题而发生。随着组织对数据的需求日益增长，并在更多地方寻找可用数据（例如，外包的手动注释、购买或生成的合成数据集等），无意中毒害训练数据的可能性也在增加，而且可能并不总是容易诊断。

针对训练管道是攻击者进行隐蔽和公开影响的主要攻击媒介。操纵 AI 模型可能导致各种结果，包括误报、误报以及其他可能改变 AI 预测的更隐蔽的影响。

预防策略涵盖实施技术、程序和架构层面的解决方案。程序策略包括数据验证/清理和信任评估；技术策略包括利用联邦学习等人工智能技术增强安全；架构策略包括实施零信任管道以及实施强大的监控/警报机制，以促进异常检测。即使组织使用最新、最先进的工具，这些模型的有效性也取决于其数据，因此数据中毒对于缺乏准备的企业来说可能成为致命弱点。

恶意行为者可以通过哪些方式操纵部署后的人工智能模型，企业如何及早发现篡改行为？

部署后访问 AI 模型通常通过访问应用程序编程接口 (API)、通过嵌入式系统访问应用程序和/或通过端口协议访问边缘设备来实现。早期检测需要在软件开发生命周期 (SDLC) 的早期阶段开展工作，了解相关的模型操作技术以及优先威胁向量，以设计检测和保护方法。一些模型操作涉及 API 劫持、内存空间（运行时）操作以及通过模型漂移进行缓慢/渐进式中毒。鉴于这些操作方法，一些早期检测策略可能包括使用端点遥测/监控（通过端点检测与响应和扩展检测与响应）、实施安全推理管道（例如，机密计算和零信任原则）以及启用模型水印/模型签名。

即时注入是一类在部署后发生的模型攻击，可用于各种目的，包括以非预期的方式提取数据、显示非正常用户使用的系统提示，以及诱导可能对组织造成负面影响的模型响应。市面上有各种各样的防护工具可以帮助降低即时注入的风险，但与其他网络安全领域一样，这是一场军备竞赛，攻击技术和防御措施都在不断更新。

传统的网络安全框架如何应对人工智能系统的独特风险？

我们通常将“网络安全框架”与指导和标准联系起来——例如 NIST、ISO、MITRE 等。这些框架背后的一些组织已经发布了专门针对保护人工智能系统的最新指南，这可能非常有用。

人工智能不会使这些框架失效——您仍然需要解决所有传统的网络安全领域——您可能需要更新您的流程和程序（例如您的软件开发生命周期 (SDLC)），以解决与人工智能工作负载相关的细微差别。嵌入并自动化（在可能的情况下）控制措施以防范上述细微威胁是最有效且高效的前进之路。

在战术层面，值得一提的是，可能的输入和输出的全部范围通常比非人工智能应用程序大得多，这给传统的渗透测试和基于规则的检测带来了规模问题，因此重点放在自动化上。

专为部署生成式人工智能或大型语言模型的组织设计的网络安全策略应包含哪些关键要素？

在制定部署 GenAI 或大型语言模型 (LLM) 的网络安全策略时，没有放之四海而皆准的通用方法。这很大程度上取决于组织的整体业务目标、IT 战略、行业重点、监管范围、风险承受能力等，以及正在考虑的具体 AI 用例。例如，仅供内部使用的聊天机器人与可能影响患者健康状况的代理相比，其风险状况截然不同。

尽管如此，每个组织都应该解决一些基本问题：

• 进行准备情况评估——这将建立当前能力的基线，并识别与优先AI用例相关的潜在差距。组织应确定哪些现有控制措施可以扩展，以应对与GenAI相关的细微风险，以及实施新技术或增强现有流程的需求。
• 建立人工智能治理流程这可能是组织内部的全新举措，也可能是对现有风险管理方案的修改。这应包括定义企业范围的AI赋能功能，并将业务、IT、产品、风险、网络安全等领域的利益相关者纳入治理结构。此外，还应定义/更新相关政策（可接受使用政策、云安全政策、第三方技术风险管理等），并建立学习与发展 (L&D) 要求，以支持整个组织的AI素养和AI安全/保障。
• 建立可信的AI架构—随着 AI/GenAI 平台和实验沙箱的建立，现有技术以及新解决方案（例如 AI 防火墙/运行时安全、护栏、模型生命周期管理、增强的 IAM 功能等）将需要以可重复、可扩展的方式集成到开发和部署环境中。
• 增强 SDLC——各组织应在人工智能开发人员与风险管理团队之间建立紧密的协作，以保护、保障并建立对人工智能解决方案的信任。这包括与更广泛的人工智能开发和应用团队合作，建立一套统一/标准的安全软件开发实践和控制要求。

您能简单解释一下“AI防火墙”的概念吗？它和传统的网络防火墙有什么不同？

AI 防火墙是一个安全层，旨在监控和控制 AI 系统（尤其是大型语言模型）的输入和输出，以防止滥用、保护敏感数据并确保 AI 行为的可靠性。与通过基于 IP 地址、端口和已知威胁过滤流量来保护网络的传统防火墙不同，AI 防火墙专注于理解和管理自然语言交互。它们通过应用策略、上下文感知过滤器和特定于模型的防护措施，阻止诸如有害内容、数据泄露、即时注入以及 AI 的不道德使用等行为。本质上，传统防火墙保护您的网络，而 AI 防火墙保护您的 AI 模型及其输出。

目前是否存在任何行业标准或新兴协议来管理 AI 专用防火墙或护栏的使用？
模型通信协议 (MCP) 并非通用标准，但其正在整个行业中逐渐受到关注，旨在帮助企业应对日益增长的配置负担，这些企业需要管理 AI-GenAI 解决方案的多样性。MCP 控制着 AI 模型如何交换信息（包括学习），包括完整性和验证。我们可以将 MCP 视为 AI 模型的传输控制协议 (TCP)/互联网协议 (IP) 堆栈，它在集中式、联合式或分布式用例中都非常有用。MCP 目前是一个概念框架，通过各种工具、研究和项目得以实现。

这个领域正在快速发展，我们预计未来几年它将发生很大的变化。

与五年前相比，人工智能如何改变当今威胁检测和响应领域？

我们看到商业安全运营中心 (SOC) 平台正在不同程度地实现现代化，利用海量高质量数据集以及先进的 AI/ML 模型来改进威胁的检测和分类。此外，它们还利用自动化、工作流和自动修复功能来缩短从检测到缓解的时间。最后，一些平台引入了 Copilot 功能，以进一步支持分类和响应。

此外，我们正在开发代理来执行SOC中的特定角色。作为一个实际的例子，我们已经构建了一个 “数字分析师” 代理可部署在我们自己的托管服务产品中。代理充当一级分析师，负责对传入警报进行分类，添加来自威胁情报和其他来源的背景信息，并向我们的人工分析师推荐响应步骤（基于丰富的案例历史记录），然后由人工分析师进行审核，根据需要进行修改并采取行动。

您如何看待未来 3 至 5 年内人工智能与网络安全之间的关系将如何发展——人工智能将更多地是一种风险还是一种解决方案？
随着人工智能在未来3-5年的发展，它既能助力网络安全，同时也可能带来风险。人工智能将扩大攻击面，并从防御角度带来新的挑战。此外，对抗性人工智能将提升攻击的可行性、速度和规模，从而带来更多挑战。另一方面，在网络安全业务中运用人工智能，将为提升大多数领域网络行动的有效性、效率、敏捷性和速度带来重大机遇，最终形成“以毒攻毒”的局面。

感谢您的精彩采访，读者也可以访问 德勤.