从智能到权限

人工智能正逐渐超越回答问题和生成内容的范畴。人工智能系统越来越能够理解指令、制定计划、选择工具并执行任务，而无需人类持续指挥。

这一区别至关重要。

能够提出行动建议的人工智能系统，与获准执行行动的系统并不相同。两者的区别未必在于智能水平或复杂程度，而在于权限。

自主系统并不局限于前沿大型语言模型。它们还包括专用机器学习系统、机器人、自主车辆、软件代理，以及能够在既定运行条件下独立作出决策或执行操作的技术组合。

这些系统的潜在益处十分可观。它们能够助力科学发现、工业运营、医疗保健、软件开发和网络安全。它们也可能造成意料之外的后果、泄露敏感信息，或发起超出运营者意图的行动。

在《自主系统设计中的安全挑战》一文中，Mohammad Hamad 和 Sebastian Steinhorst 探讨了与自主事件响应、风险评估、访问控制、数据可信度以及自主系统之间交互有关的安全挑战。他们的研究大多聚焦于信息物理系统，说明保障机器自主行动安全所面临的挑战，远不止于当今的大语言模型代理。

自主性的广泛影响值得认真审视，其中包括可能造成的人身伤害。但解读证据时必须谨慎。例如，涉及自动驾驶车辆的事故，不能自动归因于影响自主网络安全代理的同一套机制。自主程度、运行条件、人类参与情况以及因果证据都很重要。

同样，有证据表明自主人工智能可能造成伤害，并不能证明治理必然落后。我们也不应假定自主系统天生就难以保障安全。

核心问题不在于人工智能能否完成复杂工作，而在于管理自主系统的架构、安全和组织框架能否为受委托的权限划定适当边界，并提供可验证的证据，证明这些边界得到了遵守。

网络安全为探讨这一问题提供了尤其有益的视角，因为数十年来，安全专业人员一直在质疑有关信任、权限、访问和系统行为的种种假设。

机器速度下的猫鼠博弈

网络安全长期以来被形容为一场猫鼠博弈。

攻击者发现弱点，防御者部署防护措施，双方不断调整策略。随着技术、战术和运行环境发生变化，这一循环持续进行。

自主人工智能未必会改变这场博弈的基本规则，但它可能改变参与者是谁（或是什么）、行动速度有多快，以及有多少工作能够在没有人类持续介入的情况下推进。

自主攻击性安全系统可能会发现暴露的服务、调查漏洞、制定备选攻击路径，并测试这些路径能否被利用。防御系统也可能运用类似能力来调查威胁、发现弱点并验证修复措施。

这种双重用途潜力，是理解自主人工智能安全影响的核心。

Anthropic 的Glasswing 项目展示了人工智能辅助漏洞发现的一个实例。在其2026年5月研究更新中，Anthropic 报告了大量漏洞发现成果，同时强调了验证、披露和修补方面的实际挑战。

这一区别至关重要。发现漏洞并不等于确认该漏洞可被利用、修复漏洞，或证明受影响的系统安全。

发现更多问题能够提高可见性，但与此同时，也会加重负责解决这些问题的人员和流程所承受的压力。

安全结果取决于接下来采取什么行动。

如果攻击者和防御者都能将部分工作自动化，关键问题就不只是哪个阵营拥有能力最强的模型，而是防御者能否将发现的问题转化为有效修复，并独立验证结果。

人工智能能够执行攻击性任务，并不意味着传统渗透测试会过时。渗透测试的范围必须扩大，将能够解读指令、调用工具、组合权限并跨多个步骤追求目标的系统纳入其中。

目标依然一如既往：发现弱点、确认其重要性、修复弱点，并证明防护措施有效。

架构接缝：安全边界交汇之处

自主系统中一个较为隐蔽的风险，是各个组件分别获得授权后相互作用，最终产生意料之外的结果。

我将这些交互点称为架构接缝。

来看一个常见的例子。一家组织使用 NTFS 权限限制对某个文件的访问。另一个独立的云共享服务则允许获得授权的用户将相关信息分享给组织外部的对象。

每个系统都可能按照各自的规则运行，但二者交互后，可能导致信息共享的结果突破组织原本设定的安全边界。

这只是对策略可能发生冲突的说明，并不意味着任何文件共享产品都存在漏洞。

问题未必出在某项控制措施本身。也可能是整个工作流程未能贯彻预期的安全策略。

自主 AI 在连接模型、应用程序、身份、工具、代码库和外部服务时，也可能遇到类似情况。

某个智能体可能获准读取文档、创建代码库并上传文件。但这并不必然意味着它有权以暴露机密信息的方式组合执行这些操作。

研究为审视这些交互提供了切实的理由。

在 AgentDojo中，研究人员针对使用工具的 AI 智能体，评估了提示注入攻击在 97 项真实场景任务和 629 个安全测试案例中的表现。研究结果表明，通过不可信工具输出引入的恶意指令可能会破坏某些安全属性，但攻击和智能体并非总能奏效。

这项研究并未说明这些攻击在生产环境中成功的频率，但它确实揭示了为何仅评估模型的响应不足以了解连接工具的系统会如何运行。

一种相关风险有时被称为权限洗白：某项操作经由获授权的工具或中介执行，因此表面上看似合法；但其组合行为实际上违反了预期的权限边界。

随着多个智能体协同工作，需要明确制定规则，规范参与方式、信息交换和允许执行的操作。

还必须在整个架构中明确责任归属。

模型提供商、平台运营方、智能体开发者和部署组织可能分别掌控系统的不同部分。有效的共同责任模型应明确：谁负责控制每一道边界、谁有权批准例外、谁负责监控执行，以及出现问题时由谁响应。

自主性不会消除责任，反而使明确责任归属变得更加重要。

进攻性严谨性：检验我们自以为了解的事

这就引出了一个我称为“进攻性严谨性”的概念。

进攻性严谨性是一种严谨的方法，结合对抗性测试、批判性探究和基于证据的验证，以检验并挑战安全假设。它评估系统在真实条件下的行为，而不只是依赖架构设计、书面记录的控制措施或人们认为已有的保护。

其基本实践早已存在。多年来，渗透测试、威胁建模、红队演练和安全验证一直在检验防御假设。

进攻性严谨性以一个核心问题为中心，将这些实践结合起来：

有什么证据能证明预期的安全边界确实有效？

组织可能制定了限制敏感信息使用的政策，将模型配置为拒绝违规请求，并让智能体仅在有限权限下运行。

这些都是有意义的保护措施。然而，仅凭它们的存在，并不能证明整个系统在对抗条件下仍能安全运行。

模型可能拒绝恶意指令，但获授权的工具仍可能允许意料之外的操作。某项策略表面上可能无懈可击，但系统之间的交互却可能开辟出绕过策略的意外路径。

我有时把这种现象称为“护栏幻觉”（guardrailusion）：误以为只要设置了护栏，就能证明系统不可能越过护栏原本要守住的边界。

护栏固然有用，但仍需证明其有效性。

设想一个获准调查疑似安全入侵事件的自主智能体。它能够调取日志、检查用户活动并提出遏制建议。

在一次获授权的安全测试中，攻击测试人员向智能体预期会读取的信息中植入误导性指令。

测试不应止于判断智能体是否遵从了这些指令。

还应检查智能体是否尝试执行未经授权的操作、独立控制措施是否阻止了操作执行、此次尝试是否被记录，以及系统是否妥善恢复。

进攻性严谨方法涵盖五项活动：

1. 确立假设：明确架构应当落实哪项安全属性。
2. 挑战假设：测试真实可信的攻击路径、经篡改的输入，以及合法能力的组合使用。
3. 收集证据：确定系统尝试了什么、实际执行了什么，以及哪些控制措施发挥了作用。
4. 修复弱点：解决导致故障的模型、工作流、权限、架构或运维流程问题。
5. 验证修复：重新测试相关攻击路径，并确认预期的安全属性已得到落实。

这正是测试模型的响应与测试整个系统安全性之间的区别。

这还要求审视初始立足点建立后会发生什么。攻击者可能滥用环境中已有的能力，尝试收集凭证、提升权限、维持持久化访问或横向移动。

工具本身合法，并不意味着对该工具的每一种用法都合法。

进攻性严谨方法并非假定自主系统不安全，而是通过测试确定这些系统的安全边界在何处能够守住。

有条件的自主性：将智能与权限区分开来

一种架构层面的应对方法，是区分 AI 系统能做什么与获准做什么。

我将这种方法称为有条件的自主性。

有条件的自主性承认，适当的独立行动程度取决于任务、运行环境、潜在后果、不确定性，以及足以证明采取某项行动合理的现有证据。

总结公开信息的智能体，未必需要与获准停用账户、修改防火墙规则或更改生产基础设施的智能体接受同等程度的监督。

后者可能需要明确的交战规则、独立实施的权限控制、更严格的授权，以及对重大行动的人工批准。

智能体仅仅因为判断扩大访问权限有助于实现目标，就不应因此扩大这些边界。

智能体可以重新考虑如何执行获准的任务，而无需获取额外权限。

OWASP 大语言模型应用十大风险通过其LLM06:2025 代理权限过度类别处理这一问题。OWASP 将功能、权限和自主性过度列为风险来源，并建议限制能力，同时独立实施授权。

有条件的自主性根据运行风险应用这些原则。

信息访问范围应仅限于任务所需内容。工具权限应限定在获准操作范围内。行动预算、速率限制、审批要求和停止条件都可以约束执行。

在自主进攻性测试中，这些保障措施尤为重要。

测试智能体在追求获准目标时，可能会合法地发现凭证或敏感信息。但发现凭证，并不意味着模型需要接收其明文值。

安全防护框架可以将敏感凭证与模型隔离，并通过独立实施的授权来管理凭证的使用。例如，凭证代理可以直接向获准的服务提供机密信息，而不必将其不必要地暴露给模型。

这体现了最小权限和职责分离这两项成熟原则。

这也引出了一个有意思的问题：如何看待自带模型（Bring Your Own Model (BYOM)）或自带大语言模型（BYO-LLM）架构？

如果明天替换底层模型，哪些安全保障仍能保持不变？

任务授权、凭证隔离、范围限制、日志记录和策略执行，可能由外围防护框架负责，而非完全依赖模型的行为。

这并不意味着防护框架天然安全，也不意味着模型可以互换。不同模型对指令的理解方式可能不同，调用工具的方式可能不同，也可能带来不同的故障模式。

有意义的评估必须同时测试两类内容：意在保持不变的控制措施，以及更换模型后发生变化的行为。

也许最持久的一些安全属性，正是在智能组件不断演进时仍能独立实施的那些属性。

当 AI 对 AI 采取行动：验证难题

设想这样一个安全运营工作流：

调查此事件，收集证据，识别受影响的身份，提出遏制方案，执行已获批准的操作，并验证结果。

一名调查智能体分析遥测数据。另一名智能体提出遏制建议。经授权的执行智能体实施变更。验证智能体评估结果。

这展示的是闭环自主事件响应，而非有记录在案的行业普遍性失效。

假设第一名智能体错误地认定某个身份已遭入侵。第二名智能体接受了这一结论，并停用了该账户。第三名智能体确认账户已停用，并报告任务成功。

所选操作已完成。

但最初的判断正确吗？采取的行动获得授权了吗？遏制措施是否针对了实际威胁？它是否造成了不必要的干扰？

验证不能仅仅确认智能体完成了自己选择的操作。

将验证工作交给另一名 AI 智能体，也不会自动使验证结果具有独立性。

不同智能体可能依赖相同的不准确遥测数据、遭到篡改的信息或有缺陷的假设。它们意见一致，并不能独立证实相关事实。

自主行动造成的后果越严重，就越需要由作出决策的系统之外的独立机制进行验证。

这种独立性可以通过单独来源的证据、确定性策略检查、受限执行环境、人工审查，或多种保障措施相结合来实现。

适当的控制措施应与错误可能造成的后果相称。

影响较小且可逆的行动，可能适合采用自动化验证。影响重大或难以撤销的行动，则可能需要更严格的授权、独立确认和明确的人工批准。

以下四个问题有助于区分相关的安全属性：

• 系统是否正确理解了预期任务？
• 该行动是否在授予它的权限范围内？
• 执行过程是否始终处于允许的边界之内？
• 最终结果是否实现了预期的安全目标？

这些问题彼此相关，但不能相互替代。

智能体可能采取了经授权的行动，却产生了非预期结果；也可能通过未经授权的行动，取得看似有益的结果。

这两种情况都不应被自动视为安全目标已成功实现。

随着自主系统能力不断增强，挑战不仅在于让它们完成复杂工作流程，更在于取得充分证据，证明其行动始终获得授权、适当且正确。

这还包括明确何时停止、上报、撤销行动，或接受界定明确且已充分理解的风险。

信任必须以证据为依据

自主 AI 带来的安全影响并非只有负面的一面。

自主系统可以帮助防御人员发现弱点、调查威胁并开展验证工作，否则这些工作将耗费大量人力。

更好的模型、更强有力的外部控制和更成熟的运营实践，可能降低与权限委托相关的部分风险。

因此，现在就断定自主 AI 本质上不安全，或治理无法跟上其发展步伐，还为时过早。

对于“自主 AI 需要全新的安全原则”这一观点，也存在一个值得认真对待的反驳。

许多根本问题——权限过大、不可信输入、授权薄弱、策略执行不一致以及验证不足——几十年来一直是研究对象。

只要实施和测试得当，既有控制措施或许已经能够提供切实可行的解决方案。

自主性会改变这些措施的应用速度、规模和复杂程度，但并不会自动使它们失效。

现有证据支持我们提出一个更有价值的问题：在什么条件下，可以信任自主系统行使受委托的权限？我们又该如何证明这些条件已经满足？

答案不能仅凭模型能力得出。

这需要明确的架构边界、清晰分配的责任、独立执行的授权机制、适当的监督，以及能够证明保障措施在真实条件下有效的证据。

这还需要对安全与风险形成始终如一、又不断演进的认知。

每有新模型问世，我们的基本安全原则都不必随之改变。但随着能力、运行环境和受委托权限不断演进，我们必须持续审视这些原则的适用假设。

这正是进攻性严谨的宗旨。

不是为了证明 AI 系统会失效，而是为了找出它们可能在哪里失效、明确后果，并验证旨在防止或遏制这些失效的控制措施。

或许，更持久的优势并非仅仅在于选择能力更强的模型，而在于构建一种架构，使模型能够更换，同时不损害信任、权限和验证的边界。

这场猫鼠游戏仍在继续。双方都可能越来越多地拥有自主行动的参与者。

真正重要的是，要确保我们发现弱点、修复弱点并验证结果的能力，不会在自动化其他一切的竞赛中丧失。

信任必须以证据为依据。

作者注：本文所表达的观点和解读均为我个人观点，不一定反映我雇主的官方立场、政策或产品能力。