Mayank Kumar, 创始 AI 工程师，DeepTempo Mayank Kumar 创始 AI 工程师，DeepTempo

为什么聊天机器人安全防护是错误的安全边界

企业人工智能已经远远超过了概念验证阶段。 23% 的组织已经在其企业的某个地方扩大了代理人工智能系统，而 62% 的组织至少正在尝试使用人工智能代理。这些不是研究项目。它们是生产部署，嵌入到触及代码仓库、客户数据、内部 API 和运营基础设施的工作流中。行业对这一增长的回应主要集中在代理上线之前会发生什么。供应商和研究人员已经将大量精力投入到部署前的安全防护中： 发布扩展政策、加强基础模型、过滤输入、保护人工智能供应链、以及在训练期间执行对齐。主要的人工智能提供商已经在 开发者面向的安全工具 上进行了大量投资，强化了一个核心假设：如果模型和其输入是受控的，下游风险可以被遏制。这是一个合理的直觉，但它越来越不完整。提示不是安全边界主要在模型接口上运行的安全防护措施，主要惠及那些控制应用程序代码、模型配置和底层基础设施的团队。对于那些负责保护他们没有构建和不能修改的人工智能系统的防御者来说，它们提供的保护要少得多。这是一个显著的盲点，攻击者已经找到了它。OpenAI 的最新威胁情报报告 记录了这一动态。威胁行为者正在生产环境中积极地滥用 ChatGPT 和类似工具，不是通过发明新型攻击技术，而是通过将人工智能嵌入现有的工作流程中以加快速度。侦察变得更加高效。社会工程扩大规模。恶意软件开发加速。攻击面并没有根本改变；攻击的速度和数量已经改变了。更值得注意的是，当这些工具推回时，攻击者如何做出反应。OpenAI 观察到威胁行为者迅速改变他们的提示，保持底层意图的同时，循环使用表面层次的变化，以绕过前端控制。这是一个安全实践者以前见过的模式。静态防御，无论是基于签名的防病毒软件还是输入过滤，都不能抵御那些比规则更新更快的攻击者。随着代理获得自主权，挑战变得更加复杂。现代人工智能代理不仅仅是在单一交换中运行。它们执行多步骤的动作序列，调用合法的工具和权限，以看似完全正常的方式运行。使用有效凭证来枚举内部 API 的代理不会触发警报。在看似例行工作流程中访问敏感数据存储的代理不会立即生成警报。每个单独的动作都会通过检查；危险存在于组合和序列中。当威胁转移到下游今天的人工智能部署的安全团队面临着结构性的不匹配。他们可以使用的工具主要是为了推理模型可以说什么。他们实际上需要管理的风险是代理在获得许可并在生产环境中释放后，跨系统、网络和身份执行的动作。基于提示的安全防护措施与早期基于规则的安全方法有相同的基本弱点。它们是脆弱的，因为它们依赖于预先预测攻击模式。它们是被动的，因为它们需要有人观察并编码威胁，然后防御才能起作用。并且它们被那些已经采用人工智能辅助迭代作为标准实践的攻击者超越。依赖输入过滤来捕获使用语言模型生成新提示的威胁行为者的防御者处于一个根本上不利的地位。真正的漏洞出现在部署之后。代理驱动的动作通过环境传播，以一种预部署测试无法完全预测的方式。代理遇到边缘情况，与它们不打算处理的数据源交互，接收来自原始架构外的系统的输入，并随着时间的推移做出复合决策。预部署测试是一个快照；生产是一个连续的流。仅保护快照意味着接受所有发生在流中的事件都是有效的未监控事件。将安全边界转移到代理行为构建人工智能弹性需要不同的框架，目标不应该是保护模型接口。它应该是通过代理行为的可观察后果来检测攻击者的意图。这是一个有意义的区别。意图并不总是出现在代理所说或接收的输入中。保护人工智能系统必须超越对齐检查和稳健性评估，扩展到代理与真实工具、真实 API 和真实数据交互时的行为的连续评估。部署时的静态评估是必要的，但不足以解决问题。代理运行的威胁环境不断变化。代理行为需要以相同的连续性进行监控。这是一个提示加固无法解决的问题。检测通过动作序列出现的恶意意图需要能够理解复杂、顺序行为的模型，在操作环境中运行。专门为行为分析而构建的深度学习基础模型可以做到这一点，以一种基于规则的系统和传统的安全信息和事件管理工具无法做到的方式。它们学习正常行为的样子，涵盖了代理活动的全部背景，并表明了表明发生了变化的偏差，即使没有单个动作会触发传统警报。根本逻辑在任何部署背景下都成立：以提示层为锚点的安全防护措施将始终输给在动作层运行的攻击者。防御必须转移到威胁实际存在的地方。安全团队现在应该做什么对于试图领先一步的安全领导者，一些实际的转变可以弥合当前防御和需要达到的防御之间的差距。评估人工智能安全性，涵盖整个应用程序栈。基础模型是一个层次。同样重要的是代理在部署到生产环境后如何表现，它们调用哪些工具，使用哪些权限，以及这些选择如何随时间变化。仅在模型边界停止的安全评估会让操作表面基本上不受检查。在代理级别实施最小权限。人工智能代理应该仅具有执行其指定功能所需的工具、API 和数据的访问权限。即使代理的输出看似良性，这个限制也很重要。限制范围减少了被泄露代理的爆炸半径，并创建了更清晰的行为基线，使异常检测更加有效。将代理视为生成遥测数据的身份。代理采取的每个动作都是一个数据点。安全团队应该围绕代理启动的动作链构建检测逻辑，而不是仅仅关注导致这些动作的用户提示。这种重新构想将监控从“有人要求代理做什么”转变为“代理实际做了什么”，这是攻击者意图变得可见的地方。投资用于此任务的专用检测模型的连续行为监控。识别通过动作序列出现的恶意意图需要专门的能力。传统的监控工具是为人类生成的活动模式而构建的。代理行为具有其速度、数量和多步骤结构，需要从头开始设计的检测基础设施，考虑到这一背景。优先考虑集体防御。人工智能驱动的攻击技术正在比任何单个组织都更快地演变。共享研究、开放合作和社区威胁情报不是人工智能安全策略的可选补充；它们是核心输入。那些保持当前的防御者是那些为集体知识做出贡献并从中汲取的人。行为安全实际上是有效的对于进行此转变的安全团队，运营回报是具体的。将检测锚定在代理行为而不是模型输出上，实现了对恶意意图的更早识别，即使攻击是隐蔽的、适应性的或加密的。成功突破输入过滤器的攻击者仍然必须采取行动。这些行动留下了痕迹。行为检测在损害传播之前找到这些痕迹。也许最重要的是，这种方法为组织提供了一条可信的路径，以在不接受成比例的安全风险的情况下大规模部署人工智能代理。阻碍许多企业的疑问不是人工智能代理是否可以提供价值；而是他们是否可以在不降低安全态势的情况下部署。以代理实际运行方式而不是接收的输入为基础的行为安全提供了这种信心，这是提示控制无法提供的。安全边界被画在错误的地方，这个错误在人工智能等待输入时是有意义的。它不再等待，代理系统采取行动，链式作用，升级并在没有预部署测试预见到的环境中复合。最早认识到这一点的组织将是那些真正以信心扩大人工智能规模的组织。其他人将在未来几年里，一次又一次地发现，控制模型的输出和控制模型的行为并不是同一件事。