思想领袖4 days ago
为何聊天机器人防护措施是错误的安防边界
企业级人工智能早已超越了概念验证阶段。23% 的组织已在企业内某处规模化部署智能体 AI 系统，而62% 的组织至少已在试验 AI 智能体。这些并非研究项目。它们是生产环境部署，嵌入到触及代码仓库、客户数据、内部 API 和运营基础设施的工作流中。 行业对此增长的反应主要集中在智能体上线之前。供应商和研究人员已将大量精力投入到部署前的防护措施上：发布扩展政策、强化基础模型、过滤输入、保障 AI 供应链安全，以及在训练阶段强制执行对齐。主要的 AI 提供商已在面向开发者的安全工具上进行了大量投资，强化了一个核心假设：如果模型及其输入是受控的，下游风险就能得到遏制。 这是一种合理的本能，但正日益变得不完整。 提示词并非安防边界 在模型接口层面运行的防护措施，主要惠及那些控制应用代码、模型配置和底层基础设施的团队。它们为那些负责保护自己未构建且无法修改的 AI 系统的防御者提供的保护则要少得多。这是一个重大的盲点，而攻击者已经发现了它。 OpenAI 最新的威胁情报报告准确记录了这种动态。威胁行为者正在生产环境中积极滥用 ChatGPT 及类似工具，并非通过发明新颖的攻击技术，而是通过将 AI 嵌入现有工作流中以加快速度。侦察变得更高效。社会工程学攻击得以规模化。恶意软件开发加速。攻击面并未发生根本性改变；改变的是利用的速度和规模。 更具启发性的是攻击者在这些工具进行防御时的反应。OpenAI...
