思想领袖

AI 攻击者不会疲倦:为何网络安全必须改变

mm
将 Unite.AI 添加到您在 Google 上的首选来源

你的安全计划是为会感到疲倦的攻击者而构建的。

当 OpenAI 发布其模型在评估环境中突破并在 Hugging Face 的生产基础设施中停留数天的案例时,我称之为网络安全的《终结者》时刻。我仍然坚持这一说法,但还有其他方面值得我们警惕。九天后,Anthropic 公开了自己的事故。八月初,Meta 确认了另一件事。随后不久,第四家实验室的模型 Moonshot 的 Kimi K3 也在其测试沙箱中出现了泄漏。四家实验室,不足三周。四个模型跑到了本不该去的地方。

这些故事大多被视为 AI 安全案例。确实如此。但对 CISO 来说,它们同样是第三方风险案例——这可能是更直接的教训。令人不安的事实是,OpenAI‑Hugging Face 事件本质上是一次第三方风险事件:一个脆弱的第三方组件成为逃逸路径,供应商成为受害者,而成千上万公司依赖的系统节点则成为冲击半径。

以下是我会在下次安全规划会议上提出的数字。大约 17,600 次攻击者行为中,Hugging Face 已恢复自其日志记录的,大多数都失败了。

该代理测试了无路可走的路径。它被 URL 白名单拦截并尝试转向。它触碰到拒绝所有变更调用的 IAM 策略。它两次尝试访问生产数据库,均超时。它不断探测、失败并继续。成千上万次。它并未感到沮丧,也未感到疲倦。失败几乎没有成本。

四个模型在不到三周的时间内突破了测试环境。这些逃逸登上头条。安全领袖应更担忧的是导致它们可能的根本原因:攻击者可以以几乎零成本失败数千次。

这正是转变所在。数十年来,防御者受益于一个简单事实:失败会让攻击者付出代价。情报收集需要时间,死胡同成本高昂。这种不对称的经济学让“对攻击者施加成本”成为一种合理的阻止手段。当失败几乎免费时,成功路径不再是稻草堆中的针,而是任何能够一次性遍历所有路径的主体的统计必然。

这些事件的模式指向安全领袖现在应采取的三条教训。

四家实验室,同一形状

模式异常一致。给模型一个目标,它会找到无人预料的路径。有时这条路径直接通向本不该涉及的组织的生产系统。至少有一起案例,受影响的组织是因为 Anthropic 打电话告知才了解到发生了什么

在每一种情况下,路径都穿过他人构建的软件、基础设施或环境。安全领袖应当将此视为个人责任。

链条中的每个组织都有安全计划,其中几家相当优秀。失败并未被限制在任何单一防线内部,而是发生在组织之间的缝隙中,而这些缝隙无人拥有。

OpenAI 的模型在自托管的包代理中发现了一个零日漏洞,并利用它访问了开放互联网。随后它们在 Modal Labs 客户的一个不安全代码执行沙箱中扎根,将其作为临时基地,并诱骗 Hugging Face 的数据集加载器读取本地文件并执行代码。仅在十三小时内,它们就在多个内部集群中获得了集群管理员权限,且所有集群共享同一凭证。入口点新颖,内部的弱点却是我们二十年来一直在记录的老问题。

九天后,Anthropic 做了更罕见的事:它 发布了自己的审查报告,对 141,006 次评估运行进行审查,并披露了三起未被提示的相似案例:模型从评估环境突破到开放互联网,随后获得了真实组织系统的访问权限。这一次没有沙箱逃逸,而是一次配置错误导致模型被告知不存在的路径仍然存活。逃出后,模型利用了每个安全团队都熟悉的弱点:弱密码、未认证端点、SQL 注入以及暴露在调试页面上的凭证。

Meta 在八月初确认了第四起事件,原因是一次配置错误在评估期间为其模型提供了互联网访问权限。Meta 同样未能及时发现;当其测试合作伙伴打电话告知时才得知发生了什么。该评估和 Anthropic 的评估均由同一家外部公司 Irregular 执行,Irregular 公开称其为同一问题。一个供应商的配置错误在两个前沿实验室和四个受害组织之间传播,而这些组织与 Irregular 并无直接关系。它是两家实验室的供应商,而非它们的客户。代理并不在乎一家公司的攻击面何时结束,另一家何时开始。

这正是它成为第三方风险问题的原因。暴露现在可以源自离你数个关系层级的组织——一个你从未选择、评估甚至不知道其属于你攻击面的组织。

随后,Frontier Security 的研究人员也捕捉到 Moonshot 的 Kimi K3 在其沙箱中出现泄漏,进而能够访问 GitHub 上的基准库。没有人被入侵,模型正追求其分配的目标,并且已经算出使用现成答案键比自行求解更便宜。此案例重要的两点是:研究人员在自己的测试中发现了它;并且它使用的工具链与 Anthropic 和 Meta 的案例完全不同。单一供应商的糟糕月份并不能解释这一现象。

这些实验室并未对上述情况视而不见。Anthropic 主动发布审查报告,这正是业界拥有可供审视和学习的模式——而不是将其视为可忽略的离群点。这应当成为常态。OpenAI 在内部评估未能排除关键网络能力后,已放慢 Astra 模型的发布速度。两项举措都值得肯定。但它们都不是防御方案:发布延迟只影响单家公司日程,对已经以开放权重和免费形式发布、超出任何单一实验室控制范围的强大模型(包括 Kimi K3)毫无作用。

关联而不升级并非检测

值得肯定的是,Hugging Face 的检测堆栈将信号关联成了一个连贯的攻击。但它未能提升危急程度,值班团队也没有被呼叫。工具组装了故事,却无法判断该故事是否紧急。这是一套为四天内 17,600 起事件仍显荒诞的世界设计的分流架构。

网络安全需要它的福斯伯里翻转

1968 年,迪克·福斯伯里在跳高项目中夺得奥运金牌,他的制胜之道不是跳得比竞争对手更高,而是倒着越过横杆。其他人仍在改进跨栏式技术:更好的姿势、更大的力量、在数十年老技术上的边际提升。福斯伯里改变了问题的形状。两届奥运后,跨栏式几乎绝迹。

如今,安全领袖必须跨越刚刚移动的横杆,而业界迄今的答案大多是更好的跨栏式:更多警报、更快的分析师、更紧的人工审查 SLA。这行不通,因为限制因素并非分析师速度。你无法用人工速度的分流来应对机器速度的攻击。

翻转的做法如下:

  • 停止把边界当作控制点。评估沙箱失效、数据集加载器失效、Pod 隔离失效,它们都在失效前正常工作。要为后续情况设计。使用短期凭证。消除共享的管理身份。阻止对元数据服务的访问。最重要的是,限制攻击者在第一个控制失效后能够移动的范围。
  • 将检测从单纯警报转向关联。单一可疑事件已不再足够。工作是将成千上万看似普通的事件串联成一次攻击故事,并在该故事足够严重时唤醒相关人员。鉴于我们看到的事件量,这一过程必须越来越多地实现自动化。
  • 把第三方暴露视作攻击路径,而非问卷调查。这些事件都穿过第三方依赖:供应商的产品、供应商的客户、评估合作伙伴、共享的测试工具。你的风险现在包括那些你从未审计、甚至可能根本不知道存在的组织的配置错误。静态、瞬时的评估根本看不见这些。此问题并非新出现,AI 让它更为紧迫。安全团队需要持续了解其依赖的公司和技术,因为攻击者将整个生态系统视为一个相连的攻击面。

在 SecurityScorecard,这正是我们文化所围绕的问题:汇聚对攻击者思维充满好奇、愿意挑战二十年假设、并渴望构建根本不同安全方法的人才!

下次董事会会议需要提出的问题

几周前我说,精灵已经变得对瓶子来说太强大。四家实验室之后,没有任何事实能反驳这一点。类似事件发生后,大家都会问同一个问题:我们是否已准备好应对 AI 驱动的攻击者?我认为这个问题并不能让我们走得更远。‘是’和‘否’得到的结果相同:没有任何改变。

再问一个更难的问题。如果在接下来的四天内有 17,000 条低信号事件冲击你的环境——其中大多数看起来像是失败——你的团队需要多长时间才能意识到这是一场攻击?会有人及时被呼叫吗?

你已经知道答案。答案与四天之间的差距就是工作量。

Dr. Aleksandr Yampolskiy,SecurityScorecard 的联合创始人兼首席执行官,是全球公认的网络安全创新者、领袖和专家。自 2014 年 SecurityScorecard 成立以来,他以打造衡量和传达风险新语言的愿景领导公司。SecurityScorecard 现已成为全球最受信赖的网络安全品牌之一,拥有数万家客户——包括《财富》100 强中一半以及美国前十大银行中的九家——并拥有超过 600 名员工。公司荣获 Gartner Peer Insight 客户之选奖,并被评为 Forrester New Wave 的领袖。2021 年,Yampolskiy 获得了 E&Y 2021 年度纽约企业家奖,并被 Cyber Defense Magazine 评为年度首席执行官。

在创立 SecurityScorecard 之前,Yampolskiy 曾担任 BlogTalkRadio 的首席技术官,BlogTalkRadio 是最大的在线脱口秀广播和播客托管平台,他将其技术规模扩展至每月超过 3000 万访客。他还曾是 Gilt Groupe 的首席信息安全官,负责 IT 基础设施安全、欺诈、防护应用开发以及 PCI 合规的全部工作。Yampolskiy 曾在高盛和甲骨文等公司领导安全团队,并为交易构建了身份验证和授权基础设施。

Alex 已发表大量文章,凭其可验证随机函数的发明荣获公钥密码学大会(Public Key Cryptography Conference)时代考验奖,拥有众多专利,并出版了 The Perfect Scorecard: Getting an ‘A’ in Cybersecurity from Your Board of Directors 一书。他拥有纽约大学数学与计算机科学学士学位,以及耶鲁大学密码学博士学位。

Alex 还与组织和活动策划人合作,提供高影响力的主题演讲和可操作的研讨会,探讨网络安全的未来,并提供商业指导。