黑客盒基准测试：AI增强团队超越人类网络安全分析师

一项来自 黑客盒 的新研究，题为“AI增强与仅人类网络安全性能基准测试报告”发现，AI增强的网络安全团队可以显著超越仅人类的团队，顶级团队可以完成任务，速度快达 4.1 倍。这些发现基于 神经网格捕获旗帜（CTF） 竞赛的性能数据，这是最大的现实世界基准测试，比较代理AI辅助团队和传统人类团队执行网络安全任务。

基准测试分析了神经网格捕获旗帜（CTF）竞赛的数据，包括 1,337 个仅人类团队和 156 个 AI 代理团队注册，958 个人类团队和 120 个 AI 团队积极尝试挑战，跨越 36 个网络安全挑战，涵盖九个技术领域和四个难度级别。

结果强调了 AI 增强的网络安全运营的生产力收益和组织可能面临的新兴劳动力挑战，因为自动化重塑了安全团队的运作方式。

AI增强团队实现可衡量的性能收益

基准测试表明，将 AI 代理集成到网络安全工作流中可以显著增加输出，特别是当与经验丰富的人类操作员配对时。

主要发现包括：

• 与仅人类团队相比，顶级 AI 增强团队的输出提高了多达 4.1 倍
• 所有团队在同一时间窗口内的生产力提高了 1.4 倍
• AI 增强团队的挑战解决率提高了 70%
• AI 团队的解决率为 27%，而顶级仅人类团队的解决率为 16%
• 所有参与者在整个解决率比中提高了 3.2 倍

根据黑客盒 CEO 和创始人 哈里斯·皮拉里诺斯 的说法，结果表明，AI 可以显著提高运营速度，但仍必须与人类监督配对。

“AI 可以提高网络安全性能的标准，但它并不能消除对人类专业知识的需求，” 皮拉里诺斯 说。 “组织必须开发 AI 熟练的团队和人类在循环中的工作流程，以安全地解锁这些好处。”

与通常用于 AI 评估的合成基准测试不同，该竞赛使用专业级网络安全挑战，在现实竞争压力下，提供了 AI 辅助团队和人类团队之间更具操作性现实性的比较。

人类-AI 混合模型成为获胜策略

虽然 AI 显著加速了性能，但研究发现，将 AI 代理与人类操作员结合的混合团队产生了最强的结果。

在竞赛中：

• 73.3% 的 AI 增强团队完成了至少一个挑战，而仅人类团队的完成率为 46%
• AI 代理通常会提高基线生产力，但在面对复杂任务时仍需要人类验证和战略方向

对于 CISO 和安全领导者，报告强调，AI 应该被视为 倍增器，而不是网络安全专业人员的替代品。

AI 的影响因技能水平而大不相同

报告中最重要的见解之一是，AI 对网络安全从业人员的影响因其经验水平而异。

初级：生产力幻觉

对于初级操作员，AI 可以作为能力桥梁，帮助他们解决他们可能难以解决的挑战。然而，报告警告，这可能会在初级分析师缺乏验证 AI 输出或有效指导代理工作流的专业知识时，产生虚假的生产力感。

在某些情况下，表现较差的 AI 增强团队实际上 慢了 12.5%，因为操作员缺乏足够的监督技能，导致他们陷入低效的循环中。

中级：AI 的甜蜜点

最大生产力收益出现在 中级分析师 中，特别是在处理中等复杂性任务时。

在此类别中：

• AI 优势在中等难度问题上达到 3.89 倍 的性能改进
• 中级团队的任务完成速度比仅人类团队快 40-70%

这表明企业可能会通过将代理系统部署在中级分析师旁边看到对 AI 投资的最直接回报。

精英操作员：速度优势，而不是能力替代

在顶级表现者中，AI 增强团队和人类专家的差距大大缩小。

例如：

• 最好的人类团队解决了所有 36 个挑战，而最好的 AI 增强团队完成了 32 个挑战
• 在前 5% 的表现层面，解决率优势缩小到 1.69 倍

然而，AI 仍然带来了显著的速度优势，顶级 AI 增强团队的解决速度是人类团队的三到四倍。

困难悖论揭示了 AI 的挣扎之处

该研究还确定了研究人员所说的 困难悖论 在 AI 性能中的现象。

AI 优势随着任务复杂性的增加而增加，直到某个点：

• 非常简单的挑战：AI 团队的优势约为 2.4 倍
• 中等挑战：AI 优势为 3.89 倍，这是峰值性能区
• 困难挑战：优势下降到 2.97 倍，揭示了 AI 推理的局限性

某些创造性领域（如编码和逆向工程）显示出人类和 AI 系统之间的近似平局，突出了人类直觉和新颖推理仍然至关重要的领域。

在各个领域，AI 的性能差异很大，范围从 安全编码任务中 5.15 倍的优势 到 数字法医中的 1.68 倍。

潜在的人才管道危机

除了生产力收益之外，报告还提出了长期的人才担忧：AI 可能会破坏生产未来网络安全专家的培训管道。

传统上用于训练初级分析师的入门级安全任务现在越来越多地被自动化。AI 团队在最容易的挑战层面上显著超越了人类团队，表明历史上用于训练新分析师的工作可能越来越多地由自动化处理。

如果组织自动化过多的初级工作，报告警告他们可能会在人才管道中创建一个 “缺失的中间层”，在那里，较少的分析师会发展成为高级安全专家的所需技能。

对安全领导者的影响

对于 CISO 和企业安全领导者，发现表明，采用 AI 工具不再是可选的。

未能将 AI 集成到其安全运营中的组织可能会面临已经利用 AI 加速攻击和利用漏洞的对手，他们的速度比传统团队更快。

报告建议采取 三层 AI 集成策略：

• 将初级角色重新培训为专注于 AI 治理和验证，而不是手动任务
• 首先将 AI 部署在中级分析师旁边，因为那里生产力收益最高
• 保留精英人才，并将他们与 AI 副驾驶配对，以加速事件响应和高级威胁分析

最终，报告 表明，网络安全的未来将不是 AI 与人类的对立——而是 以机器速度运行的 AI 增强人类。