Simbian 发布网络防御基准，揭示人工智能安全能力的重大差距

Simbian 发布了一项新的基准，挑战了人工智能领域最广泛接受的假设之一：能够发现漏洞的模型也能防御它们。

该公司的新发布的 Simbian 网络防御基准 由其 Simbian 研究实验室开发，评估领先的大型语言模型（LLM）在现实世界网络防御场景中的性能。结果很明显。虽然现代人工智能系统越来越擅长于发现和利用弱点，但当要求它们识别和停止活跃攻击时，它们却遇到了很大的困难。

前沿模型无法达到防御的最低标准

基准测试了包括 Claude Opus 4.6、GPT-5、Gemini 3.1 Pro 等在内的领先模型，在模拟的企业环境中。

没有一个模型能够达到合格分数。

Claude Opus 4.6 是测试中表现最好的模型，它只检测到了部分攻击证据，跨越了 MITRE ATT&CK 策略，而许多模型甚至无法识别整个类别的恶意活动。独立的学术研究也证实了这一发现，即使是顶级模型也难以进行开放式威胁狩猎，只能检测到少数恶意事件在现实场景中的一小部分。

这种差距凸显了一个关键的局限性。今天的人工智能系统可能擅长回答结构化问题或解决封闭的问题，但当需要调查复杂、不断演变的攻击链时，它们就会失去方向。

向现实、基于代理的评估转变

Simbian 的基准之所以不同，是因为其设计。

与早期的网络安全测试不同，Simbian 的方法使用真实的遥测数据，并将模型置于代理调查循环中。模型不再被告知要寻找什么，而是必须独立地探索日志、形成假设并识别威胁。

这与人类安全分析师在真正的安全运营中心的工作方式类似。

基准测试结合了数十种攻击技术，跨越多个阶段，迫使模型跨越时间和系统连接信号。通过改变上下文和强制确定性评分，它还降低了模型简单地记忆模式的风险。

这种转向现实的变化是显著的。在人工智能开发中，创建一个准确反映现实世界复杂性的基准通常是解决问题本身的第一步。

进攻和防御人工智能之间的日益增长的差距

发现结果加强了整个行业中出现的更广泛的趋势。

人工智能在进攻网络任务中迅速改进。 最近的研究 表明，前沿模型已经可以在模拟环境中执行多步骤攻击，并且越来越多地使用最少的工具。同时，防御能力却落后了。

这种不平衡造成了日益增长的不对称性。攻击者可以利用自动化和规模，而防御者仍然严重依赖人类专业知识和零碎的工具。即使人工智能识别出漏洞，也可能误解其严重性或无法采取适当的行动，凸显了检测和理解之间的差距。

为什么“开箱即用”的人工智能不够

Simbian 的结论不是人工智能无法防御系统，而是它无法独自完成。

基准测试表明，LLM 需要 Simbian 所描述的“复杂的马鞍”——外部智能、结构化工作流和系统级集成的组合——才能在安全环境中有效地运行。

这与更广泛的 研究 一致，表明添加工具、内存和上下文可以显著提高人工智能在网络安全任务中的性能。

在生产环境中，Simbian 声称通过将模型与这些额外的层次结合，已经实现了显著提高的检测准确性。含义很明确：原始模型能力只是拼图的一部分。

人工智能安全的新基准类别

网络防御基准 的发布标志着人工智能系统在现实世界部署中如何评估的重要一步。

通过关注基于证据的威胁狩猎而不是问题回答，它将问题从智能转移到执行。它还引入了成本作为一个可衡量的因素，突出了模型之间的性能和效率的权衡。

随着人工智能继续重塑网络安全，这样的基准可能会成为理解不仅仅是什么模型可以做什么，还有它们在哪里失败——以及为什么——的必备工具。

现在，结论很明确。尽管人工智能取得了快速的进步，但完全自主的网络防御仍然遥不可及。创新下一阶段可能不再依赖于构建更大的模型，而是设计将人工智能与结构化智能、上下文和人类监督相结合的系统。