Cogent报告：VR-1.1在LiveCVEBench任务中的修复通过率达57.9%

Cogent Security于2026年11月3日推出VR-1.1，并报告称，这款漏洞修复模型在LiveCVEBench的190项任务中，有57.9%的修复通过了检查；Claude Code和Codex的通过率则均为45.3%。

Cogent VR系列的最新产品扩展了VR-1推出的漏洞修复能力。评估将VR-1.1与运行Claude Opus 5.5的Claude Code，以及运行GPT-5.6-Cyber的Codex进行了比较。每个系统在每项任务中都获得相同的输入和设置，并有三次尝试机会；评分依据是系统完成内部修复尝试后提交的最终补丁。

以实际修复为核心的基准测试

LiveCVEBench专注于修复开发环境中的现实漏洞。其CVE-Factory论文介绍了一套持续更新的任务集，共有190项任务，涵盖14种编程语言和153个代码仓库。基准测试项目将智能体置于真实的开发环境中，要求它们自主探索代码库、厘清每个漏洞的背景，并实施修复。新的CVE会定期加入。

Cogent为每项任务提供一份漏洞报告和受影响的代码库。只有在漏洞检查通过且功能检查仍然通过时，补丁才算成功。这些任务涵盖注入、访问控制、配置和内存安全漏洞，因此，如果改动留下了另一条利用漏洞的途径、禁用了正常功能、造成回归问题或引入新的风险，那么即使解释听起来很有说服力，也不足以证明修复有效。

这一双重要求将真正的修复与仅仅阻止某一种攻击演示区分开来。模型必须在弥补漏洞的同时保留预期功能，也要处理共享该漏洞的相关代码路径。

VR-1.1的修复流程

Cogent将这一成绩归因于安全修复训练，以及一套能够复现漏洞、应用补丁并测试补丁是否可被绕过的测试框架。在运行配置允许的情况下，VR-1.1会先检查报告和源代码，再编写能够触发漏洞的概念验证。这样一来，模型就有了可追踪的故障，以及修补后可以重新运行的测试。

在进行有针对性的改动之前，模型会查找共享该漏洞的相关代码路径。随后，另一个在全新上下文中进行的独立审查会检查补丁是否存在可绕过之处或新引入的错误。VR-1.1还会编写回归测试。如果验证失败，模型会依据此前的分析和失败信息再次尝试。

Fiber漏洞修复实例

一项记录在案的运行涉及Fiber Web框架中的CVE-2025-48075。该项目的安全公告指出，嵌套表单数据中的负索引可能导致其BodyParser触发崩溃，进而使服务器宕机并产生拒绝服务风险。公告列出的受影响版本从2.52.6起，修复版本为2.52.7。

VR-1.1复现了崩溃，并在使用索引前添加边界检查，拒绝负数或超出范围的索引，同时保留对有效表单的处理。Cogent报告称，修复后全部9项漏洞检查均通过，而修复前没有一项通过；与此同时，全部12项功能检查在修复前后均通过。这个例子来自另一次有记录的运行，共涉及182项任务，并非最终的190项任务评估。

评估的局限与生产环境中的使用

评估在修复期间禁止访问外部网络，并在每个智能体完成任务前不提供LiveCVEBench的评分测试。这些条件避免了智能体获取上游修复方案，也避免了它们在修补过程中直接使用评分测试。

Cogent提醒说，两个基线模型的训练数据截止时间都晚于当前LiveCVEBench版本中各CVE的发布日期，这意味着相关安全公告和修复方案可能已经出现在训练数据中。Cogent指出，采用用户报告式的任务描述、阻断网络访问以及对所有模型施加相同条件，都是限制这项优势的因素。

在Cogent的抽查中，模型能够凭记忆描述部分漏洞，但无法复现完全相同的补丁。该公司还在构建一套由相关训练数据截止日期之后披露的CVE组成的任务集，并计划持续更新。

LiveCVEBench在隔离环境中测试已知漏洞，通过测试意味着满足所提供的检查要求。Cogent表示，部署到生产环境仍需在目标环境中进行审查和测试。该公司正将VR-1.1纳入其修复工作流，每个补丁都会附带诊断结果、概念验证和测试，供审查人员检查。因此，基准测试结果衡量的是受控条件下通过检查的修复效果；在生产环境中使用，仍取决于是否在软件实际运行的环境中验证这些修复。