Cogent、LiveCVEBenchのタスクの57.9%でVR-1.1の修復に合格と報告

Cogent Securityは2026年11月3日にVR-1.1を発表し、脆弱性修復モデルがLiveCVEBenchの190タスクの57.9%で合格する修復を実施したと報告した。Claude CodeとCodexはそれぞれ45.3%だった。

CogentのVRシリーズに加わった最新モデルは、VR-1で導入された修復機能を拡張する。評価では、VR-1.1を、Claude Opus 5.5を実行するClaude CodeおよびGPT-5.6-Cyberを実行するCodexと比較した。各システムには同じ入力と設定が与えられ、各タスクで3回の試行が行われた。スコアは、各システムが内部で修復を試みた後の最終パッチに基づいている。

実際に機能する修復を重視したベンチマーク

LiveCVEBenchは、開発環境における実際の脆弱性の修正に重点を置いている。CVE-Factory論文では、14のプログラミング言語と153のリポジトリにまたがる190のタスクを継続的に更新する仕組みが説明されている。ベンチマークプロジェクトでは、エージェントが実際の開発環境に置かれ、コードベースを自律的に調査し、各脆弱性の背景を把握したうえで修正を実装する。新たなCVEは定期的に追加される。

Cogentの設定では、各タスクに脆弱性レポートと影響を受けるコードベースが用意された。脆弱性の検査に合格し、機能の検査にも引き続き合格した場合に限り、パッチは成功と判定された。タスクにはインジェクション、アクセス制御、設定、メモリー安全性に関する不備が含まれる。そのため、変更後も脆弱性を突く別の経路が残る、正当な機能が無効になる、回帰が発生する、あるいは新たな攻撃対象が生じる場合、説得力のある説明だけでは不十分だ。

この2つの要件があることで、攻撃の実演を1つ止めるだけの対応と、脆弱性を修復することが区別される。モデルには、弱点を塞ぐと同時に、意図された動作を維持し、その弱点を共有する関連経路にも対処することが求められる。

VR-1.1の修復ワークフロー

Cogentは、この成果の要因として、セキュリティ修復の訓練と、脆弱性を再現して修正を適用し、回避できないかパッチを検査するハーネスを挙げている。実行設定で許可されている場合、VR-1.1はレポートとソースコードを調べたうえで、脆弱性を引き起こす概念実証コードを作成する。これにより、モデルは追跡すべき障害と、パッチ適用後に再実行する検査を得られる。

モデルは、対象を絞った変更を加える前に、同じ弱点を持つ関連コード経路を探す。別の新しいコンテキストで行うレビューでは、パッチに回避可能な抜け道や新たなバグがないかを調べる。VR-1.1は回帰テストも作成する。検証に失敗した場合は、それまでの分析と失敗に関する情報をもとに、次の試行を進める。

Fiberの修復事例

記録された実行例の1つでは、FiberウェブフレームワークのCVE-2025-48075が扱われた。プロジェクトのセキュリティ勧告によると、ネストされたフォームデータ内の負のインデックスによってBodyParserがパニックを起こし、サーバーがクラッシュしてサービス拒否のリスクが生じる。影響を受けるバージョンは2.52.6までとされ、修正版は2.52.7とされている。

VR-1.1はクラッシュを再現し、インデックスを使用する前に境界チェックを追加した。これにより、有効なフォーム処理を維持しながら、負のインデックスや過大なインデックスを拒否した。Cogentの報告によると、その後、脆弱性検査は9項目すべてに合格し、修正前は0項目だった。一方、機能検査は12項目すべてで修正前後ともに合格した。この例は、最終的な190タスクの評価とは別に記録された、182タスクの実行結果に基づく。

評価の限界と本番環境での利用

評価では修復中の外部ネットワークへの接続を遮断し、各エージェントが作業を終えるまでLiveCVEBenchの採点テストを公開しなかった。これらの条件により、パッチ適用中に上流の修正を取得したり、採点テストを直接利用したりすることはできなかった。

Cogentは、比較対象となった両モデルの学習データのカットオフが、現在のLiveCVEBenchリリースに含まれるCVEの公開日よりも後であると注意を促している。つまり、それらの脆弱性に関する勧告や修正が学習データに含まれていた可能性がある。同社は、ユーザー報告のような形式のタスク記述、ネットワークの遮断、条件を同一にしたことを、その優位性を制限する要素として挙げている。

Cogentが抜き取りで確認したところ、モデルは一部の脆弱性を記憶に基づいて説明できたものの、正確なパッチを再現することはできなかった。同社はまた、関連するカットオフより後に公開されたCVEをもとにタスクセットを作成しており、今後も最新の状態に保つ計画だ。

LiveCVEBenchは、隔離された環境で既知の脆弱性を検証し、用意された検査に合格することを成功の基準としている。Cogentによると、本番環境に導入するには、対象環境でのレビューとテストが引き続き必要だ。同社はVR-1.1を修復ワークフローに組み込んでおり、各パッチには診断内容、概念実証コード、レビュー担当者が確認するためのテストが付属する。したがって、このベンチマークの結果が示すのは、管理された条件下で検査に合格した修復の実績であり、本番環境での利用には、実際にソフトウェアを動かす環境で修復を検証することがなお必要となる。