Cogent báo cáo VR-1.1 có bản sửa vượt qua kiểm tra ở 57,9% số tác vụ LiveCVEBench

Cogent Security giới thiệu VR-1.1 vào ngày 3 tháng 11 năm 2026, cho biết mô hình sửa lỗ hổng đã tạo ra các bản sửa vượt qua kiểm tra ở 57,9% trong số 190 tác vụ của LiveCVEBench, so với 45,3% ở mỗi mô hình Claude Code và Codex.

Phiên bản mới nhất trong dòng VR của Cogent mở rộng các khả năng khắc phục được giới thiệu ở VR-1. Đánh giá này so sánh VR-1.1 với Claude Code chạy Claude Opus 5.5 và Codex chạy GPT-5.6-Cyber. Mỗi hệ thống nhận cùng đầu vào và cấu hình, đồng thời có ba lần thử cho mỗi tác vụ; điểm số được tính dựa trên bản vá cuối cùng sau các lần tự sửa lỗi.

Một bộ chuẩn đánh giá tập trung vào các bản sửa thực sự hiệu quả

LiveCVEBench tập trung vào việc khắc phục các lỗ hổng thực tế trong môi trường phát triển. Bài báo CVE-Factory mô tả một tập hợp gồm 190 tác vụ, được cập nhật liên tục, bao quát 14 ngôn ngữ lập trình và 153 kho mã. Dự án bộ chuẩn đánh giá đặt các tác tử vào môi trường phát triển thực tế, nơi chúng phải tự khám phá các cơ sở mã, xác định bối cảnh của từng lỗ hổng và triển khai bản sửa. Các CVE mới được bổ sung thường xuyên.

Trong cấu hình của Cogent, mỗi tác vụ có kèm báo cáo lỗ hổng và cơ sở mã bị ảnh hưởng. Bản vá chỉ được tính là đạt khi vượt qua các bước kiểm tra lỗ hổng và tiếp tục vượt qua các bước kiểm tra chức năng. Các tác vụ bao gồm lỗi chèn mã, kiểm soát truy cập, cấu hình và an toàn bộ nhớ; vì vậy, lời giải thích thuyết phục là chưa đủ nếu thay đổi đó vẫn để lại một con đường khác dẫn đến lỗ hổng, vô hiệu hóa hành vi hợp lệ, gây ra lỗi hồi quy hoặc tạo thêm nguy cơ bị khai thác.

Yêu cầu kép này phân biệt việc sửa lỗ hổng với việc chỉ ngăn chặn một cách thức tấn công cụ thể. Mô hình phải giữ nguyên hành vi dự kiến trong khi khắc phục điểm yếu, bao gồm cả những đường dẫn liên quan cũng có cùng điểm yếu đó.

Quy trình sửa lỗi của VR-1.1

Cogent cho rằng kết quả này có được nhờ quá trình huấn luyện chuyên sửa lỗi bảo mật và một môi trường kiểm thử có thể tái tạo điểm yếu, áp dụng bản vá rồi kiểm tra xem bản vá có thể bị né tránh hay không. Khi cấu hình chạy cho phép, VR-1.1 kiểm tra báo cáo và mã nguồn trước khi viết một bản khai thác minh chứng có thể kích hoạt lỗ hổng. Nhờ vậy, mô hình có một lỗi để lần theo và một bài kiểm tra để chạy lại sau khi áp dụng bản vá.

Trước khi thực hiện thay đổi có trọng tâm, mô hình tìm các đường dẫn mã liên quan có cùng điểm yếu. Một lượt rà soát riêng trong bối cảnh mới sẽ kiểm tra bản vá để tìm cách né tránh và các lỗi phát sinh. VR-1.1 cũng viết các bài kiểm thử hồi quy. Khi bước xác thực thất bại, phân tích trước đó cùng thông tin về lỗi sẽ giúp định hướng lần thử tiếp theo.

Ví dụ thực tế về bản sửa trong Fiber

Một lần chạy được ghi lại liên quan đến CVE-2025-48075 trong khung ứng dụng web Fiber. Khuyến cáo bảo mật của dự án cho biết chỉ số âm trong dữ liệu biểu mẫu lồng nhau có thể khiến BodyParser gặp lỗi panic và làm máy chủ sập, tạo ra nguy cơ tấn công từ chối dịch vụ. Khuyến cáo liệt kê các phiên bản từ 2.52.6 trở đi là bị ảnh hưởng và 2.52.7 là phiên bản đã được vá.

VR-1.1 tái hiện sự cố sập máy chủ và bổ sung bước kiểm tra giới hạn trước khi sử dụng chỉ số, từ chối các chỉ số âm hoặc vượt quá giới hạn mà vẫn giữ nguyên khả năng xử lý biểu mẫu hợp lệ. Cogent cho biết sau đó cả chín bước kiểm tra lỗ hổng đều đạt, so với không bước nào đạt trước khi sửa; trong khi đó, cả 12 bước kiểm tra chức năng đều đạt ở cả trước và sau khi sửa. Ví dụ này lấy từ một lần chạy riêng được ghi lại với 182 tác vụ, không phải đợt đánh giá cuối cùng gồm 190 tác vụ.

Giới hạn đánh giá và việc sử dụng trong môi trường thực tế

Trong quá trình sửa lỗi, đợt đánh giá chặn truy cập mạng ra bên ngoài và không cung cấp các bài kiểm tra chấm điểm của LiveCVEBench cho đến khi từng tác tử hoàn tất. Những điều kiện này ngăn các tác tử tải bản sửa từ dự án nguồn hoặc sử dụng trực tiếp bài kiểm tra chấm điểm trong khi vá lỗi.

Cogent lưu ý rằng thời điểm kết thúc dữ liệu huấn luyện của cả hai mô hình đối chứng đều muộn hơn ngày công bố các CVE trong phiên bản LiveCVEBench hiện tại; điều đó có nghĩa là các khuyến cáo và bản sửa tương ứng có thể đã xuất hiện trong dữ liệu huấn luyện. Công ty cho biết mô tả tác vụ theo kiểu báo cáo của người dùng, việc chặn kết nối mạng và các điều kiện giống nhau đã hạn chế lợi thế này.

Trong các lần kiểm tra ngẫu nhiên của Cogent, các mô hình có thể mô tả một số lỗ hổng dựa trên trí nhớ nhưng không tái tạo được chính xác các bản vá. Công ty cũng đang xây dựng một tập tác vụ từ những CVE được công bố sau các thời điểm kết thúc dữ liệu huấn luyện liên quan và dự định duy trì cập nhật tập này.

LiveCVEBench kiểm tra các lỗ hổng đã biết trong môi trường biệt lập; kết quả đạt nghĩa là đáp ứng các bước kiểm tra được cung cấp. Cogent cho biết việc triển khai trong môi trường thực tế vẫn cần được rà soát và kiểm thử trong môi trường đích. Công ty đang đưa VR-1.1 vào quy trình khắc phục, trong đó mỗi bản vá đi kèm phần chẩn đoán, bản khai thác minh chứng và các bài kiểm thử để người rà soát kiểm tra. Vì vậy, kết quả trên bộ chuẩn đánh giá đo lường các bản sửa đã qua kiểm tra trong điều kiện được kiểm soát; việc sử dụng thực tế vẫn phụ thuộc vào xác thực các bản sửa đó trong môi trường phần mềm sẽ vận hành.