Cogent, LiveCVEBench 과제 57.9%에서 VR-1.1의 취약점 수정 성공 보고

Cogent Security는 2026년 11월 3일 VR-1.1을 공개하며, 취약점 수정 모델이 LiveCVEBench의 190개 과제 중 57.9%에서 검증을 통과하는 수정을 내놓았다고 밝혔다. Claude Code와 Codex는 각각 45.3%를 기록했다.

Cogent의 VR 제품군에 새로 추가된 VR-1.1은 VR-1에서 처음 도입된 복구 기능을 확장한다. 평가에서는 VR-1.1을 Claude Opus 5.5를 사용하는 Claude Code 및 GPT-5.6-Cyber를 사용하는 Codex와 비교했다. 각 시스템에는 동일한 입력과 설정이 제공됐으며, 과제마다 세 번의 시도가 허용됐다. 점수는 각 시스템이 내부적으로 복구를 시도한 뒤 제출한 최종 패치를 기준으로 산정됐다.

실제 작동하는 수정에 초점을 맞춘 벤치마크

LiveCVEBench는 개발 환경에서 실제로 발생하는 취약점을 수정하는 데 초점을 둔다. CVE-Factory 논문은 14개 프로그래밍 언어와 153개 저장소에 걸친 190개 과제를 지속적으로 갱신하는 데이터셋으로 설명한다. 벤치마크 프로젝트는 에이전트를 실제 개발 환경에 배치해 코드베이스를 자율적으로 탐색하고, 각 취약점의 맥락을 파악한 뒤 수정하도록 한다. 새로운 CVE는 정기적으로 추가된다.

Cogent의 설정에서는 각 과제마다 취약점 보고서와 영향을 받는 코드베이스를 제공했다. 취약점 검사를 통과하고 기능 검사도 계속 통과한 경우에만 패치를 성공으로 인정했다. 과제에는 인젝션, 접근 제어, 설정 및 메모리 안전성 결함이 포함되므로, 수정 후에도 취약점에 이르는 다른 경로가 남아 있거나 정상적인 동작이 비활성화되거나, 회귀 문제가 발생하거나, 새로운 노출 위험이 생긴다면 설득력 있는 설명만으로는 충분하지 않다.

이 두 가지 요건을 모두 충족해야 단순히 한 가지 공격 시연을 막는 것이 아니라 취약점을 제대로 수정했다고 볼 수 있다. 모델은 취약점을 닫는 동시에 의도된 동작을 유지해야 하며, 같은 취약점을 공유하는 관련 경로도 함께 처리해야 한다.

VR-1.1의 취약점 수정 절차

Cogent는 보안 취약점 수정 학습과 취약점을 재현하고 패치를 적용한 다음 우회 가능성을 검사하는 테스트 하네스 덕분에 이러한 결과를 얻었다고 설명한다. 실행 설정이 허용하는 경우, VR-1.1은 보고서와 소스 코드를 살펴본 뒤 취약점을 유발하는 개념 증명을 작성한다. 이를 통해 모델은 추적할 실패 사례와 패치 후 다시 실행할 테스트를 확보한다.

모델은 집중적인 수정을 가하기 전에 같은 취약점을 공유하는 관련 코드 경로를 찾는다. 별도의 검토 단계에서는 새로운 맥락에서 패치를 살펴 우회 가능성과 새로 생긴 버그를 확인한다. VR-1.1은 회귀 테스트도 작성한다. 검증에 실패하면 앞선 분석 내용과 실패에 관한 정보에 따라 다시 시도한다.

Fiber 취약점 수정 사례

기록된 실행 사례 중 하나는 Fiber 웹 프레임워크의 CVE-2025-48075와 관련된 것이다. 프로젝트의 보안 권고에 따르면 중첩된 폼 데이터에 음수 인덱스를 넣으면 BodyParser에서 패닉이 발생해 서버가 중단되고 서비스 거부 위험이 생길 수 있다. 이 권고는 2.52.6부터의 버전을 취약한 버전으로, 2.52.7을 패치가 적용된 버전으로 명시한다.

VR-1.1은 충돌을 재현한 뒤 인덱스를 사용하기 전에 범위 검사를 추가해 음수 또는 지나치게 큰 인덱스를 거부하면서 유효한 폼 처리는 유지했다. Cogent에 따르면 이후 취약점 검사 9개가 모두 통과했으며, 수정 전에는 하나도 통과하지 못했다. 기능 검사 12개는 수정 전후 모두 통과했다. 이 사례는 최종 190개 과제 평가가 아니라 별도로 기록된 182개 과제 실행에서 나온 것이다.

평가의 한계와 실제 운영 환경에서의 사용

평가 중에는 수정 작업이 진행되는 동안 외부 네트워크 접속을 차단했으며, 각 에이전트가 작업을 마칠 때까지 LiveCVEBench의 채점 테스트를 공개하지 않았다. 이 조건으로 인해 에이전트는 상위 프로젝트의 수정 사항을 가져오거나 패치 작업 중 채점 테스트를 직접 사용할 수 없었다.

Cogent는 두 기준 모델 모두 현재 LiveCVEBench 릴리스에 포함된 CVE의 공개 날짜보다 늦은 시점에 학습 데이터가 차단됐다고 주의를 당부한다. 따라서 해당 취약점의 권고와 수정 사항이 학습 데이터에 포함됐을 가능성이 있다. Cogent는 사용자 신고 형식의 과제 설명, 네트워크 차단, 모든 모델에 동일하게 적용된 조건을 이러한 이점의 한계로 꼽는다.

Cogent가 표본을 점검한 결과, 모델은 일부 취약점을 기억에 의존해 설명할 수 있었지만 정확한 패치를 재현하지는 못했다. 회사는 관련 학습 데이터 차단 시점 이후에 공개된 CVE를 바탕으로 과제 세트도 만들고 있으며, 이를 최신 상태로 유지할 계획이다.

LiveCVEBench는 격리된 환경에서 알려진 취약점을 테스트하며, 통과란 제공된 검사를 만족한다는 뜻이다. Cogent는 실제 운영 환경에 배포하기 전에 대상 환경에서 검토와 테스트를 거쳐야 한다고 설명한다. 회사는 VR-1.1을 취약점 수정 절차에 도입하고 있으며, 각 패치에는 검토자가 확인할 수 있도록 진단 내용과 개념 증명, 테스트를 함께 제공한다. 따라서 벤치마크 결과는 통제된 조건에서 검사를 통과한 수정 성능을 측정한 것이며, 실제 운영 환경에서의 사용은 소프트웨어가 실행될 환경에서 해당 수정 사항을 검증하는 데 달려 있다.