Cogent Melaporkan VR-1.1 Berhasil Memperbaiki 57,9% Tugas LiveCVEBench

Cogent Security memperkenalkan VR-1.1 pada 3 November 2026 dan melaporkan bahwa model perbaikan kerentanan tersebut menghasilkan perbaikan yang lolos pengujian pada 57,9% dari 190 tugas LiveCVEBench, dibandingkan dengan masing-masing 45,3% untuk Claude Code dan Codex.

Anggota terbaru keluarga VR dari Cogent ini memperluas kemampuan remediasi yang diperkenalkan bersama VR-1. Dalam evaluasinya, VR-1.1 dibandingkan dengan Claude Code yang menjalankan Claude Opus 5.5 dan Codex yang menjalankan GPT-5.6-Cyber. Setiap sistem menerima masukan dan konfigurasi yang sama, serta tiga kali percobaan untuk setiap tugas. Skor didasarkan pada patch akhir setelah sistem menyelesaikan upaya perbaikannya sendiri.

Tolok Ukur yang Berfokus pada Perbaikan yang Berfungsi

LiveCVEBench berfokus pada perbaikan kerentanan dunia nyata di lingkungan pengembangan. Makalah CVE-Factory menjelaskan kumpulan 190 tugas yang terus diperbarui, mencakup 14 bahasa pemrograman dan 153 repositori. Proyek tolok ukur ini menempatkan agen di lingkungan pengembangan nyata, tempat mereka harus menjelajahi basis kode secara mandiri, memahami konteks setiap kerentanan, lalu menerapkan perbaikan. CVE baru ditambahkan secara berkala.

Dalam konfigurasi Cogent, setiap tugas dilengkapi laporan kerentanan dan basis kode yang terdampak. Sebuah patch hanya dinyatakan berhasil jika lolos pemeriksaan kerentanan dan tetap lolos pemeriksaan fungsionalitas. Tugas-tugas tersebut mencakup kelemahan injeksi, kontrol akses, konfigurasi, dan keamanan memori. Karena itu, penjelasan yang meyakinkan saja tidak cukup jika perubahan tersebut masih menyisakan jalur lain menuju kelemahan itu, menonaktifkan perilaku yang semestinya, menyebabkan regresi, atau menimbulkan celah baru.

Persyaratan ganda ini membedakan perbaikan sungguhan dari sekadar menghentikan satu contoh serangan. Model harus mempertahankan perilaku yang diharapkan sekaligus menutup kelemahan, termasuk pada jalur terkait yang memiliki kelemahan serupa.

Alur Kerja Perbaikan VR-1.1

Cogent mengaitkan hasil tersebut dengan pelatihan perbaikan keamanan dan sebuah harness yang mereproduksi kelemahan, menerapkan patch, lalu menguji patch untuk memastikan tidak ada cara untuk mengakalinya. Jika konfigurasi proses mengizinkan, VR-1.1 memeriksa laporan dan kode sumber sebelum menulis bukti konsep yang memicu kelemahan tersebut. Dengan begitu, model memiliki kegagalan yang dapat ditelusuri dan pengujian yang dapat dijalankan ulang setelah patch diterapkan.

Sebelum melakukan perubahan terarah, model mencari jalur kode terkait yang memiliki kelemahan serupa. Peninjauan terpisah dalam konteks baru memeriksa patch untuk mencari cara mengakalinya dan bug yang mungkin timbul. VR-1.1 juga menulis pengujian regresi. Jika validasi gagal, analisis sebelumnya dan informasi tentang kegagalan tersebut menjadi panduan bagi upaya berikutnya.

Contoh Perbaikan Fiber

Salah satu proses yang tercatat menangani CVE-2025-48075 pada kerangka kerja web Fiber. Advisori keamanan proyek tersebut menyebutkan bahwa indeks negatif dalam data formulir bertingkat dapat menyebabkan BodyParser mengalami panic dan membuat server mogok, sehingga menimbulkan risiko penolakan layanan. Advisori itu mencantumkan versi mulai dari 2.52.6 sebagai versi yang terdampak dan 2.52.7 sebagai versi yang telah diperbaiki.

VR-1.1 mereproduksi kerusakan tersebut dan menambahkan pemeriksaan batas sebelum indeks digunakan, sehingga indeks negatif atau yang terlalu besar ditolak tanpa mengganggu penanganan formulir yang valid. Cogent melaporkan bahwa setelahnya, kesembilan pemeriksaan kerentanan berhasil dilewati, dibandingkan dengan nol sebelumnya, sedangkan seluruh 12 pemeriksaan fungsionalitas berhasil dilewati baik sebelum maupun sesudahnya. Contoh ini berasal dari proses terpisah yang tercatat dalam uji coba 182 tugas, bukan dari evaluasi akhir dengan 190 tugas.

Batasan Evaluasi dan Penggunaan di Produksi

Dalam evaluasi, akses jaringan keluar diblokir selama proses perbaikan, dan pengujian penilaian LiveCVEBench tidak diberikan kepada setiap agen sampai prosesnya selesai. Kondisi ini mencegah pengambilan perbaikan dari sumber hulu maupun penggunaan langsung pengujian penilaian saat menerapkan patch.

Cogent mengingatkan bahwa batas waktu data pelatihan kedua model pembanding lebih akhir daripada tanggal publikasi CVE dalam rilis LiveCVEBench saat ini. Artinya, advisori dan perbaikannya mungkin sudah tercakup dalam data pelatihan. Cogent menyebut deskripsi tugas bergaya laporan pengguna, pemblokiran jaringan, dan kondisi pengujian yang sama sebagai faktor pembatas bagi keunggulan tersebut.

Dalam pemeriksaan sampel yang dilakukan Cogent, model dapat menjelaskan beberapa kerentanan berdasarkan ingatan, tetapi tidak mereproduksi patch secara persis. Perusahaan itu juga sedang menyusun kumpulan tugas dari CVE yang diungkap setelah batas waktu data pelatihan terkait dan berencana terus memperbaruinya.

LiveCVEBench menguji kerentanan yang diketahui di lingkungan terisolasi, dan hasil lulus berarti memenuhi pemeriksaan yang diberikan. Cogent mengatakan bahwa penerapan di lingkungan produksi tetap memerlukan peninjauan dan pengujian di lingkungan tujuan. Perusahaan itu sedang mengintegrasikan VR-1.1 ke dalam alur kerja remediasinya, dengan setiap patch disertai diagnosis, bukti konsep, dan pengujian untuk ditinjau. Dengan demikian, hasil tolok ukur ini mengukur perbaikan yang telah diperiksa dalam kondisi terkendali; penggunaan di produksi tetap bergantung pada validasi perbaikan tersebut di lingkungan tempat perangkat lunak akan dijalankan.