Cogentin mukaan VR-1.1:n tekemistä korjauksista 57,9% läpäisi LiveCVEBenchin tehtävät

Cogent Security esitteli VR-1.1:n 3. marraskuuta 2026 ja kertoi haavoittuvuuksia korjaavan mallin tuottaneen hyväksytyn korjauksen 57,9 prosenttiin LiveCVEBenchin 190 tehtävästä. Claude Code ja Codex saivat kumpikin hyväksytyn tuloksen 45,3 prosentissa tehtävistä.

Cogentin VR-perheen uusin tulokas laajentaa VR-1:n mukana esiteltyjä korjausvalmiuksia. Arvioinnissa VR-1.1:tä verrattiin Claude Codeen, joka käytti Claude Opus 5.5:tä, sekä Codexiin, joka käytti GPT-5.6-Cyberiä. Kaikki järjestelmät saivat samat syötteet ja toiminta-asetukset, ja kukin sai yrittää jokaista tehtävää kolme kertaa. Pisteytys perustui lopulliseen korjaukseen järjestelmän omien korjausyritysten jälkeen.

Vertailutesti keskittyy toimiviin korjauksiin

LiveCVEBench keskittyy todellisten haavoittuvuuksien korjaamiseen kehitysympäristöissä. Sen CVE-Factory-tutkimuspaperissa kuvataan jatkuvasti päivitettävä 190 tehtävän kokonaisuus, joka kattaa 14 ohjelmointikieltä ja 153 koodivarastoa. Vertailuhanke sijoittaa agentit todellisiin kehitysympäristöihin, joissa niiden on tutkittava koodikantoja itsenäisesti, selvitettävä kunkin haavoittuvuuden tausta ja toteutettava korjaus. Uusia CVE-haavoittuvuuksia lisätään säännöllisesti.

Cogentin asetuksissa kullekin tehtävälle annettiin haavoittuvuusraportti ja haavoittuvuuden sisältävä koodikanta. Korjaus hyväksyttiin vain, jos haavoittuvuustarkistukset läpäistiin ja toiminnallisuustarkistukset läpäistiin edelleen. Tehtävissä käsitellään injektio-, käyttöoikeuksien hallinta-, määritys- ja muistiturvallisuuspuutteita. Vakuuttava selitys ei siis riitä, jos muutos jättää haavoittuvuudelle toisen hyödyntämistavan, poistaa käytöstä oikeutettua toimintaa, aiheuttaa regression tai luo uuden altistumisen.

Tämä kaksiosainen vaatimus erottaa korjauksen siitä, että hyökkäyksen yksi esimerkkitapaus vain estetään. Mallin on suljettava haavoittuvuus samalla, kun se säilyttää tarkoitetun toiminnallisuuden. Tämä koskee myös siihen liittyviä koodipolkuja, joissa on sama haavoittuvuus.

VR-1.1:n korjaustyönkulku

Cogentin mukaan tulos perustuu tietoturvahaavoittuvuuksien korjaamiseen suunnattuun koulutukseen ja testausympäristöön, joka toisintaa heikkouden, korjaa sen ja testaa sitten, voiko korjauksen kiertää. Jos suoritusasetukset sallivat sen, VR-1.1 tutkii raportin ja lähdekoodin ennen kuin kirjoittaa haavoittuvuuden laukaisevan toimivuustodisteen. Näin mallilla on jäljitettävä virhe sekä testi, joka voidaan suorittaa uudelleen korjauksen jälkeen.

Ennen kohdennettua muutosta malli etsii muita samaa heikkoutta sisältäviä koodipolkuja. Erillisessä, uudessa kontekstissa tehtävässä tarkastuksessa korjaus tutkitaan mahdollisten kiertotapojen ja sen aiheuttamien virheiden varalta. VR-1.1 kirjoittaa myös regressiotestejä. Jos validointi epäonnistuu, aiempi analyysi ja tieto epäonnistumisen syystä ohjaavat uutta yritystä.

Esimerkki Fiberin korjaamisesta

Yhdessä tallennetussa suorituksessa käsiteltiin Fiber-verkkokehykseen liittyvää haavoittuvuutta CVE-2025-48075. Projektin tietoturvatiedotteessa kerrotaan, että sisäkkäisissä lomaketiedoissa oleva negatiivinen indeksi voi aiheuttaa BodyParserin paniikkitilanteen ja kaataa palvelimen, mikä luo palvelunestohyökkäyksen riskin. Tiedotteessa haavoittuviksi mainitaan versiot alkaen versiosta 2.52.6, ja korjattuna versiona ilmoitetaan 2.52.7.

VR-1.1 toisti kaatumisen ja lisäsi indeksin käyttöä edeltävän rajatarkistuksen. Se hylkäsi negatiiviset tai liian suuret indeksit mutta säilytti lomakkeiden kelvollisen käsittelyn. Cogentin mukaan kaikki yhdeksän haavoittuvuustarkistusta läpäistiin korjauksen jälkeen, kun ennen sitä ei läpäisty yhtäkään. Kaikki 12 toiminnallisuustarkistusta läpäistiin sekä ennen korjausta että sen jälkeen. Esimerkki oli erillisestä, tallennetusta 182 tehtävän suorituksesta, ei lopullisesta 190 tehtävän arvioinnista.

Arvioinnin rajoitukset ja käyttö tuotannossa

Arvioinnissa ulospäin suuntautuva verkkoyhteys estettiin korjaamisen ajaksi, ja LiveCVEBenchin arviointitestit pidettiin agenteilta piilossa, kunnes ne olivat saaneet tehtävänsä valmiiksi. Näin estettiin ylävirran korjauksen hakeminen ja arviointitestien suora käyttäminen korjaustyön aikana.

Cogent huomauttaa, että molempien vertailumallien koulutuksen tietokatko on nykyisen LiveCVEBench-julkaisun CVE-haavoittuvuuksien julkaisupäivämääriä myöhempi. Niiden tietoturvatiedotteet ja korjaukset ovat siis saattaneet sisältyä koulutusaineistoon. Cogent mainitsee käyttäjäraportteja muistuttavat tehtäväkuvaukset, estetty verkkoyhteyden ja kaikille samat olosuhteet rajoituksina, jotka vaikuttavat tähän etuun.

Cogentin pistokokeissa mallit pystyivät kuvailemaan joitakin haavoittuvuuksia muistinvaraisesti mutta eivät tuottamaan täsmälleen samoja korjauksia. Yhtiö rakentaa myös tehtäväkokonaisuutta CVE-haavoittuvuuksista, jotka on julkistettu asiaankuuluvien tietokatkojen jälkeen, ja aikoo pitää sen ajan tasalla.

LiveCVEBench testaa tunnettuja haavoittuvuuksia eristetyissä ympäristöissä, ja hyväksytty tulos tarkoittaa, että annetut tarkistukset läpäistään. Cogentin mukaan käyttöönotto tuotantoympäristössä edellyttää edelleen tarkistusta ja testausta kohdeympäristössä. Yhtiö ottaa VR-1.1:n osaksi korjaustyönkulkuaan, ja jokaiseen korjaukseen liitetään sen diagnoosi, toimivuustodiste ja testit tarkastajan arvioitaviksi. Vertailutestin tulos mittaa siis valvotuissa olosuhteissa tarkistettuja korjauksia; tuotantokäyttö edellyttää edelleen korjausten validointia siinä ympäristössä, jossa ohjelmistoa käytetään.