Cogent melder at VR-1.1 består reparasjonstestene på 57,9% av LiveCVEBench-oppgavene

Cogent Security lanserte VR-1.1 3. november 2026 og meldte at modellen for sårbarhetsreparasjon leverte reparasjoner som besto testene for 57,9 % av LiveCVEBenchs 190 oppgaver, mot 45,3 % for både Claude Code og Codex.

Det nyeste tilskuddet til Cogents VR-familie viderefører utbedringsfunksjonene som ble introdusert med VR-1. I evalueringen ble VR-1.1 sammenlignet med Claude Code med Claude Opus 5.5 og Codex med GPT-5.6-Cyber. Alle systemene fikk de samme inndataene og det samme oppsettet, samt tre forsøk per oppgave. Poengene var basert på den endelige programrettelsen etter systemenes interne reparasjonsforsøk.

En referanseprøve med vekt på reparasjoner som fungerer

LiveCVEBench fokuserer på å rette sårbarheter fra den virkelige verden i utviklingsmiljøer. Artikkelen om CVE-Factory beskriver et sett med 190 oppgaver som oppdateres kontinuerlig, og som omfatter 14 programmeringsspråk og 153 kodearkiver. Referanseprosjektet plasserer agenter i reelle utviklingsmiljøer, der de må utforske kodebaser selvstendig, fastslå konteksten for hver sårbarhet og gjennomføre en rettelse. Nye CVE-er legges til jevnlig.

I Cogents oppsett fikk hver oppgave en sårbarhetsrapport og den berørte kodebasen. En programrettelse ble bare godkjent dersom sårbarhetstestene besto og funksjonstestene fortsatt besto. Oppgavene omfatter injeksjonsfeil, feil i tilgangskontroll, konfigurasjonsfeil og feil i minnesikkerheten. En overbevisende forklaring er derfor ikke nok hvis endringen etterlater en annen vei til sårbarheten, slår av legitim funksjonalitet, fører til en regresjon eller introduserer en ny eksponering.

Dette doble kravet skiller en reparasjon fra det å bare stoppe én demonstrasjon av et angrep. Modellen må bevare den tiltenkte funksjonaliteten samtidig som den lukker sårbarheten, også i relaterte kodebaner som har den samme svakheten.

Reparasjonsarbeidsflyten i VR-1.1

Cogent tilskriver resultatet opplæring i sikkerhetsreparasjoner og en testrigg som gjenskaper en svakhet, retter den og deretter tester programrettelsen for omgåelser. Når kjørekonfigurasjonen tillater det, undersøker VR-1.1 rapporten og kildekoden før modellen skriver et konseptbevis som utløser feilen. Dermed får modellen en feil den kan spore, og en test den kan kjøre på nytt etter at programrettelsen er gjort.

Før modellen gjør en avgrenset endring, leter den etter relaterte kodebaner som deler svakheten. En separat gjennomgang i en ny kontekst undersøker programrettelsen for omgåelser og feil som er blitt introdusert. VR-1.1 skriver også regresjonstester. Når valideringen mislykkes, bruker modellen den tidligere analysen og informasjonen om feilen til å gjøre et nytt forsøk.

En fiberreparasjon i praksis

En dokumentert kjøring gjaldt CVE-2025-48075 i nettrammeverket Fiber. Prosjektets sikkerhetsråd opplyser at en negativ indeks i nestede skjemadata kan føre til at BodyParser krasjer og at en server stopper, noe som skaper risiko for tjenestenekt. Rådet oppgir at versjon 2.52.6 og nyere er berørt, og at 2.52.7 er versjonen med rettelsen.

VR-1.1 gjenskapte krasjet og la til en grensekontroll før indeksen ble brukt. Kontrollen avviser negative eller for høye indekser, samtidig som gyldig skjemahåndtering bevares. Cogent opplyser at alle ni sårbarhetstestene besto etterpå, mot ingen før, mens alle 12 funksjonstestene besto både før og etter. Eksempelet stammer fra en separat dokumentert kjøring med 182 oppgaver, ikke fra den endelige evalueringen med 190 oppgaver.

Begrensninger ved evalueringen og bruk i produksjon

Evalueringen blokkerte utgående nettverkstilgang under reparasjonsarbeidet og holdt LiveCVEBenchs testsett for evaluering tilbake til hver agent var ferdig. Disse betingelsene hindret agentene i å hente en oppstrømsrettelse eller bruke testene for evaluering direkte mens de utarbeidet programrettelsene.

Cogent påpeker at begge referansemodellene har kunnskapsavskjæringer som ligger senere enn publiseringsdatoene for CVE-ene i den nåværende LiveCVEBench-utgaven. Det betyr at sikkerhetsrådene og rettelsene deres kan ha vært med i treningsdataene. Cogent peker på oppgavebeskrivelser utformet som brukerrapporter, blokkert nettverkstilgang og identiske betingelser som begrensninger på denne fordelen.

I stikkprøvekontrollene til Cogent kunne modellene beskrive noen sårbarheter fra hukommelsen, men de gjenskapte ikke de nøyaktige programrettelsene. Selskapet bygger også et oppgavesett basert på CVE-er som ble offentliggjort etter de relevante kunnskapsavskjæringene, og planlegger å holde det oppdatert.

LiveCVEBench tester kjente sårbarheter i isolerte miljøer, og en bestått test betyr at de angitte kontrollene er oppfylt. Cogent sier at bruk i produksjon fortsatt krever gjennomgang og testing i miljøet der løsningen skal brukes. Selskapet innfører VR-1.1 i arbeidsflyten for utbedring, og hver programrettelse ledsages av en diagnose, et konseptbevis og tester som kan gjennomgås av en kontrollør. Resultatet fra referanseprøven måler dermed kontrollerte reparasjoner under avgrensede forhold; bruk i produksjon avhenger fortsatt av at reparasjonene valideres der programvaren skal kjøre.