Cogent rapporterer, at VR-1.1 leverer rettelser, der består, i 57,9% af LiveCVEBench-opgaverne

Cogent Security lancerede VR-1.1 den 3. november 2026 og rapporterede, at modellen til reparation af sårbarheder leverede rettelser, der bestod, i 57,9 % af LiveCVEBenchs 190 opgaver, sammenlignet med 45,3 % for henholdsvis Claude Code og Codex.

Det seneste medlem af Cogens VR-familie udvider de muligheder for afhjælpning, der blev introduceret med VR-1. I evalueringen blev VR-1.1 sammenlignet med Claude Code, der kørte Claude Opus 5.5, og Codex, der kørte GPT-5.6-Cyber. Hvert system fik de samme input og den samme opsætning samt tre forsøg pr. opgave, og resultaterne blev bedømt ud fra den endelige rettelse efter systemets egne reparationsforsøg.

Et benchmark med fokus på reparationer, der virker

LiveCVEBench fokuserer på at rette sårbarheder fra den virkelige verden i udviklingsmiljøer. Artiklen om CVE-Factory beskriver et løbende opdateret sæt med 190 opgaver fordelt på 14 programmeringssprog og 153 arkiver. Benchmarkprojektet placerer agenter i virkelige udviklingsmiljøer, hvor de selvstændigt skal undersøge kodebaser, fastslå konteksten for hver sårbarhed og implementere en rettelse. Nye CVE’er tilføjes løbende.

Cogents opsætning leverede en sårbarhedsrapport og den berørte kodebase for hver opgave. En rettelse talte kun som bestået, hvis sårbarhedskontrollerne bestod, og funktionalitetstjekkene fortsat bestod. Opgaverne dækker injektionsfejl, adgangskontrolfejl, konfigurationsfejl og fejl i hukommelsessikkerheden. En overbevisende forklaring er derfor ikke nok, hvis ændringen efterlader en anden vej til sårbarheden, slår legitim funktionalitet fra, medfører en regression eller skaber en ny risiko.

Dette dobbelte krav adskiller en reparation fra blot at standse én demonstration af et angreb. En model skal bevare den tilsigtede funktionalitet og samtidig lukke sårbarheden, også på beslægtede kodeveje, der deler den.

VR-1.1’s reparationsforløb

Cogent tilskriver resultatet træning i reparation af sikkerhedsfejl og en testopsætning, der genskaber en sårbarhed, retter den og derefter tester rettelsen for omgåelsesmuligheder. Når kørselskonfigurationen tillader det, undersøger VR-1.1 rapporten og kildekoden, før modellen skriver et konceptbevis, der udløser fejlen. Dermed får modellen en fejl at spore og en test, den kan køre igen efter rettelsen.

Før modellen foretager en målrettet ændring, leder den efter beslægtede kodeveje, der deler sårbarheden. En separat gennemgang i en ny kontekst undersøger rettelsen for omgåelsesmuligheder og fejl, som ændringen måtte have introduceret. VR-1.1 skriver også regressionstest. Når valideringen mislykkes, bruger modellen sin tidligere analyse og oplysningerne om fejlen til at vejlede et nyt forsøg.

En Fiber-reparation i praksis

En registreret kørsel omfattede CVE-2025-48075 i webframeworket Fiber. Projektets sikkerhedsadvarsel oplyser, at et negativt indeks i indlejrede formulardata kan få dets BodyParser til at gå ned og crashe en server, hvilket skaber risiko for tjenestenægtelse. Advarslen angiver versioner fra og med 2.52.6 som berørte og 2.52.7 som den rettede version.

VR-1.1 genskabte nedbruddet og tilføjede en grænsekontrol, før indekset blev anvendt. Kontrollen afviste negative eller for store indeks, samtidig med at gyldig formulardatahåndtering blev bevaret. Cogent rapporterer, at alle ni sårbarhedstjek bestod efter rettelsen mod nul før, mens alle 12 funktionalitetstjek bestod både før og efter. Eksemplet stammer fra en separat, registreret kørsel med 182 opgaver, ikke fra den endelige evaluering med 190 opgaver.

Begrænsninger ved evalueringen og brug i produktion

Evalueringen blokerede for udgående netværksadgang under reparationen og tilbageholdt LiveCVEBenchs evalueringstests, indtil hver agent var færdig. Disse betingelser forhindrede agenterne i at hente en rettelse fra et upstream-projekt eller bruge evalueringstestene direkte under arbejdet med rettelserne.

Cogent gør opmærksom på, at begge basismodellers vidensafskæringsdatoer ligger senere end offentliggørelsesdatoerne for CVE’erne i den aktuelle LiveCVEBench-udgivelse. Det betyder, at deres sikkerhedsadvarsler og rettelser kan have indgået i træningsdataene. Cogent fremhæver opgavebeskrivelser udformet som brugerrapporter, blokeret netværksadgang og ensartede betingelser som begrænsninger for denne fordel.

I Cogents stikprøver kunne modellerne beskrive nogle sårbarheder ud fra hukommelsen, men de genskabte ikke de præcise rettelser. Virksomheden er også ved at opbygge et opgavesæt baseret på CVE’er, der er offentliggjort efter de relevante afskæringsdatoer, og planlægger at holde det opdateret.

LiveCVEBench tester kendte sårbarheder i isolerede miljøer, og et bestået resultat betyder, at de angivne kontroller er opfyldt. Cogent siger, at brug i produktion stadig kræver gennemgang og test i det miljø, hvor softwaren skal køre. Virksomheden indarbejder VR-1.1 i sit reparationsforløb, hvor hver rettelse ledsages af en diagnose, et konceptbevis og test, som en kontrollant kan gennemgå. Benchmarkresultatet måler derfor rettelser, der består kontrollerne under kontrollerede forhold; brug i produktion afhænger stadig af, at rettelserne valideres dér, hvor softwaren skal køre.