Cogent meldt dat VR-1.1 op 57,9% van de LiveCVEBench-taken reparaties doorstaat

Cogent Security introduceerde VR-1.1 op 3 november 2026 en meldde dat het model voor het verhelpen van kwetsbaarheden succesvolle reparaties opleverde voor 57,9% van de 190 taken van LiveCVEBench, tegenover 45,3% voor zowel Claude Code als Codex.

De nieuwste toevoeging aan Cogents VR-familie bouwt voort op de mogelijkheden voor het verhelpen van kwetsbaarheden die met VR-1 werden geïntroduceerd. Bij de evaluatie werd VR-1.1 vergeleken met Claude Code, dat Claude Opus 5.5 gebruikte, en Codex, dat GPT-5.6-Cyber gebruikte. Elk systeem kreeg dezelfde invoer en instellingen en mocht elke taak drie keer proberen. De scores waren gebaseerd op de uiteindelijke patch, na de interne reparatiepogingen.

Een benchmark gericht op werkende reparaties

LiveCVEBench richt zich op het verhelpen van kwetsbaarheden in praktijksituaties en ontwikkelomgevingen. In de CVE-Factory-publicatie wordt een voortdurend bijgewerkte reeks van 190 taken beschreven, verdeeld over 14 programmeertalen en 153 repositories. Het benchmarkproject laat agents werken in echte ontwikkelomgevingen, waar ze zelfstandig codebases moeten verkennen, de context van elke kwetsbaarheid moeten vaststellen en een oplossing moeten implementeren. Er worden regelmatig nieuwe CVE’s toegevoegd.

Cogents testopstelling voorzag elke taak van een kwetsbaarheidsrapport en de betrokken codebase. Een patch telde alleen mee als de controles op kwetsbaarheden slaagden en de functionaliteitstests bleven slagen. De taken omvatten fouten rond injectie, toegangscontrole, configuratie en geheugenveiligheid. Een overtuigende uitleg volstaat dus niet als de wijziging een andere route naar de kwetsbaarheid openlaat, legitiem gedrag uitschakelt, een regressie veroorzaakt of een nieuwe kwetsbaarheid introduceert.

Die dubbele eis maakt het verschil tussen een reparatie en het enkel voorkomen van één aanvalsscenario. Een model moet het beoogde gedrag behouden en tegelijk de kwetsbaarheid verhelpen, ook op verwante codepaden die dezelfde zwakke plek bevatten.

De reparatieworkflow van VR-1.1

Cogent schrijft het resultaat toe aan training voor het verhelpen van beveiligingsproblemen en aan een testopstelling die een kwetsbaarheid reproduceert, deze repareert en vervolgens controleert of de patch te omzeilen is. Als de configuratie van de uitvoering dat toestaat, inspecteert VR-1.1 het rapport en de broncode voordat het een proof of concept schrijft dat de kwetsbaarheid activeert. Zo krijgt het model een fout om op te sporen en een test die het na de reparatie opnieuw kan uitvoeren.

Voordat het model een gerichte wijziging aanbrengt, zoekt het naar verwante codepaden met dezelfde zwakke plek. Een afzonderlijke beoordeling in een nieuwe context controleert de patch op omzeilingsmogelijkheden en geïntroduceerde fouten. VR-1.1 schrijft ook regressietests. Als de validatie mislukt, sturen de eerdere analyse en informatie over de mislukking een nieuwe poging.

Een Fiber-reparatie in de praktijk

Bij een gedocumenteerde uitvoering werd CVE-2025-48075 in het webframework Fiber behandeld. Volgens het beveiligingsadvies van het project kan een negatieve index in geneste formuliergegevens ervoor zorgen dat de BodyParser crasht, waardoor de server uitvalt en er een risico op denial-of-service ontstaat. Het advies vermeldt dat versies vanaf 2.52.6 kwetsbaar zijn en dat 2.52.7 de gepatchte versie is.

VR-1.1 reproduceerde de crash en voegde een controle van de grenzen toe voordat de index werd gebruikt. Daarmee werden negatieve of te hoge indexen afgewezen, terwijl geldige formulierverwerking behouden bleef. Cogent meldt dat daarna alle negen controles op kwetsbaarheden slaagden, tegenover nul daarvoor, terwijl alle 12 functionaliteitstests zowel vóór als na de wijziging slaagden. Het voorbeeld komt uit een afzonderlijke gedocumenteerde uitvoering met 182 taken, niet uit de uiteindelijke evaluatie met 190 taken.

Beperkingen van de evaluatie en productiegebruik

Tijdens de reparaties blokkeerde de evaluatie uitgaand netwerkverkeer en bleven de beoordelingstests van LiveCVEBench verborgen totdat elke agent klaar was. Daardoor konden de agents tijdens het repareren geen upstreamoplossing ophalen of de beoordelingstests rechtstreeks gebruiken.

Cogent waarschuwt dat de trainingsdata van beide basismodellen doorliep tot na de publicatiedata van de CVE’s in de huidige versie van LiveCVEBench. Hun beveiligingsadviezen en oplossingen kunnen dus in de trainingsdata zijn voorgekomen. Volgens Cogent beperken taakbeschrijvingen in de stijl van gebruikersmeldingen, geblokkeerd netwerkverkeer en gelijke omstandigheden het voordeel dat dit oplevert.

Bij steekproeven van Cogent konden modellen sommige kwetsbaarheden uit het geheugen beschrijven, maar geen exacte patches reproduceren. Het bedrijf bouwt ook aan een taakset met CVE’s die na de relevante afkapdata zijn bekendgemaakt en is van plan die actueel te houden.

LiveCVEBench test bekende kwetsbaarheden in geïsoleerde omgevingen; slagen betekent dat aan de aangeleverde controles wordt voldaan. Cogent zegt dat voor inzet in productie nog steeds beoordeling en testen in de doelomgeving nodig zijn. Het bedrijf neemt VR-1.1 op in zijn workflow voor het verhelpen van kwetsbaarheden. Elke patch wordt daarbij voorzien van een diagnose, een proof of concept en tests, zodat beoordelaars die kunnen inspecteren. Het benchmarkresultaat meet dus reparaties die onder gecontroleerde omstandigheden de controles doorstaan; voor gebruik in productie moeten die reparaties nog worden gevalideerd in de omgeving waarin de software zal draaien.