Cogent rapporterar att VR-1.1 klarar reparationer i 57,9% av LiveCVEBench-uppgifterna

Cogent Security presenterade VR-1.1 den 3 november 2026 och uppgav att modellen för sårbarhetsreparationer åtgärdade 57,9 % av LiveCVEBenchs 190 uppgifter med godkänt resultat, jämfört med 45,3 % vardera för Claude Code och Codex.

Det senaste tillskottet i Cogents VR-familj bygger vidare på de åtgärdsmöjligheter som introducerades med VR-1. I utvärderingen jämfördes VR-1.1 med Claude Code, som körde Claude Opus 5.5, och Codex, som körde GPT-5.6-Cyber. Alla systemen fick samma indata och konfiguration samt tre försök per uppgift. Poängen baserades på den slutliga korrigeringen efter systemets egna reparationsförsök.

Ett benchmark byggt kring fungerande reparationer

LiveCVEBench fokuserar på att åtgärda sårbarheter i verkliga utvecklingsmiljöer. I artikeln om CVE-Factory beskrivs en löpande uppdaterad samling med 190 uppgifter som omfattar 14 programmeringsspråk och 153 kodarkiv. Benchmarkprojektet placerar agenter i verkliga utvecklingsmiljöer, där de självständigt måste utforska kodbaser, förstå sammanhanget för varje sårbarhet och genomföra en korrigering. Nya CVE:er läggs till regelbundet.

Cogents konfiguration tillhandahöll en sårbarhetsrapport och den berörda kodbasen för varje uppgift. En korrigering räknades som godkänd endast om sårbarhetstesterna passerade och funktionstesterna fortsatte att passera. Uppgifterna omfattar injektionssårbarheter, brister i åtkomstkontroll och konfiguration samt minnessäkerhetsbrister. Därför räcker det inte med en övertygande förklaring om ändringen lämnar en annan väg till sårbarheten öppen, stänger av legitim funktionalitet, orsakar en regression eller skapar en ny exponering.

Detta dubbla krav skiljer en reparation från att bara stoppa en enskild demonstration av en attack. En modell måste bevara den avsedda funktionaliteten samtidigt som den täpper till sårbarheten, även i relaterade kodvägar där samma brist förekommer.

VR-1.1:s reparationsflöde

Cogent tillskriver resultatet träning i säkerhetsreparationer och en testmiljö som återskapar en sårbarhet, korrigerar den och sedan testar korrigeringen för att hitta sätt att kringgå den. När körkonfigurationen tillåter det granskar VR-1.1 rapporten och källkoden innan modellen skriver ett konceptbevis som utlöser sårbarheten. Då får modellen ett fel att spåra och ett test att köra igen efter korrigeringen.

Innan modellen gör en avgränsad ändring söker den efter relaterade kodvägar med samma sårbarhet. En separat granskning i en ny kontext undersöker korrigeringen för att hitta sätt att kringgå den och buggar som ändringen kan ha introducerat. VR-1.1 skriver också regressionstester. Om valideringen misslyckas vägleder den tidigare analysen och informationen om felet ett nytt försök.

En Fiber-reparation i praktiken

En dokumenterad körning gällde CVE-2025-48075 i webbramverket Fiber. I projektets säkerhetsmeddelande står det att ett negativt index i nästlade formulärdata kan få dess BodyParser att krascha och därmed få en server att sluta fungera, vilket skapar en risk för överbelastningsangrepp. Där anges version 2.52.6 och senare som berörda och 2.52.7 som den korrigerade versionen.

VR-1.1 återskapade kraschen och lade till en gränskontroll innan indexet användes. Kontrollen avvisar negativa eller för stora index samtidigt som giltig formulärhantering bevaras. Cogent uppger att alla nio sårbarhetstester därefter passerade, jämfört med noll före korrigeringen, medan alla 12 funktionstester passerade både före och efter. Exemplet kommer från en separat dokumenterad körning med 182 uppgifter, inte från den slutliga utvärderingen med 190 uppgifter.

Begränsningar i utvärderingen och användning i produktion

Utvärderingen blockerade utgående nätverksåtkomst under reparationsarbetet och höll LiveCVEBenchs bedömningstester hemliga tills varje agent var klar. Dessa villkor hindrade agenterna från att hämta en korrigering från det ursprungliga projektet eller använda bedömningstesterna direkt under arbetet med korrigeringarna.

Cogent påpekar att båda baslinjemodellerna har brytdatum för träningsdata som infaller senare än publiceringsdatumen för CVE:erna i den aktuella LiveCVEBench-versionen. Det innebär att tillhörande säkerhetsmeddelanden och korrigeringar kan ha förekommit i träningsdata. Företaget pekar ut uppgiftsbeskrivningar utformade som användarrapporter, blockerad nätverksåtkomst och identiska villkor som begränsningar för den fördelen.

I Cogents stickprov kunde modellerna beskriva vissa sårbarheter ur minnet, men de återskapade inte de exakta korrigeringarna. Företaget bygger också upp en uppsättning uppgifter från CVE:er som offentliggjorts efter de relevanta brytdatumen och planerar att hålla den uppdaterad.

LiveCVEBench testar kända sårbarheter i isolerade miljöer, och ett godkänt resultat innebär att de angivna kontrollerna uppfylls. Cogent säger att driftsättning i produktion fortfarande kräver granskning och testning i den avsedda miljön. Företaget inför VR-1.1 i sitt arbetsflöde för åtgärder, där varje korrigering åtföljs av en diagnos, ett konceptbevis och tester som granskare kan inspektera. Benchmarkresultatet mäter alltså kontrollerade reparationer under kontrollerade förhållanden; användning i produktion är fortfarande beroende av att reparationerna valideras där programvaran ska köras.