Cogent uvádí, že VR-1.1 úspěšně opravil 57,9% úloh LiveCVEBench

Cogent Security představil VR-1.1 3. listopadu 2026 a uvedl, že model pro opravu zranitelností vytvořil opravy, které prošly u 57,9 % z 190 úloh LiveCVEBench, zatímco Claude Code i Codex dosáhly shodně 45,3 %.

Nejnovější přírůstek do rodiny VR společnosti Cogent rozšiřuje možnosti nápravy zavedené s VR-1. Při hodnocení byl VR-1.1 porovnán s Claude Code používajícím Claude Opus 5.5 a s Codexem používajícím GPT-5.6-Cyber. Každý systém dostal pro každou úlohu stejné vstupy a nastavení a tři pokusy; skóre se určovalo podle konečné opravy po interních pokusech systému o nápravu.

Benchmark zaměřený na skutečně funkční opravy

LiveCVEBench se zaměřuje na opravy zranitelností z reálného světa ve vývojových prostředích. Dokument o CVE-Factory popisuje průběžně aktualizovanou sadu 190 úloh zahrnujících 14 programovacích jazyků a 153 repozitářů. Benchmarkový projekt umisťuje agenty do reálných vývojových prostředí, kde musí samostatně prozkoumat zdrojové kódy, porozumět kontextu každé zranitelnosti a implementovat opravu. Nové CVE se přidávají pravidelně.

V rámci nastavení Cogent dostal pro každou úlohu zprávu o zranitelnosti a související zdrojový kód. Oprava se započítala pouze tehdy, pokud prošly kontroly zranitelnosti a nadále procházely i kontroly funkčnosti. Úlohy zahrnují chyby způsobené injekcí, nedostatky v řízení přístupu a konfiguraci i chyby zabezpečení paměti. Přesvědčivé vysvětlení proto nestačí, pokud změna ponechá jinou cestu ke zneužití chyby, vypne legitimní funkci, způsobí regresi nebo vytvoří novou bezpečnostní hrozbu.

Tento dvojí požadavek odlišuje opravu od pouhého zablokování jednoho předvedeného útoku. Model musí zachovat zamýšlené chování a současně odstranit zranitelnost, a to včetně souvisejících cest, které ji rovněž využívají.

Postup oprav ve VR-1.1

Cogent připisuje dosažený výsledek tréninku zaměřenému na opravy zranitelností a testovacímu rámci, který slabinu znovu vyvolá, opraví ji a následně ověří, zda lze opravu obejít. Pokud to nastavení běhu umožňuje, VR-1.1 si před vytvořením ukázky zneužití, která chybu vyvolá, prohlédne zprávu i zdrojový kód. Model tak získá chybu, jejíž příčinu může vysledovat, a test, který po opravě znovu spustí.

Než model provede cílenou změnu, hledá související cesty v kódu, které sdílejí danou zranitelnost. Samostatná kontrola v novém kontextu prověřuje, zda lze opravu obejít a zda nezavedla nové chyby. VR-1.1 také vytváří regresní testy. Pokud ověření selže, předchozí analýza modelu a informace o chybě nasměrují další pokus.

Oprava ve Fiber v praxi

Jeden zaznamenaný běh se týkal CVE-2025-48075 ve webovém frameworku Fiber. Bezpečnostní upozornění projektu uvádí, že záporný index ve vnořených datech formuláře může způsobit paniku funkce BodyParser a pád serveru, což představuje riziko útoku typu odepření služby. Jako zranitelné označuje verze od 2.52.6; opravenou verzí je 2.52.7.

VR-1.1 zopakoval pád a před použitím indexu přidal kontrolu jeho mezí, která odmítá záporné i příliš vysoké indexy a zároveň zachovává správné zpracování formulářů. Cogent uvádí, že poté prošlo všech devět kontrol zranitelnosti, zatímco předtím neprošla žádná; všech 12 kontrol funkčnosti prošlo před opravou i po ní. Příklad pochází ze samostatného zaznamenaného běhu se 182 úlohami, nikoli z konečného hodnocení 190 úloh.

Omezení hodnocení a nasazení v produkci

Během oprav bylo při hodnocení zablokováno odchozí síťové připojení a testy LiveCVEBench používané k hodnocení zůstaly agentům skryté, dokud každý z nich nedokončil práci. Tyto podmínky znemožnily při opravách získat opravu z nadřazeného projektu nebo přímo použít hodnoticí testy.

Cogent upozorňuje, že datum ukončení tréninku obou výchozích modelů je pozdější než data zveřejnění CVE obsažených v aktuálním vydání LiveCVEBench. Upozornění a opravy těchto zranitelností se tedy mohly objevit v trénovacích datech. Jako omezení této výhody uvádí popisy úloh ve stylu uživatelských hlášení, blokovaný přístup k síti a shodné podmínky pro všechny modely.

Při namátkových kontrolách Cogent zjistil, že modely dokázaly některé zranitelnosti popsat zpaměti, ale nedokázaly přesně zopakovat konkrétní opravy. Společnost také vytváří sadu úloh založenou na CVE zveřejněných po příslušných datech ukončení tréninku a plánuje ji průběžně aktualizovat.

LiveCVEBench testuje známé zranitelnosti v izolovaných prostředích a úspěšný výsledek znamená splnění dodaných kontrol. Cogent uvádí, že nasazení v produkci stále vyžaduje kontrolu a testování v cílovém prostředí. VR-1.1 začleňuje do svého pracovního postupu pro nápravu; ke každé opravě přikládá diagnózu, ukázku zneužití a testy, které může kontrolor prověřit. Výsledek benchmarku tedy měří ověřené opravy v řízených podmínkách; nasazení v produkci však i nadále závisí na ověření oprav v prostředí, kde bude software spuštěn.