Cogent повідомляє: VR-1.1 успішно усуває вразливості у 57,9% завдань LiveCVEBench

Cogent Security представила VR-1.1 3 листопада 2026 року й повідомила, що модель для усунення вразливостей успішно виконала виправлення для 57,9% із 190 завдань LiveCVEBench. Для Claude Code і Codex цей показник становив по 45,3%.

Найновіша модель із сімейства VR від Cogent розширює можливості усунення вразливостей, упроваджені у VR-1. Під час оцінювання VR-1.1 порівнювали з Claude Code, що працювала на Claude Opus 5.5, і Codex, що працювала на GPT-5.6-Cyber. Усі системи отримали однакові вхідні дані й налаштування та по три спроби на завдання; оцінки виставляли за остаточним патчем після внутрішніх спроб виправлення.

Тестовий набір, орієнтований на дієві виправлення

LiveCVEBench зосереджується на усуненні реальних вразливостей у середовищах розробки. У статті про CVE-Factory описано набір зі 190 завдань, який постійно оновлюється та охоплює 14 мов програмування і 153 репозиторії. Проєкт тестового набору розміщує агентів у реальних середовищах розробки, де вони мають самостійно досліджувати кодові бази, з’ясовувати контекст кожної вразливості та впроваджувати виправлення. Нові CVE регулярно додають.

Для кожного завдання Cogent надавала звіт про вразливість і відповідну кодову базу. Патч зараховували лише тоді, коли перевірки вразливостей завершувалися успішно, а функціональні перевірки й надалі проходили. Завдання охоплюють помилки ін’єкції, контролю доступу й конфігурації, а також вади безпеки пам’яті. Тому переконливого пояснення недостатньо, якщо зміна залишає інший шлях до вразливості, вимикає легітимну функціональність, спричиняє регресію або створює нову вразливість.

Саме ця подвійна вимога відрізняє виправлення від простого блокування одного способу продемонструвати атаку. Модель має зберегти передбачену поведінку програми й водночас усунути вразливість, зокрема на пов’язаних із нею шляхах.

Процес усунення вразливостей у VR-1.1

Cogent пов’язує цей результат із навчанням усувати вразливості безпеки та тестовим середовищем, яке відтворює вразливість, застосовує патч, а потім перевіряє його на можливість обходу. Якщо налаштування запуску це дозволяють, VR-1.1 спершу аналізує звіт і вихідний код, а тоді пише демонстраційний приклад, що активує вразливість. Так модель отримує збій, причину якого потрібно відстежити, і тест, який слід повторно запустити після застосування патча.

Перш ніж вносити цільову зміну, модель шукає пов’язані ділянки коду, у яких наявна та сама вразливість. Окрема перевірка в новому контексті виявляє можливі обходи патча та помилки, внесені ним. VR-1.1 також пише регресійні тести. Якщо перевірка завершується невдало, попередній аналіз моделі та інформація про збій допомагають їй зробити ще одну спробу.

Приклад виправлення у Fiber

В одному із зафіксованих запусків розглядали CVE-2025-48075 у вебфреймворку Fiber. У рекомендації з безпеки проєкту зазначено, що від’ємний індекс у вкладених даних форми може спричинити паніку в BodyParser і призвести до аварійного завершення роботи сервера, створюючи ризик відмови в обслуговуванні. У рекомендації вказано, що вразливими є версії, починаючи з 2.52.6, а виправленою є версія 2.52.7.

VR-1.1 відтворила збій і додала перевірку меж перед використанням індексу, відхиляючи від’ємні або надмірно великі індекси та водночас зберігаючи коректну обробку даних форми. За повідомленням Cogent, після цього всі дев’ять перевірок вразливості завершилися успішно, тоді як до виправлення успішно не завершилася жодна; усі 12 функціональних перевірок пройшли як до, так і після виправлення. Цей приклад взято з окремого зафіксованого запуску на 182 завданнях, а не з остаточного оцінювання на 190 завданнях.

Обмеження оцінювання та використання у виробничому середовищі

Під час усунення вразливостей оцінювання блокувало вихідний мережевий доступ, а перевірки LiveCVEBench для виставлення оцінок не надавали агентам до завершення їхньої роботи. Завдяки цим умовам агенти не могли отримати виправлення з основного проєкту або безпосередньо використовувати перевірки для оцінювання під час роботи над патчем.

Cogent застерігає, що дати відсікання навчальних даних обох базових моделей пізніші за дати публікації CVE, що ввійшли до поточного випуску LiveCVEBench. Це означає, що рекомендації щодо вразливостей і виправлення могли бути в навчальних даних. Cogent називає обмеженнями цієї переваги описи завдань у стилі повідомлень користувачів, заблокований доступ до мережі та однакові умови для всіх моделей.

Під час вибіркових перевірок Cogent моделі могли описати деякі вразливості з пам’яті, але не відтворювали точні патчі. Компанія також формує набір завдань на основі CVE, оприлюднених після відповідних дат відсікання, і планує постійно його оновлювати.

LiveCVEBench перевіряє відомі вразливості в ізольованих середовищах, а успішне проходження означає виконання наданих перевірок. Cogent наголошує, що перед розгортанням у виробничому середовищі виправлення все одно потрібно перевірити й протестувати в середовищі, де його застосовуватимуть. Компанія впроваджує VR-1.1 у свій процес усунення вразливостей; до кожного патча додаються діагноз, демонстраційний приклад і тести для перевірки рецензентом. Отже, результат тестування показує, наскільки добре моделі виправляють вразливості за контрольованих умов і з перевіркою результату; використання у виробничому середовищі й надалі залежить від перевірки цих виправлень у середовищі, де працюватиме програмне забезпечення.