Cogent сообщает: VR-1.1 успешно исправляет 57,9% задач LiveCVEBench

Cogent Security представила VR-1.1 3 ноября 2026 года и сообщила, что модель для исправления уязвимостей подготовила успешно прошедшие проверку исправления для 57,9% из 190 задач LiveCVEBench. У Claude Code и Codex этот показатель составил по 45,3%.

Последняя версия в линейке VR от Cogent развивает возможности устранения уязвимостей, впервые представленные в VR-1. В ходе оценки VR-1.1 сравнивали с Claude Code, работавшим на Claude Opus 5.5, и Codex, работавшим на GPT-5.6-Cyber. Все системы получили одинаковые входные данные и настройки, а также по три попытки на каждую задачу. Оценки выставляли по итоговому исправлению, подготовленному после внутренних попыток устранить проблему.

Бенчмарк, ориентированный на работающие исправления

LiveCVEBench предназначен для исправления реальных уязвимостей в средах разработки. В статье CVE-Factory описан постоянно обновляемый набор из 190 задач на 14 языках программирования и в 153 репозиториях. Проект бенчмарка помещает агентов в реальные среды разработки, где им необходимо самостоятельно исследовать кодовые базы, устанавливать контекст каждой уязвимости и реализовывать исправление. Новые CVE добавляются регулярно.

Для каждой задачи в настройках Cogent предоставлялись отчет об уязвимости и затронутая кодовая база. Исправление засчитывалось, только если проверки уязвимости проходили успешно, а функциональные проверки по-прежнему выполнялись без ошибок. Задачи охватывают уязвимости, связанные с инъекциями, контролем доступа, настройками и безопасностью памяти. Поэтому убедительного объяснения недостаточно, если изменение оставляет другой путь эксплуатации уязвимости, отключает корректную функциональность, приводит к регрессии или создает новую уязвимость.

Это двойное требование отличает исправление уязвимости от простого блокирования одного демонстрационного способа атаки. Модель должна сохранять предусмотренную функциональность и устранять уязвимость, в том числе в связанных с ней участках кода.

Процесс исправления уязвимостей в VR-1.1

Cogent связывает полученный результат с обучением исправлению уязвимостей и тестовым окружением, которое воспроизводит уязвимость, устраняет ее, а затем проверяет исправление на возможность обхода. Если настройки запуска это позволяют, VR-1.1 изучает отчет и исходный код, прежде чем написать эксплойт, вызывающий уязвимость. Благодаря этому модель получает ошибку, которую нужно отследить, и тест, который можно повторно запустить после исправления.

Прежде чем внести точечное изменение, модель ищет связанные участки кода, в которых проявляется та же уязвимость. Отдельная проверка в новом контексте выявляет в исправлении возможные обходы и внесенные ошибки. VR-1.1 также создает регрессионные тесты. Если проверка не проходит, модель использует предыдущий анализ и сведения о сбое, чтобы предпринять новую попытку.

Пример исправления в Fiber

В одном из зафиксированных запусков рассматривалась CVE-2025-48075 в веб-фреймворке Fiber. В рекомендациях проекта по безопасности говорится, что отрицательный индекс во вложенных данных формы может вызвать сбой BodyParser и привести к аварийному завершению сервера, создавая риск отказа в обслуживании. Согласно рекомендациям, уязвимы версии начиная с 2.52.6, а исправление выпущено в версии 2.52.7.

VR-1.1 воспроизвела сбой и добавила проверку границ перед использованием индекса, отклоняя отрицательные и чрезмерно большие значения, но сохраняя корректную обработку формы. По данным Cogent, после этого прошли все девять проверок уязвимости, тогда как до исправления не прошла ни одна; все 12 функциональных проверок успешно выполнялись как до, так и после исправления. Этот пример взят из отдельного зафиксированного запуска на 182 задачах, а не из итоговой оценки на 190 задачах.

Ограничения оценки и применение в производственной среде

Во время исправления оценка блокировала исходящие сетевые подключения и не предоставляла агентам проверочные тесты LiveCVEBench до завершения их работы. Это исключало возможность загрузить готовое исправление из основного репозитория или напрямую использовать проверочные тесты при подготовке исправления.

Cogent предупреждает, что сроки отсечения обучающих данных обеих базовых моделей наступают позже дат публикации CVE, включенных в текущую версию LiveCVEBench. Это означает, что описания уязвимостей и исправления могли попасть в обучающие данные. Компания указывает, что сформулированные в стиле пользовательских отчетов описания задач, заблокированный сетевой доступ и одинаковые условия для всех участников ограничивают это преимущество.

В ходе выборочных проверок Cogent модели могли описать некоторые уязвимости по памяти, но не воспроизводили точные исправления. Компания также создает набор задач на основе CVE, раскрытых после соответствующих дат отсечения, и планирует регулярно его обновлять.

LiveCVEBench проверяет известные уязвимости в изолированных средах, а успешное прохождение означает выполнение предоставленных проверок. Cogent отмечает, что перед развертыванием в производственной среде исправления необходимо проверить и протестировать в целевом окружении. Компания внедряет VR-1.1 в свой процесс устранения уязвимостей; к каждому исправлению прилагаются диагноз, эксплойт и тесты для проверки рецензентом. Таким образом, результат бенчмарка отражает качество проверенных исправлений в контролируемых условиях, а для применения в производственной среде необходимо подтвердить их работоспособность там, где будет запускаться программное обеспечение.