Cogent relata que o VR-1.1 concluiu com sucesso reparos em 57,9% das tarefas do LiveCVEBench

Cogent Security apresentou o VR-1.1 em 3 de novembro de 2026 e informou que o modelo de reparo de vulnerabilidades produziu reparos aprovados em 57,9% das 190 tarefas do LiveCVEBench, contra 45,3% para cada um dos modelos Claude Code e Codex.

A mais recente adição à família VR da Cogent amplia os recursos de correção introduzidos com o VR-1. A avaliação comparou o VR-1.1 com o Claude Code executando Claude Opus 5.5 e o Codex executando GPT-5.6-Cyber. Cada sistema recebeu as mesmas entradas e configurações, além de três tentativas por tarefa; as pontuações foram calculadas com base no patch final, após as tentativas internas de reparo.

Um benchmark voltado a reparos funcionais

O LiveCVEBench se concentra na correção de vulnerabilidades do mundo real em ambientes de desenvolvimento. O artigo do CVE-Factory descreve um conjunto atualizado continuamente, com 190 tarefas que abrangem 14 linguagens de programação e 153 repositórios. O projeto de benchmark coloca agentes em ambientes de desenvolvimento reais, onde eles precisam explorar bases de código de forma autônoma, determinar o contexto de cada vulnerabilidade e implementar uma correção. Novos CVEs são adicionados regularmente.

Na configuração da Cogent, cada tarefa incluía um relatório de vulnerabilidade e a base de código afetada. Um patch só era considerado válido quando passava nas verificações de vulnerabilidade e as verificações de funcionalidade continuavam sendo aprovadas. As tarefas abrangem falhas de injeção, controle de acesso, configuração e segurança de memória. Portanto, uma explicação convincente não basta se a alteração deixar outra forma de explorar a falha, desativar um comportamento legítimo, causar uma regressão ou criar uma nova exposição.

Esse requisito duplo diferencia um reparo da simples interrupção de uma demonstração de ataque. O modelo precisa preservar o comportamento esperado enquanto corrige a vulnerabilidade, inclusive em caminhos relacionados que também sejam afetados por ela.

O fluxo de reparo do VR-1.1

A Cogent atribui o resultado ao treinamento voltado ao reparo de vulnerabilidades e a uma estrutura de testes que reproduz uma falha, aplica um patch e, em seguida, verifica se é possível contorná-lo. Quando a configuração da execução permite, o VR-1.1 analisa o relatório e o código-fonte antes de escrever uma prova de conceito que aciona a falha. Assim, o modelo tem uma falha para investigar e um teste para executar novamente após aplicar o patch.

Antes de fazer uma alteração pontual, o modelo procura caminhos de código relacionados que compartilhem a vulnerabilidade. Uma análise independente, realizada em um contexto novo, verifica se o patch pode ser contornado e se introduziu erros. O VR-1.1 também cria testes de regressão. Quando a validação falha, a análise anterior do modelo e as informações sobre a falha orientam uma nova tentativa.

Um reparo no Fiber na prática

Uma das execuções registradas envolveu o CVE-2025-48075 no framework web Fiber. O aviso de segurança do projeto informa que um índice negativo em dados de formulário aninhados pode fazer o BodyParser entrar em pânico e derrubar um servidor, criando risco de negação de serviço. O aviso identifica as versões a partir da 2.52.6 como afetadas e a 2.52.7 como a versão corrigida.

O VR-1.1 reproduziu a falha e adicionou uma verificação de limites antes do uso do índice, rejeitando índices negativos ou excessivos e preservando o processamento válido de formulários. Segundo a Cogent, depois disso, todas as nove verificações de vulnerabilidade foram aprovadas, contra nenhuma antes, enquanto as 12 verificações de funcionalidade foram aprovadas tanto antes quanto depois. O exemplo veio de uma execução separada, registrada com 182 tarefas, e não da avaliação final de 190 tarefas.

Limites da avaliação e uso em produção

A avaliação bloqueou o acesso à rede externa durante os reparos e ocultou os testes de avaliação do LiveCVEBench até que cada agente concluísse o trabalho. Essas condições impediram a obtenção de uma correção upstream ou o uso direto dos testes de avaliação durante a aplicação dos patches.

A Cogent alerta que os limites de treinamento dos dois modelos de referência são posteriores às datas de publicação dos CVEs incluídos na versão atual do LiveCVEBench. Isso significa que os avisos e as correções correspondentes podem ter aparecido nos dados de treinamento. A empresa aponta as descrições das tarefas, redigidas no estilo de relatos de usuários, o bloqueio da rede e as condições idênticas como fatores que limitam essa vantagem.

Nas verificações por amostragem da Cogent, os modelos conseguiram descrever algumas vulnerabilidades de memória, mas não reproduziram patches exatos. A empresa também está criando um conjunto de tarefas com base em CVEs divulgados após os limites de treinamento relevantes e planeja mantê-lo atualizado.

O LiveCVEBench testa vulnerabilidades conhecidas em ambientes isolados, e ser aprovado significa satisfazer as verificações fornecidas. A Cogent afirma que a implantação em produção ainda exige análise e testes no ambiente de destino. A empresa está incorporando o VR-1.1 ao fluxo de trabalho de correção, com cada patch acompanhado de seu diagnóstico, prova de conceito e testes para análise dos revisores. Portanto, o resultado do benchmark mede reparos verificados em condições controladas; o uso em produção ainda depende da validação desses reparos no ambiente em que o software será executado.