Cogent meldet: VR-1.1 besteht Reparaturen bei 57,9% der LiveCVEBench-Aufgaben

Cogent Security stellte VR-1.1 am 3. November 2026 vor und berichtete, dass das Modell zur Behebung von Schwachstellen bei 57,9 % der 190 LiveCVEBench-Aufgaben erfolgreiche Reparaturen lieferte. Claude Code und Codex erreichten jeweils 45,3 %.

Die neueste Ergänzung der VR-Familie von Cogent erweitert die mit VR-1 eingeführten Möglichkeiten zur Behebung von Schwachstellen. In der Evaluierung wurde VR-1.1 mit Claude Code unter Verwendung von Claude Opus 5.5 sowie mit Codex unter Verwendung von GPT-5.6-Cyber verglichen. Jedes System erhielt dieselben Eingaben und dieselbe Konfiguration sowie drei Versuche pro Aufgabe. Die Bewertung beruhte auf dem endgültigen Patch nach den internen Reparaturversuchen des jeweiligen Systems.

Ein Benchmark, bei dem funktionierende Reparaturen zählen

LiveCVEBench konzentriert sich auf die Behebung realer Schwachstellen in Entwicklungsumgebungen. Das CVE-Factory-Papier beschreibt eine fortlaufend aktualisierte Sammlung von 190 Aufgaben aus 14 Programmiersprachen und 153 Repositories. Das Benchmarkprojekt versetzt Agenten in reale Entwicklungsumgebungen, in denen sie Codebasen selbstständig erkunden, den Kontext jeder Schwachstelle ermitteln und eine Lösung implementieren müssen. Neue CVEs werden regelmäßig hinzugefügt.

Cogents Konfiguration stellte für jede Aufgabe einen Schwachstellenbericht und die betroffene Codebasis bereit. Ein Patch galt nur dann als erfolgreich, wenn die Prüfungen auf Schwachstellen bestanden wurden und zugleich die Funktionstests weiterhin erfolgreich waren. Die Aufgaben umfassen Fehler bei der Eingabevalidierung, der Zugriffskontrolle, der Konfiguration und der Speichersicherheit. Eine überzeugende Erklärung reicht daher nicht aus, wenn die Änderung einen anderen Weg zur Schwachstelle offenlässt, legitimes Verhalten deaktiviert, eine Regression verursacht oder eine neue Angriffsfläche schafft.

Diese doppelte Anforderung unterscheidet eine Reparatur davon, lediglich eine einzelne Angriffsdemonstration zu unterbinden. Ein Modell muss das vorgesehene Verhalten bewahren und gleichzeitig die Schwachstelle schließen – auch auf verwandten Pfaden, die dieselbe Schwachstelle aufweisen.

Der Reparaturablauf von VR-1.1

Cogent führt das Ergebnis auf das Training zur Behebung von Sicherheitslücken und eine Testumgebung zurück, die eine Schwachstelle reproduziert, sie durch einen Patch behebt und anschließend prüft, ob sich der Patch umgehen lässt. Soweit es die Laufzeitkonfiguration zulässt, untersucht VR-1.1 den Bericht und den Quellcode, bevor das Modell einen Proof of Concept erstellt, der die Schwachstelle auslöst. Dadurch erhält das Modell einen Fehler, dessen Ursache es nachverfolgen kann, sowie einen Test, den es nach dem Patch erneut ausführen kann.

Bevor das Modell eine gezielte Änderung vornimmt, sucht es nach verwandten Codepfaden, die dieselbe Schwachstelle aufweisen. Eine separate Prüfung in einem neuen Kontext untersucht den Patch auf Umgehungsmöglichkeiten und neu eingeführte Fehler. VR-1.1 schreibt außerdem Regressionstests. Schlägt die Validierung fehl, dienen die vorherige Analyse und die Informationen zum Fehler als Grundlage für einen weiteren Versuch.

Eine Reparatur in Fiber in der Praxis

Bei einem dokumentierten Durchlauf ging es um CVE-2025-48075 im Webframework Fiber. Der Sicherheitshinweis des Projekts besagt, dass ein negativer Index in verschachtelten Formulardaten einen Panic in BodyParser auslösen und einen Server zum Absturz bringen kann, wodurch ein Denial-of-Service-Risiko entsteht. Als betroffen werden Versionen ab 2.52.6 aufgeführt; Version 2.52.7 ist die korrigierte Version.

VR-1.1 reproduzierte den Absturz und fügte vor der Verwendung des Index eine Bereichsprüfung hinzu. Negative oder zu große Indizes werden dadurch zurückgewiesen, während die Verarbeitung gültiger Formulardaten erhalten bleibt. Cogent berichtet, dass anschließend alle neun Schwachstellenprüfungen bestanden wurden, gegenüber zuvor keiner, während alle 12 Funktionstests sowohl vor als auch nach der Änderung bestanden wurden. Das Beispiel stammt aus einem separaten dokumentierten Durchlauf mit 182 Aufgaben, nicht aus der abschließenden Evaluierung mit 190 Aufgaben.

Grenzen der Evaluierung und Einsatz in der Produktion

Während der Reparatur blockierte die Evaluierung den ausgehenden Netzwerkzugriff und hielt die Bewertungstests von LiveCVEBench zurück, bis jeder Agent seine Arbeit abgeschlossen hatte. Dadurch konnten weder eine upstream veröffentlichte Korrektur abgerufen noch die Bewertungstests während der Patch-Erstellung direkt verwendet werden.

Cogent weist darauf hin, dass die Trainingsdaten beider Basismodelle einen späteren Stichtag haben als die Veröffentlichungsdaten der CVEs in der aktuellen LiveCVEBench-Version. Das bedeutet, dass die zugehörigen Sicherheitshinweise und Korrekturen in den Trainingsdaten enthalten gewesen sein könnten. Als Einschränkungen dieses Vorteils nennt das Unternehmen Aufgabenbeschreibungen im Stil von Nutzerberichten, die blockierte Netzwerkverbindung und die identischen Bedingungen.

Bei Stichprobenprüfungen von Cogent konnten Modelle einige Schwachstellen aus dem Gedächtnis beschreiben, reproduzierten jedoch keine exakten Patches. Das Unternehmen erstellt außerdem eine Aufgabensammlung zu CVEs, die nach den jeweiligen Stichtagen offengelegt wurden, und plant, diese aktuell zu halten.

LiveCVEBench prüft bekannte Schwachstellen in isolierten Umgebungen; als bestanden gilt eine Aufgabe, wenn die bereitgestellten Prüfungen erfüllt werden. Cogent zufolge erfordern Einsätze in der Produktion weiterhin eine Überprüfung und Tests in der Zielumgebung. Das Unternehmen integriert VR-1.1 in seinen Arbeitsablauf zur Behebung von Schwachstellen. Jeder Patch wird dabei von der Diagnose, einem Proof of Concept und Tests begleitet, die von Prüfenden eingesehen werden können. Das Benchmark-Ergebnis misst somit geprüfte Reparaturen unter kontrollierten Bedingungen; für den Einsatz in der Produktion müssen diese Reparaturen weiterhin in der Umgebung validiert werden, in der die Software ausgeführt wird.