Hack-The-Box-Benchmark: AI-ergänzte Teams überflügeln menschliche Cybersicherheitsanalysten

Eine neue Studie von Hack The Box mit dem Titel „Benchmarkbericht zur Cybersicherheitsleistung: KI-gestützte Teams im Vergleich zu rein menschlichen Teams“ ergab, dass AI-ergänzte Cybersicherheitsteams menschliche Teams deutlich überflügeln können, wobei Elite-Teams Aufgaben bis zu 4,1-mal schneller erledigen. Die Ergebnisse basieren auf Leistungsdaten des NeuroGrid Capture-the-Flag-(CTF)-Wettbewerbs, einem der größten realen Benchmarks, der durch agentische AI unterstützte Teams und traditionelle menschliche Teams bei der Ausführung von Cybersicherheitsaufgaben vergleicht.

Der Benchmark analysierte Daten des NeuroGrid Capture-the-Flag-(CTF)-Wettbewerbs, für den sich 1.337 rein menschliche Teams und 156 AI-Agenten-Teams registrierten, wobei 958 menschliche Teams und 120 AI-Teams aktiv an Herausforderungen über 36 Cybersicherheits-Herausforderungen in neun technischen Domänen und vier Schwierigkeitsgraden teilnahmen.

Die Ergebnisse heben sowohl die Produktivitätsgewinne von AI-ergänzten Cybersicherheitsoperationen als auch die entstehenden Arbeitskräfteherausforderungen hervor, denen Organisationen gegenüberstehen, wenn die Automatisierung die Art und Weise verändert, wie Sicherheitsteams operieren.

AI-ergänzte Teams liefern messbare Leistungsgewinne

Der Benchmark zeigt, dass die Integration von AI-Agents in Cybersicherheits-Workflows die Ausgabe deutlich erhöhen kann, insbesondere wenn sie mit erfahrenen menschlichen Operatoren kombiniert wird.

Wichtige Ergebnisse umfassen:

• Bis zu 4,1-mal höhere Ausgabe für Elite-AI-ergänzte Teams im Vergleich zu menschlichen Teams
• 1,4-fache Produktivitätssteigerung bei allen Teams innerhalb desselben Zeitfensters
• 70% höhere Herausforderungs-Lösungsrate für AI-ergänzte Teams
• 27% Lösungsrate für AI-Teams im Vergleich zu 16% für die besten menschlichen Teams
• 3,2-mal höhere Gesamtlösungsrate bei allen Teilnehmern

Laut Hack-The-Box-CEO und Gründer Haris Pylarinos zeigen die Ergebnisse, dass AI die Cybersicherheitsleistung deutlich erhöhen kann, aber dennoch mit menschlicher Aufsicht kombiniert werden muss.

„AI kann die Leistung von Cybersicherheit erhöhen, aber es eliminiert nicht die Notwendigkeit von menschlicher Expertise“, sagte Pylarinos. „Organisationen müssen Teams mit sicherer AI-Kompetenz und Arbeitsabläufe mit menschlicher Beteiligung und Kontrolle entwickeln, um diese Vorteile sicher zu nutzen.“

Im Gegensatz zu synthetischen Benchmarks, die oft in AI-Bewertungen verwendet werden, verwendete der Wettbewerb professionelle Cybersicherheits-Herausforderungen unter realem Wettbewerbsdruck, was einen operationell realistischeren Vergleich zwischen AI-gestützten und menschlichen Teams ermöglicht.

Das Human-AI-Hybrid-Modell entsteht als Gewinner-Strategie

Während AI die Leistung deutlich beschleunigte, fand die Studie heraus, dass hybride Teams, die AI-Agents mit menschlichen Operatoren kombinieren, die stärksten Ergebnisse insgesamt erzielten.

Im Wettbewerb:

• 73,3% der AI-ergänzten Teams haben mindestens eine Herausforderung abgeschlossen, im Vergleich zu 46% der menschlichen Teams
• AI-Agents haben oft die Grundproduktivität verbessert, aber benötigten dennoch menschliche Validierung und strategische Richtung, wenn sie mit komplexen Aufgaben konfrontiert wurden

Für CISOs und Sicherheitsleiter betont der Bericht, dass AI hauptsächlich als Force-Multiplier und nicht als Ersatz für Cybersicherheitsexperten angesehen werden sollte.

AIs Auswirkungen variieren dramatisch je nach Fähigkeitsniveau

Eine der wichtigsten Erkenntnisse des Berichts ist, dass AI Cybersicherheitspraktiker je nach Erfahrungslevel unterschiedlich beeinflusst.

Frühe Karriere: Die „Produktivitäts-Illusion“

Für Einsteiger kann AI als Kompetenz-Brücke dienen, um Herausforderungen zu lösen, mit denen sie sonst Schwierigkeiten hätten. Der Bericht warnt jedoch, dass dies eine falsche Vorstellung von Produktivität erzeugen kann, wenn junior-Analysten nicht über die notwendige Expertise verfügen, um AI-Ausgaben zu überprüfen oder Agent-Workflows effektiv zu leiten.

In einigen Fällen waren unterdurchschnittliche AI-ergänzte Teams tatsächlich 12,5% langsamer, da sie oft in ineffizienten Schleifen stecken blieben, wenn die Operatoren nicht über ausreichende Aufsichtsfähigkeiten verfügten.

Mittlere Karriere: Der Sweet-Spot für AI

Die größten Produktivitätsgewinne traten bei Analysten in der Mitte ihrer Karriere auf, insbesondere bei der Bearbeitung mittelkomplexer Aufgaben.

In dieser Kategorie:

• AI-Vorteil erreichte mit 3,89-facher Leistungssteigerung bei mittelschweren Problemen seinen Höhepunkt
• Teams auf mittlerem Niveau gelang es, Aufgaben 40–70% schneller abzuschließen als menschlichen Teams

Dies deutet darauf hin, dass Unternehmen durch den Einsatz agentischer Systeme an der Seite von Analysten auf mittlerem Erfahrungsniveau die unmittelbarste Rendite ihrer AI-Investitionen erzielen können.

Elite-Operatoren: Geschwindigkeitsvorteil, nicht Fähigkeits-Ersatz

Bei Top-Performern verringerte sich die Lücke zwischen AI-ergänzten Teams und menschlichen Experten deutlich.

Beispielsweise:

• Das beste menschliche Team löste alle 36 Herausforderungen, während das beste AI-ergänzte Team 32 von 36 Herausforderungen löste
• Im Top-5%-Leistungssegment verringerte sich der Vorteil bei der Lösungsrate auf 1,69-fach

Dennoch bot AI einen deutlichen Vorteil in puncto Geschwindigkeit, da Elite-AI-ergänzte Teams Herausforderungen drei- bis viermal schneller lösten.

Das „Schwierigkeits-Paradoxon“ zeigt, wo AI Schwierigkeiten hat

Die Studie identifizierte auch ein sogenanntes „Schwierigkeits-Paradoxon“ in der AI-Leistung.

Der AI-Vorteil erhöht sich mit der Aufgabenschwierigkeit – bis zu einem bestimmten Punkt:

• Sehr einfache Herausforderungen: ~2,4-facher Vorteil für AI-Teams
• Mittelschwere Herausforderungen: 3,89-facher Vorteil, der Höhepunkt der Leistung
• Schwierige Herausforderungen: Der Vorteil sinkt auf 2,97-fach, was die Grenzen der AI-Argumentation aufzeigt

Bestimmte kreative Bereiche – wie Codierung und Reverse-Engineering – zeigten eine nahezu gleiche Leistung zwischen Elite-Menschen und AI-Systemen, was die Bereiche hervorhebt, in denen menschliche Intuition und neuartige Argumentation immer noch entscheidend sind.

Über alle Bereiche hinweg variierte die AI-Leistung stark, von 5,15-fachem Vorteil bei Aufgaben zur sicheren Programmierung bis 1,68-fach bei digitaler Forensik.

Mögliche Krise in der Nachwuchsentwicklung

Jenseits der Produktivitätsgewinne wirft der Bericht langfristige Bedenken zur Personalentwicklung auf: AI könnte die Ausbildungspipeline, die zukünftige Cybersicherheitsexperten hervorbringt, stören.

Einstiegs-Sicherheitsaufgaben – traditionell verwendet, um junior-Analysten auszubilden – sind zunehmend automatisierbar. AI-Teams übertrafen menschliche Teams bei den einfachsten Herausforderungen deutlich, was darauf hindeutet, dass die Arbeit, die historisch zur Ausbildung neuer Analysten verwendet wurde, zunehmend von der Automatisierung übernommen werden könnte.

Wenn Organisationen zu viel Einstiegsarbeit automatisieren, warnt der Bericht, riskieren sie die Schaffung einer „fehlenden Mitte“ in der Nachwuchsentwicklung, in der weniger Analysten die Fähigkeiten entwickeln, um zu senioren Sicherheitsexperten zu werden.

Auswirkungen auf Sicherheitsleiter

Für CISOs und Sicherheitsleiter deuten die Ergebnisse darauf hin, dass die Integration von AI-Tools nicht mehr optional ist.

Organisationen, die es versäumen, AI in ihre Sicherheitsoperationen zu integrieren, könnten gegenüber Angreifern stehen, die bereits AI nutzen, um Angriffe zu beschleunigen und Schwachstellen schneller auszunutzen, als traditionelle Teams reagieren können.

Der Bericht empfiehlt eine dreistufige Strategie für die AI-Integration:

• Umschulen von Einstiegsrollen, um sich auf AI-Governance und -Validierung statt manuelle Aufgaben zu konzentrieren
• Vorrangiger Einsatz von AI an der Seite von Analysten auf mittlerem Erfahrungsniveau, wo die Produktivitätsgewinne am höchsten sind
• Beibehaltung von Elite-Talenten und Paarung mit AI-Copiloten, um die Reaktion auf Vorfälle und die fortgeschrittene Bedrohungsanalyse zu beschleunigen

Letztendlich zeigt der Bericht, dass die Zukunft der Cybersicherheit nicht AI vs. Mensch sein wird – sondern AI-ergänzte Menschen, die mit Maschinengeschwindigkeit arbeiten.