Hack-The-Box-Benchmark: AI-ergänzte Teams überflügeln menschliche Cybersicherheitsanalysten

Eine neue Studie von Hack The Box mit dem Titel „AI-ergänzte vs. menschliche Cybersicherheitsleistung-Benchmark-Bericht“ ergab, dass AI-ergänzte Cybersicherheitsteams menschliche Teams deutlich überflügeln können, wobei Elite-Teams Aufgaben bis zu 4,1-mal schneller erledigen. Die Ergebnisse basieren auf Leistungsdaten des NeuroGrid Capture-the-Flag-(CTF)-Wettbewerbs, einem der größten realen Benchmarks, der agente AI-gestützte Teams und traditionelle menschliche Teams bei der Ausführung von Cybersicherheitsaufgaben vergleicht.

Der Benchmark analysierte Daten des NeuroGrid Capture-the-Flag-(CTF)-Wettbewerbs, an dem 1.337 menschliche Teams und 156 AI-Agent-Teams teilnahmen, wobei 958 menschliche Teams und 120 AI-Teams aktiv an Herausforderungen über 36 Cybersicherheits-Herausforderungen in neun technischen Domänen und vier Schwierigkeitsgraden teilnahmen.

Die Ergebnisse heben sowohl die Produktivitätsgewinne von AI-ergänzten Cybersicherheitsoperationen als auch die entstehenden Arbeitskräfteherausforderungen hervor, denen Organisationen gegenüberstehen, wenn die Automatisierung die Art und Weise verändert, wie Sicherheitsteams operieren.

AI-ergänzte Teams liefern messbare Leistungsgewinne

Der Benchmark zeigt, dass die Integration von AI-Agents in Cybersicherheits-Workflows die Ausgabe deutlich erhöhen kann, insbesondere wenn sie mit erfahrenen menschlichen Operatoren kombiniert wird.

Wichtige Ergebnisse umfassen:

• Bis zu 4,1-mal höhere Ausgabe für Elite-AI-ergänzte Teams im Vergleich zu menschlichen Teams
• 1,4-fache Produktivitätssteigerung bei allen Teams innerhalb desselben Zeitfensters
• 70% höhere Herausforderungs-Lösungsrate für AI-ergänzte Teams
• 27% Lösungsrate für AI-Teams im Vergleich zu 16% für die besten menschlichen Teams
• 3,2-mal höhere Gesamtlösungsrate bei allen Teilnehmern

Laut Hack-The-Box-CEO und Gründer Haris Pylarinos zeigen die Ergebnisse, dass AI die Cybersicherheitsleistung deutlich erhöhen kann, aber dennoch mit menschlicher Aufsicht kombiniert werden muss.

„AI kann die Leistung von Cybersicherheit erhöhen, aber es eliminiert nicht die Notwendigkeit von menschlicher Expertise“, sagte Pylarinos. „Organisationen müssen AI-flüente Teams und human-in-the-Loop-Workflows entwickeln, um diese Vorteile sicher zu nutzen.“

Im Gegensatz zu synthetischen Benchmarks, die oft in AI-Bewertungen verwendet werden, verwendete der Wettbewerb professionelle Cybersicherheits-Herausforderungen unter realen Wettbewerbsdruck, was einen operationell realistischeren Vergleich zwischen AI-gestützten und menschlichen Teams ermöglicht.

Das Human-AI-Hybrid-Modell entsteht als Gewinner-Strategie

Während AI die Leistung deutlich beschleunigte, fand die Studie heraus, dass hybride Teams, die AI-Agents mit menschlichen Operatoren kombinieren, die stärksten Ergebnisse insgesamt erzielten.

Im Wettbewerb:

• 73,3% der AI-ergänzten Teams haben mindestens eine Herausforderung abgeschlossen, im Vergleich zu 46% der menschlichen Teams
• AI-Agents haben oft die Grundproduktivität verbessert, aber benötigten dennoch menschliche Validierung und strategische Richtung, wenn sie mit komplexen Aufgaben konfrontiert wurden

Für CISOs und Sicherheitsleiter betont der Bericht, dass AI hauptsächlich als Force-Multiplier und nicht als Ersatz für Cybersicherheitsexperten angesehen werden sollte.

AIs Auswirkungen variieren dramatisch je nach Fähigkeitsniveau

Eine der wichtigsten Erkenntnisse des Berichts ist, dass AI Cybersicherheitspraktiker je nach Erfahrungslevel unterschiedlich beeinflusst.

Frühe Karriere: Die „Produktivitäts-Illusion“

Für Einsteiger kann AI als Kompetenz-Brücke dienen, um Herausforderungen zu lösen, mit denen sie sonst Schwierigkeiten hätten. Der Bericht warnt jedoch, dass dies eine falsche Vorstellung von Produktivität erzeugen kann, wenn junior-Analysten nicht über die notwendige Expertise verfügen, um AI-Ausgaben zu überprüfen oder Agent-Workflows effektiv zu leiten.

In einigen Fällen waren unterdurchschnittliche AI-ergänzte Teams tatsächlich 12,5% langsamer, da sie oft in ineffizienten Schleifen stecken blieben, wenn die Operatoren nicht über ausreichende Aufsichtsfähigkeiten verfügten.

Mittlere Karriere: Der Sweet-Spot für AI

Die größten Produktivitätsgewinne traten bei mehrjährigen Analysten auf, insbesondere bei der Bearbeitung mittelkomplexer Aufgaben.

In dieser Kategorie:

• AI-Vorteil erreichte mit 3,89-facher Leistungssteigerung bei mittelschweren Problemen seinen Höhepunkt
• Mittleren Teams gelang es, Aufgaben 40–70% schneller abzuschließen als menschlichen Teams

Dies deutet darauf hin, dass Unternehmen durch die Bereitstellung von AI-Systemen für mittlere Analysten die größten unmittelbaren Gewinne erzielen können.

Elite-Operatoren: Geschwindigkeitsvorteil, nicht Fähigkeits-Ersatz

Bei Top-Performern verringerte sich die Lücke zwischen AI-ergänzten Teams und menschlichen Experten deutlich.

Beispielsweise:

• Das beste menschliche Team löste alle 36 Herausforderungen, während das beste AI-ergänzte Team 32 von 36 Herausforderungen löste
• Im Top-5%-Leistungssegment verringerte sich der Vorteil bei der Lösungsrate auf 1,69-fach

Dennoch bot AI einen deutlichen Vorteil in puncto Geschwindigkeit, da Elite-AI-ergänzte Teams Herausforderungen drei- bis viermal schneller lösten.

Das „Schwierigkeits-Paradoxon“ zeigt, wo AI Schwierigkeiten hat

Die Studie identifizierte auch ein sogenanntes „Schwierigkeits-Paradoxon“ in der AI-Leistung.

Der AI-Vorteil erhöht sich mit der Aufgabenschwierigkeit – bis zu einem bestimmten Punkt:

• Sehr einfache Herausforderungen: ~2,4-facher Vorteil für AI-Teams
• Mittelschwere Herausforderungen: 3,89-facher Vorteil, der Höhepunkt der Leistung
• Schwierige Herausforderungen: Der Vorteil sinkt auf 2,97-fach, was die Grenzen der AI-Argumentation aufzeigt

Bestimmte kreative Bereiche – wie Codierung und Reverse-Engineering – zeigten eine nahezu gleiche Leistung zwischen Elite-Menschen und AI-Systemen, was die Bereiche hervorhebt, in denen menschliche Intuition und neuartige Argumentation immer noch entscheidend sind.

Über alle Bereiche hinweg variierte die AI-Leistung stark, von 5,15-fachem Vorteil bei sicheren Codierungsaufgaben bis 1,68-fach bei digitaler Forensik.

Mögliche Talentschutz-Krise

Jenseits der Produktivitätsgewinne wirft der Bericht eine langfristige Arbeitskräfte-Bedenken auf: AI könnte die Ausbildungspipeline, die zukünftige Cybersicherheitsexperten hervorbringt, stören.

Einstiegs-Sicherheitsaufgaben – traditionell verwendet, um junior-Analysten auszubilden – sind zunehmend automatisierbar. AI-Teams übertrafen menschliche Teams bei den einfachsten Herausforderungen deutlich, was darauf hindeutet, dass die Arbeit, die historisch zur Ausbildung neuer Analysten verwendet wurde, zunehmend von der Automatisierung übernommen werden könnte.

Wenn Organisationen zu viel Einstiegsarbeit automatisieren, warnt der Bericht, riskieren sie die Schaffung einer „fehlenden Mitte“ in der Talentschutz-Pipeline, in der weniger Analysten die Fähigkeiten entwickeln, um zu senioren Sicherheitsexperten zu werden.

Auswirkungen auf Sicherheitsleiter

Für CISOs und Sicherheitsleiter deuten die Ergebnisse darauf hin, dass die Integration von AI-Tools nicht mehr optional ist.

Organisationen, die es versäumen, AI in ihre Sicherheitsoperationen zu integrieren, könnten gegenüber Angreifern stehen, die bereits AI nutzen, um Angriffe zu beschleunigen und Schwachstellen schneller auszunutzen, als traditionelle Teams reagieren können.

Der Bericht empfiehlt eine dreistufige Strategie für die AI-Integration:

• Umschulen von Einstiegsrollen, um sich auf AI-Governance und -Validierung statt manuelle Aufgaben zu konzentrieren
• Bereitstellung von AI neben mittleren Analysten, wo die Produktivitätsgewinne am höchsten sind
• Beibehaltung von Elite-Talenten und Paarung mit AI-Copiloten, um die Reaktion auf Vorfälle und die Analyse von Bedrohungen zu beschleunigen

Letztendlich zeigt der Bericht, dass die Zukunft der Cybersicherheit nicht AI vs. Mensch sein wird – sondern AI-ergänzte Menschen, die mit Maschinengeschwindigkeit arbeiten.