Hack The Box Benchmark: AI-geënhanceerde teams presteren beter dan menselijke cybersecurity-analisten

Een nieuwe studie van Hack The Box met de titel “AI-geënhanceerde vs menselijke cybersecurity-prestatiebenchmarkrapport” toont aan dat AI-geënhanceerde cybersecurity-teams aanzienlijk beter presteren dan teams zonder AI, met elite-teams die taken tot 4,1 keer sneller voltooien. De resultaten zijn gebaseerd op prestatiegegevens van de NeuroGrid Capture the Flag (CTF)-competitie, een van de grootste real-worldbenchmarks die agent-gebaseerde AI-geassisteerde teams en traditionele menselijke teams vergelijkt die cybersecurity-taken uitvoeren.

De benchmark analyseerde gegevens van de NeuroGrid Capture the Flag (CTF)-competitie, waarbij 1.337 menselijke teams en 156 AI-agentteams waren geregistreerd, met 958 menselijke teams en 120 AI-teams die actief pogingen deden om 36 cybersecurity-uitdagingen te voltooien in negen technische domeinen en vier moeilijkheidsniveaus.

De resultaten benadrukken zowel de productiviteitswinsten van AI-geënhanceerde cybersecurity-operaties als de opkomende werkforce-uitdagingen die organisaties mogelijk tegenkomen als gevolg van automatisering die de manier waarop security-teams opereren verandert.

AI-geënhanceerde teams leveren meetbare prestatieverbeteringen

De benchmark toont aan dat het integreren van AI-agenten in cybersecurity-workflows de output aanzienlijk kan verhogen, vooral wanneer ze worden gecombineerd met ervaren menselijke operators.

Belangrijke bevindingen zijn:

• Tot 4,1 keer meer output voor elite AI-geënhanceerde teams in vergelijking met menselijke teams
• 1,4 keer productiviteitsverbetering voor alle teams in hetzelfde tijdsbestek
• 70% hogere oplossingspercentage voor AI-geënhanceerde teams
• 27% oplossingspercentage voor AI-teams versus 16% voor de beste menselijke teams
• 3,2 keer hoger overall oplossingspercentage voor alle deelnemers

Volgens Hack The Box CEO en oprichter Haris Pylarinos tonen de resultaten aan dat AI de prestaties van cybersecurity aanzienlijk kan verhogen, maar nog steeds moet worden gecombineerd met menselijke toezicht.

“AI kan de prestaties van cybersecurity verhogen, maar elimineert niet de behoefte aan menselijke expertise,” Pylarinos zei. “Organisaties moeten AI-geënhanceerde teams en human-in-the-loop-workflows ontwikkelen om deze voordelen veilig te ontgrendelen.”

In tegenstelling tot synthetische benchmarks die vaak worden gebruikt in AI-evaluaties, werd in de competitie gebruik gemaakt van professionele cybersecurity-uitdagingen onder realistische competitieomstandigheden, waardoor een meer operationeel realistische vergelijking tussen AI-geassisteerde en menselijke teams mogelijk was.

Het human-AI-hybride model ontstaat als de winnende strategie

Hoewel AI de prestaties aanzienlijk versnelde, vond het onderzoek dat hybride teams die AI-agenten combineerden met menselijke operators de sterkste resultaten overall produceerden.

In de competitie:

• 73,3% van de AI-geënhanceerde teams voltooide ten minste één uitdaging, in vergelijking met 46% van de menselijke teams
• AI-agenten verbeterden vaak de basale productiviteit, maar hadden nog steeds menselijke validatie en strategische richting nodig bij complexe taken

Voor CISO’s en security-leiders benadrukt het rapport dat AI voornamelijk moet worden gezien als een vermenigvuldigingsfactor, en niet als vervanging voor cybersecurity-professionals.

AI’s impact varieert dramatisch per vaardigheidsniveau

Een van de belangrijkste inzichten uit het rapport is dat AI cybersecurity-practitioners op verschillende manieren beïnvloedt, afhankelijk van hun ervaringsniveau.

Vroeg in de carrière: De “productiviteitsillusie”

Voor operators in het begin van hun carrière kan AI dienen als een competentiebrug, waardoor ze uitdagingen kunnen oplossen die ze anders misschien moeilijk zouden vinden. Het rapport waarschuwt echter dat dit een vals gevoel van productiviteit kan creëren als junior-analisten niet over de expertise beschikken om AI-uitvoer te verifiëren of agent-workflows effectief te leiden.

In sommige gevallen waren lagere presterende AI-geënhanceerde teams eigenlijk 12,5% langzamer, vaak vastzittend in inefficiënte loops als operators niet over voldoende toezichtvaardigheden beschikten.

Midden in de carrière: Het zoete punt voor AI

De grootste productiviteitswinsten deden zich voor onder midden-carrière-analisten, vooral bij het oplossen van taken met middelmatige complexiteit.

In deze categorie:

• AI-voordeel piekte bij 3,89 keer prestatieverbetering op medium-moeilijke problemen
• Midden-niveau-teams ervoeren 40-70% snellere taakvoltooiing in vergelijking met menselijke tegenhangers

Dit suggereert dat ondernemingen mogelijk het meest directe rendement op AI-investeringen zien door agente-systemen te implementeren naast midden-niveau-analisten.

Elite-operators: Snelheidsvoordeel, geen vervanging van capaciteiten

Bij top-presteerders werd de kloof tussen AI-geënhanceerde teams en menselijke experts aanzienlijk smaller.

Bijvoorbeeld:

• Het beste menselijke team loste alle 36 uitdagingen op, terwijl het beste AI-geënhanceerde team 32 van de 36 uitdagingen voltooide
• Bij het top 5%-prestatieniveau werd het oplossingspercentage-voordeel teruggebracht tot 1,69 keer

Toch bood AI nog steeds een aanzienlijk voordeel in snelheid, waarbij elite AI-geënhanceerde teams uitdagingen drie tot vier keer sneller oplosten.

De “moeilijkheidsparadox” onthult waar AI worstelt

Het onderzoek identificeerde ook een “moeilijkheidsparadox” in de prestaties van AI.

Het AI-voordeel neemt toe met de complexiteit van de taak, tot een bepaald punt:

• Zeer eenvoudige uitdagingen: ~2,4 keer voordeel voor AI-teams
• Middel-moeilijke uitdagingen: 3,89 keer voordeel, het topprestatiegebied
• Moeilijke uitdagingen: het voordeel daalt tot 2,97 keer, waardoor de beperkingen van AI-reasoning worden onthuld

Bepaalde creatieve domeinen, zoals coderen en reverse-engineeren, toonden een bijna-pariteit tussen elite-mensen en AI-systemen, waardoor het duidelijk werd dat menselijke intuïtie en noviteit nog steeds essentieel zijn.

Over de domeinen heen varieerde de prestatie van AI sterk, variërend van 5,15 keer voordeel bij beveiligde coderingstaken tot 1,68 keer bij digitale forensische taken.

Een potentieel talentpijpcrisis

Naast productiviteitswinsten wijst het rapport op een langetermijn-werkforce-zorg: AI kan de opleidingspijplijn die toekomstige cybersecurity-experts produceert verstoren.

Entry-level-securitytaken, traditioneel gebruikt om junior-analisten op te leiden, zijn steeds meer geautomatiseerd. AI-teams presteerden aanzienlijk beter dan menselijke teams op de eenvoudigste uitdagingenniveaus, wat suggereert dat het werk dat historisch wordt gebruikt om nieuwe analisten op te leiden, steeds meer door automatisering wordt overgenomen.

Als organisaties te veel vroeg-carrière-werk automatiseren, waarschuwt het rapport dat ze het risico lopen een “missing middle” te creëren in de talentpijplijn, waar minder analisten de vaardigheden ontwikkelen die nodig zijn om senior-security-experts te worden.

Implicaties voor security-leiders

Voor CISO’s en ondernemingssecurity-leiders suggereren de bevindingen dat het adopteren van AI-hulpmiddelen geen optie meer is.

Organisaties die falen om AI in hun security-operaties te integreren, kunnen tegenstanders tegenkomen die al AI gebruiken om aanvallen te versnellen en kwetsbaarheden sneller te exploiteren dan traditionele teams kunnen reageren.

Het rapport beveelt een drie-lagen-strategie voor AI-integratie aan:

• Hertrain entry-level-rollen om te focussen op AI-governance en validatie in plaats van handmatige taken
• Implementeer AI naast midden-carrière-analisten, waar productiviteitswinsten het hoogst zijn
• Behoud elite-talent en combineer hen met AI-co-piloten om incident-respons en geavanceerde dreigingsanalyse te versnellen

Uiteindelijk suggereert het rapport dat de toekomst van cybersecurity niet AI versus mensen zal zijn, maar AI-geënhanceerde mensen die opereren op machinesnelheid.