Hack The Box Benchmark: AI-forstærkede hold overgår menneskelige cybersecurity-analytikere

En ny undersøgelse fra Hack The Box med titlen “AI-forstærket vs menneskeligt cybersecurity-performance-benchmark-rapport” viser, at AI-forstærkede cybersecurity-hold kan overgå menneskeligt-only-hold væsentligt, med elitehold, der kan udføre opgaver op til 4,1 gange hurtigere. Resultaterne er baseret på performance-data fra NeuroGrid Capture the Flag (CTF)-konkurrencen, en af de største realverden-benchmark-konkurrencer, der sammenligner agentic AI-assisterede hold og traditionelle menneskelige hold, der udfører cybersecurity-opgaver.

Benchmarket analyserede data fra NeuroGrid Capture the Flag (CTF)-konkurrencen, der inkluderede 1.337 menneskeligt-only-hold og 156 AI-agent-hold, der var tilmeldt, med 958 menneskelige hold og 120 AI-hold, der aktivt forsøgte at løse udfordringer på tværs af 36 cybersecurity-udfordringer i ni tekniske domæner og fire sværhedsgrader.

Resultaterne fremhæver både produktivitetsgevinsterne fra AI-forstærkede cybersecurity-operationer og de fremtidige arbejdskraftudfordringer, som organisationer kan stå overfor, når automatisering ændrer, hvordan sikkerhedshold opererer.

AI-forstærkede hold leverer målbare performance-forbedringer

Benchmarket demonstrerer, at integration af AI-agenter i cybersecurity-arbejdsgange kan dramatisk øge output, især når de kombineres med erfarne menneskelige operatører.

Nøglefund inkluderer:

• Op til 4,1 gange mere output for elite AI-forstærkede hold i forhold til menneskeligt-only-hold
• 1,4 gange produktivitetsforbedring på tværs af alle hold i samme tidsrum
• 70% højere udfordringsløsningsrate for AI-forstærkede hold
• 27% løsningsrate for AI-hold i forhold til 16% for de bedste menneskeligt-only-hold
• 3,2 gange højere samlet løsningsrate på tværs af alle deltagere

Ifølge Hack The Box’ CEO og grundlægger Haris Pylarinos viser resultaterne, at AI kan dramatisk øge operationsspeed, men stadig skal kombineres med menneskelig oversigt.

“AI kan hæve niveauet for cybersecurity-performance, men eliminerer ikke behovet for menneskelig ekspertise,” Pylarinos sagde. “Organisationer må udvikle AI-fluente hold og menneske-i-løkken-arbejdsgange for at sikre disse fordele.”

I modsætning til syntetiske benchmark-test, der ofte bruges i AI-evalueringer, brugte konkurrencen professionelle cybersecurity-udfordringer under real konkurrencepres, hvilket giver en mere operationelt realistisk sammenligning mellem AI-assisterede og menneskelige hold.

Menneske-AI-hybridmodellen opstår som den vindende strategi

Selv om AI accelererede performance væsentligt, fandt studiet, at hybridhold, der kombinerer AI-agenter med menneskelige operatører, producerede de stærkeste resultater samlet.

I konkurrencen:

• 73,3% af AI-forstærkede hold løste mindst én udfordring, i forhold til 46% af menneskeligt-only-hold
• AI-agenter forbedrede ofte baseline-produktiviteten, men krævede stadig menneskelig validering og strategisk retning, når de stod overfor komplekse opgaver

For CISO’er og sikkerhedsledere fremhæver rapporten, at AI skal ses primært som en force multiplier, ikke en erstatning for cybersecurity-fagfolk.

AI’s indvirkning varierer dramatisk efter kompetenceniveau

En af de vigtigste indsighter fra rapporten er, at AI påvirker cybersecurity-praktikere forskelligt afhængigt af deres erfaringniveau.

Tidlig karriere: “Produktivitetsillusionen”

For nyuddannede operatører kan AI fungere som en kompetencebro, der hjælper dem med at løse udfordringer, de ellers ville have svært ved. Rapporten advarer imidlertid om, at dette kan skabe en falsk fornemmelse af produktivitet, hvis junior-analytikere mangler den ekspertise, der er nødvendig for at verificere AI-udgangspunkter eller guide agent-arbejdsgange effektivt.

I visse tilfælde var lavere-præsterende AI-forstærkede hold faktisk 12,5% langsommere, ofte fastlåst i ineffektive løkker, når operatørerne manglede tilstrækkelig oversigt over arbejdsgangene.

Midt i karrieren: Det søde punkt for AI

De største produktivitetsgevinster fandt sted blandt midt i karrieren-analytikere, især når de løste mellem-sværhedsgrads-opgaver.

I denne kategori:

• AI-fordelet toppede med 3,89 gange forbedret performance på mellem-sværhedsgrads-problemer
• Mid-tier-hold oplevede 40-70% hurtigere opgave-løsning i forhold til menneskeligt-only-modparter

Dette antyder, at virksomheder kan se den mest umiddelbare afkast på AI-investeringer ved at deployere agentic-systemer sammen med mid-niveau-analytikere.

Elite-operatører: Fartfordel, ikke kapacitets-erstatning

Blandt top-præsterende snævredes forskellen mellem AI-forstærkede hold og menneskelige eksperter betydeligt ind.

For eksempel:

• Det bedste menneskelige hold løste alle 36 udfordringer, mens det bedste AI-forstærkede hold løste 32 af 36
• Ved Top 5%-performance-niveauet faldt løsningsrate-fordelen til 1,69 gange

Alligevel leverede AI stadig en betydelig fartfordel, med elite-AI-forstærkede hold, der løste udfordringer tre til fire gange hurtigere.

“Sværheds-paradokset” afslører, hvor AI-struggler

Studiet identificerede også, hvad forskerne kalder et “sværheds-paradoks” i AI-performance.

AI-fordelet øges med opgavens sværhedsgrad – op til et punkt:

• Meget lette udfordringer: ~2,4 gange fordel for AI-hold
• Medium-udfordringer: 3,89 gange fordel, det top-performance-område
• Svære udfordringer: fordellet falder til 2,97 gange, afslørende begrænsninger i AI-resonnering

Visse kreative domæner – såsom kodning og reverse-engineering – viste næsten lighed mellem elite-mennesker og AI-systemer, fremhævende områder, hvor menneskelig intuition og nytænkning stadig er afgørende.

På tværs af domæner varierede AI-performance bredt, fra 5,15 gange fordel i sikker kodning til 1,68 gange i digital forensik.

En potentiel talent-pipeline-krise

Ud over produktivitetsgevinster rejser rapporten en langsigts-arbejdskraft-bekymring: AI kan forstyrre uddannelses-pipeline’en, der producerer fremtidens cybersecurity-eksperter.

Indledende sikkerhedsopgaver – traditionelt brugt til at træne junior-analytikere – er stadig mere automatiserbar. AI-hold overgik menneskelige hold på de letteste udfordrings-niveauer, hvilket antyder, at arbejdet, der historisk har været brugt til at træne nye analytikere, stadig mere kan håndteres af automatisering.

Hvis organisationer automatiserer for meget tidligt arbejde, advarer rapporten om, at de risikerer at skabe en “manglende midte” i talent-pipeline’en, hvor færre analytikere udvikler de færdigheder, der er nødvendige for at blive senior-sikkerhedseksperter.

Konsekvenser for sikkerhedsledere

For CISO’er og virksomheds-sikkerhedsledere antyder fundene, at implementering af AI-værktøjer ikke længere er valgfrit.

Organisationer, der ikke integrerer AI i deres sikkerhedsoperationer, kan risikere at stå overfor modstandere, der allerede udnytter AI til at accelerere angreb og udnytte sårbarheder hurtigere, end traditionelle hold kan reagere.

Rapporten anbefaler en tre-trins-strategi for AI-integration:

• Genoptræn entry-level-roller til at fokusere på AI-styring og validering i stedet for manuelle opgaver
• Deploy AI sammen med midt i karrieren-analytikere først, hvor produktivitetsgevinster er højest
• Behold elite-talent og par dem med AI-co-piloter til at accelerere incident-svar og avanceret trusselsanalyse

Til sidst antyder rapporten, at fremtidens sikkerhed ikke vil være AI versus mennesker – men AI-forstærkede mennesker, der opererer med maskine-hastighed.