Hack The Box Benchmark: AI-forstærkede hold overgår menneskelige cybersecurity-analytikere

En ny undersøgelse fra Hack The Box med titlen “AI-forstærket vs menneskeligt cybersecurity-performance-benchmark-rapport” viser, at AI-forstærkede cybersecurity-hold kan overgå hold udelukkende bestående af mennesker væsentligt, med elitehold, der kan udføre opgaver op til 4,1 gange hurtigere. Resultaterne er baseret på performance-data fra NeuroGrid Capture the Flag (CTF)-konkurrencen, en af de største realverden-benchmark-konkurrencer, der sammenligner agentisk AI-assisterede hold og traditionelle menneskelige hold, der udfører cybersecurity-opgaver.

Benchmarket analyserede data fra NeuroGrid Capture the Flag (CTF)-konkurrencen, der inkluderede 1.337 hold udelukkende bestående af mennesker og 156 AI-agent-hold, der var tilmeldt, med 958 menneskelige hold og 120 AI-hold, der aktivt forsøgte at løse udfordringer på tværs af 36 cybersecurity-udfordringer i ni tekniske domæner og fire sværhedsgrader.

Resultaterne fremhæver både produktivitetsgevinsterne fra AI-forstærkede cybersecurity-operationer og de fremtidige arbejdskraftudfordringer, som organisationer kan stå overfor, når automatisering ændrer, hvordan sikkerhedshold opererer.

AI-forstærkede hold leverer målbare performance-forbedringer

Benchmarket demonstrerer, at integration af AI-agenter i cybersecurity-arbejdsgange kan dramatisk øge output, især når de kombineres med erfarne menneskelige operatører.

Nøglefund inkluderer:

• Op til 4,1 gange mere output for elite AI-forstærkede hold i forhold til hold udelukkende bestående af mennesker
• 1,4 gange produktivitetsforbedring på tværs af alle hold i samme tidsrum
• 70% højere udfordringsløsningsrate for AI-forstærkede hold
• 27% løsningsrate for AI-hold i forhold til 16% for de bedste hold udelukkende bestående af mennesker
• 3,2 gange højere samlet løsningsrate på tværs af alle deltagere

Ifølge Hack The Box’ CEO og grundlægger Haris Pylarinos viser resultaterne, at AI kan dramatisk øge den operationelle hastighed, men stadig skal kombineres med menneskeligt tilsyn.

“AI kan hæve niveauet for cybersecurity-performance, men eliminerer ikke behovet for menneskelig ekspertise,” Pylarinos sagde. “Organisationer må udvikle hold, der behersker AI, og arbejdsgange med menneskelig deltagelse og kontrol for sikkert at udnytte disse fordele.”

I modsætning til syntetiske benchmark-test, der ofte bruges i AI-evalueringer, brugte konkurrencen professionelle cybersecurity-udfordringer under reelt konkurrencepres, hvilket giver en mere operationelt realistisk sammenligning mellem AI-assisterede og menneskelige hold.

Menneske-AI-hybridmodellen opstår som den vindende strategi

Selv om AI accelererede performance væsentligt, fandt studiet, at hybridhold, der kombinerer AI-agenter med menneskelige operatører, producerede de stærkeste resultater samlet.

I konkurrencen:

• 73,3% af AI-forstærkede hold løste mindst én udfordring, i forhold til 46% af hold udelukkende bestående af mennesker
• AI-agenter forbedrede ofte baseline-produktiviteten, men krævede stadig menneskelig validering og strategisk retning, når de stod overfor komplekse opgaver

For CISO’er og sikkerhedsledere fremhæver rapporten, at AI skal ses primært som en force multiplier, ikke en erstatning for cybersecurity-fagfolk.

AI’s indvirkning varierer dramatisk efter kompetenceniveau

En af de vigtigste indsigter fra rapporten er, at AI påvirker cybersecurity-praktikere forskelligt afhængigt af deres erfaringsniveau.

Tidlig karriere: “Produktivitetsillusionen”

For nyuddannede operatører kan AI fungere som en kompetencebro, der hjælper dem med at løse udfordringer, de ellers ville have svært ved. Rapporten advarer imidlertid om, at dette kan skabe en falsk fornemmelse af produktivitet, hvis junior-analytikere mangler den ekspertise, der er nødvendig for at verificere AI-resultater eller guide agent-arbejdsgange effektivt.

I visse tilfælde var lavere-præsterende AI-forstærkede hold faktisk 12,5% langsommere, ofte fastlåst i ineffektive løkker, når operatørerne manglede tilstrækkelige færdigheder i at føre tilsyn med arbejdsgangene.

Midt i karrieren: Det optimale anvendelsesområde for AI

De største produktivitetsgevinster fandt sted blandt midt i karrieren-analytikere, især når de løste mellem-sværhedsgrads-opgaver.

I denne kategori:

• AI-fordelen toppede med 3,89 gange forbedret performance på mellem-sværhedsgrads-problemer
• Mid-tier-hold oplevede 40-70% hurtigere opgave-løsning i forhold til modparter uden AI

Dette antyder, at virksomheder kan se det mest umiddelbare afkast på AI-investeringer ved at tage agentiske systemer i brug sammen med mid-niveau-analytikere.

Elite-operatører: Fartfordel, ikke kapacitets-erstatning

Blandt top-præsterende snævredes forskellen mellem AI-forstærkede hold og menneskelige eksperter betydeligt ind.

For eksempel:

• Det bedste menneskelige hold løste alle 36 udfordringer, mens det bedste AI-forstærkede hold løste 32 af 36
• Ved Top 5%-performance-niveauet faldt løsningsrate-fordelen til 1,69 gange

Alligevel leverede AI stadig en betydelig fartfordel, med elite-AI-forstærkede hold, der løste udfordringer tre til fire gange hurtigere.

“Sværheds-paradokset” afslører, hvor AI har vanskeligheder

Studiet identificerede også, hvad forskerne kalder et “sværheds-paradoks” i AI-performance.

AI-fordelen øges med opgavens sværhedsgrad – op til et punkt:

• Meget lette udfordringer: ~2,4 gange fordel for AI-hold
• Medium-udfordringer: 3,89 gange fordel, det top-performance-område
• Svære udfordringer: fordelen falder til 2,97 gange, afslørende begrænsninger i AI-resonnering

Visse kreative domæner – såsom kodning og reverse-engineering – viste næsten lighed mellem elite-mennesker og AI-systemer, fremhævende områder, hvor menneskelig intuition og nytænkning stadig er afgørende.

På tværs af domæner varierede AI-performance bredt, fra 5,15 gange fordel i sikker programmering til 1,68 gange i digital forensik.

En potentiel talent-pipeline-krise

Ud over produktivitetsgevinster rejser rapporten en langsigts-arbejdskraft-bekymring: AI kan forstyrre uddannelses-pipeline’en, der producerer fremtidens cybersecurity-eksperter.

Indledende sikkerhedsopgaver – traditionelt brugt til at træne junior-analytikere – kan i stigende grad automatiseres. AI-hold overgik menneskelige hold på de letteste udfordrings-niveauer, hvilket antyder, at arbejdet, der historisk har været brugt til at træne nye analytikere, stadig mere kan håndteres af automatisering.

Hvis organisationer automatiserer for meget tidligt arbejde, advarer rapporten om, at de risikerer at skabe en “manglende midte” i talent-pipeline’en, hvor færre analytikere udvikler de færdigheder, der er nødvendige for at blive senior-sikkerhedseksperter.

Konsekvenser for sikkerhedsledere

For CISO’er og virksomheds-sikkerhedsledere antyder fundene, at implementering af AI-værktøjer ikke længere er valgfrit.

Organisationer, der ikke integrerer AI i deres sikkerhedsoperationer, kan risikere at stå overfor modstandere, der allerede udnytter AI til at accelerere angreb og udnytte sårbarheder hurtigere, end traditionelle hold kan reagere.

Rapporten anbefaler en strategi på tre niveauer for AI-integration:

• Omskol medarbejdere i begynderstillinger til at fokusere på AI-styring og validering i stedet for manuelle opgaver
• Deploy AI sammen med midt i karrieren-analytikere først, hvor produktivitetsgevinster er højest
• Behold elite-talent og par dem med AI-co-piloter til at accelerere hændelsesrespons og avanceret trusselsanalyse

Til sidst antyder rapporten, at fremtidens cybersikkerhed ikke vil være AI versus mennesker – men AI-forstærkede mennesker, der opererer med maskine-hastighed.