Hack The Box Benchmark: AI-forsterkede team overgår menneskelige cybersecurity-analytikere

En ny studie fra Hack The Box med tittelen “AI-forsterket vs menneskelig cybersecurity-ytelse Benchmark-rapport” viser at AI-forsterkede cybersecurity-team kan overgå menneskelige team, med elite-team som fullfører oppgaver opptil 4,1 ganger raskere. Funndene er basert på ytelsesdata fra NeuroGrid Capture the Flag (CTF)-konkurransen, en av de største realverdens benchmarkene som sammenligner agente AI-assisterte team og tradisjonelle menneskelige team som utfører cybersecurity-oppdrag.

Benchmarken analyserte data fra NeuroGrid Capture the Flag (CTF)-konkurransen, som inkluderte 1 337 menneskelige team og 156 AI-agent-team som var registrert, med 958 menneskelige team og 120 AI-team som aktivt forsøkte å løse utfordringer over 36 cybersecurity-utfordringer i ni tekniske domener og fire vanskelighetsnivåer.

Resultatene høydepunkter både produktivitetsgevinstene av AI-forsterkede cybersecurity-operasjoner og de fremvoksende arbeidskraftutfordringene organisasjonene kan møte når automatisering endrer hvordan sikkerhetsteam opererer.

AI-forsterkede team leverer målbare ytelsesforbedringer

Benchmarken demonstrerer at integrering av AI-agenter i cybersecurity-arbeidsflyter kan dramatisk øke utgangen, særlig når de kombineres med erfarne menneskelige operatører.

Nøkelfunn inkluderer:

• Opptil 4,1 ganger mer utgang for elite AI-forsterkede team sammenlignet med menneskelige team
• 1,4 ganger produktivitetsforbedring over alle team i samme tidsvindu
• 70% høyere løsningsrate for AI-forsterkede team
• 27% løsningsrate for AI-team sammenlignet med 16% for topp menneskelige team
• 3,2 ganger høyere løsningsrate over alle deltakere

Ifølge Hack The Box-sjef og grunnlegger Haris Pylarinos viser resultatene at AI kan dramatisk øke operasjonshastigheten, men må likevel kombineres med menneskelig tilsyn.

“AI kan heve standarden for cybersecurity-ytelse, men det eliminerer ikke behovet for menneskelig ekspertise,” sa Pylarinos. “Organisasjoner må utvikle AI-kyndige team og menneske-i-løkken-arbeidsflyter for å trygt låse opp disse fordelene.”

I motsetning til syntetiske benchmarkene som ofte brukes i AI-evalueringer, ble konkurransen brukt profesjonelle cybersecurity-utfordringer under real konkurranse-press, og tilbyr en mer operasjonell realistisk sammenligning mellom AI-assisterte og menneskelige team.

Menneske-AI-hybridmodellen oppstår som den vinnende strategien

Mens AI betydelig akselererte ytelsen, fant studien at hybridteam som kombinerer AI-agenter med menneskelige operatører produserte de sterkeste resultatene totalt.

I konkurransen:

• 73,3% av AI-forsterkede team fullførte minst en utfordring, sammenlignet med 46% av menneskelige team
• AI-agenter forbedret ofte basisproduktiviteten, men trengte likevel menneskelig validering og strategisk retning når de møtte komplekse oppgaver

For CISO-er og sikkerhetsledere betoner rapporten at AI bør sees primært som en kraftmultiplier, ikke en erstatning for cybersecurity-eksperter.

AI-påvirkning varierer dramatisk etter ferdighetsnivå

En av de viktigste innsiktene fra rapporten er at AI påvirker cybersecurity-utøvere forskjellig avhengig av deres erfaringnivå.

Tidlig karriere: “Produktivitetsillusjonen”

For nybegynnere kan AI fungere som en kompetansebro, og hjelpe dem med å løse utfordringer de ellers ville ha problemer med. Rapporten advarer likevel mot at dette kan skape en falsk følelse av produktivitet hvis junioranalytikere mangler ekspertisen til å verifisere AI-utgang eller lede agent-arbeidsflyter effektivt.

I noen tilfeller var lavere presterte AI-forsterkede team faktisk 12,5% langsommere, ofte fanget i ineffektive løkker når operatørene manglet tilstrekkelig tilsynsferdigheter.

Midtkarriere: Søtpotten for AI

De største produktivitetsgevinstene inntraff blant midtkarriereanalytikere, særlig når de tok seg av medium-kompleksitetsoppgaver.

I denne kategorien:

• AI-fordel toppet på 3,89 ganger bedre ytelse på medium-vanskelighetsproblemer
• Mid-tier-team opplevde 40–70% raskere oppgavefullføring sammenlignet med menneskelige team

Dette tyder på at bedrifter kan se den mest umiddelbare avkastningen på AI-investeringer ved å deployere agente systemer sammen med midtnivåanalytikere.

Elite-operatører: Fartfordel, ikke erstatning for evner

Blant topppresterende snørte gapet mellom AI-forsterkede team og menneskelige eksperter seg betydelig.

For eksempel:

• Det beste menneskelige team løste alle 36 utfordringer, mens det beste AI-forsterkede team fullførte 32 av 36
• Ved topp 5% prestasjonsnivået sank løsningsratens fordelen til 1,69 ganger

Likevel leverte AI en betydelig fartfordel, med elite AI-forsterkede team som løste utfordringer tre til fire ganger raskere.

“Vanskelighetsparadokset” avslører hvor AI-struggler

Studien identifiserte også hva forskerne kaller et “vanskelighetsparadoks” i AI-ytelse.

AI-fordelen øker med oppgavens kompleksitet – opp til et punkt:

• Meget enkle utfordringer: ~2,4 ganger fordelen for AI-team
• Medium utfordringer: 3,89 ganger fordelen, toppytelsessonen
• Hard utfordringer: fordelene synker til 2,97 ganger, avslører grenser i AI-resonnering

Bestemte kreative domener – som kodning og omvendt ingeniørkunst – viste nær likhet mellom elite-mennesker og AI-systemer, og høydepunkter områder hvor menneskelig intuisjon og ny resonnering forblir kritisk.

Over domener varierte AI-ytelsen bredt, fra 5,15 ganger fordelen i sikker kodning til 1,68 ganger i digital kriminalteknikk.

En potensiell talentpipelinekrise

Forbi produktivitetsgevinstene reiser rapporten en langvarig arbeidskraftsufordring: AI kan forstyrre treningspipelinen som produserer fremtidige cybersecurity-eksperter.

Inngangs-nivå sikkerhetsoppgaver – tradisjonelt brukt til å trene junioranalytikere – er stadig mer automatiserbare. AI-team overgikk menneskelige team på de enkleste utfordringsnivåene, og antyder at arbeidet som historisk har blitt brukt til å trene nye analytikere stadig mer kan håndteres av automatisering.

Hvis organisasjoner automatiserer for mye tidligkarrierearbeid, advarer rapporten mot at de risikerer å skape en “manglende midte” i talentpipelinen, hvor færre analytikere utvikler ferdighetene som trengs for å bli senior sikkerhetsekspert.

Konsekvenser for sikkerhetsledere

For CISO-er og bedriftssikkerhetsledere antyder funnene at å adoptere AI-verktøy ikke lenger er valgfritt.

Organisasjoner som ikke integrerer AI i sine sikkerhetsoperasjoner, kan møte motstandere som allerede utnytter AI for å akselerere angrep og utnytte sårbarheter raskere enn tradisjonelle team kan reagere.

Rapporten anbefaler en tredelt strategi for AI-integrering:

• Omskol entry-nivåroller til å fokusere på AI-styring og validering i stedet for manuelle oppgaver
• Deploy AI sammen med midtkarriereanalytikere først, hvor produktivitetsgevinstene er størst
• Behold elite-talent og par dem med AI-kopiloter for å akselerere hendelserespons og avansert trusselanalyse

Til slutt antyder rapporten at fremtiden for cybersecurity ikke vil være AI mot mennesker – men AI-forsterkede mennesker som opererer i maskinhastighet.