Hack The Box Benchmark: AI-förstärkta team presterar bättre än mänskliga cybersäkerhetsanalytiker

En ny studie från Hack The Box med titeln “AI-förstärkt vs mänsklig cybersäkerhetsprestanda – benchmark-rapport” visar att AI-förstärkta cybersäkerhetsteam kan prestera betydligt bättre än enbart mänskliga team, med elitteam som slutför uppgifter upp till 4,1 gånger snabbare. Resultaten baseras på prestandadata från NeuroGrid Capture the Flag (CTF)-tävlingen, en av de största realvärldsbenchmarkerna som jämför agenter med AI-stöd och traditionella mänskliga team som utför cybersäkerhetsuppgifter.

Benchmarken analyserade data från NeuroGrid Capture the Flag (CTF)-tävlingen, som inkluderade 1 337 mänskliga team och 156 AI-agenter som var registrerade, med 958 mänskliga team och 120 AI-team som aktivt försökte lösa utmaningar över 36 cybersäkerhetsutmaningar som omfattade nio tekniska områden och fyra svårighetsnivåer.

Resultaten lyfter fram både produktivitetsvinster från AI-förstärkt cybersäkerhetsverksamhet och de framväxande utmaningar som organisationer kan ställas inför när automatisering förändrar hur säkerhetsteam opererar.

AI-förstärkta team levererar mätbara prestandaförbättringar

Benchmarken visar att integration av AI-agenter i cybersäkerhetsarbetsflöden kan dramatiskt öka utdata, särskilt när de kombineras med erfarna mänskliga operatörer.

Viktiga resultat inkluderar:

• Upp till 4,1 gånger mer utdata för elit AI-förstärkta team jämfört med enbart mänskliga team
• 1,4 gånger produktivitetsförbättring över alla team under samma tidsfönster
• 70% högre lösandefrekvens för AI-förstärkta team
• 27% lösandefrekvens för AI-team jämfört med 16% för de bästa enbart mänskliga teamen
• 3,2 gånger högre total lösandefrekvens över alla deltagare

Enligt Hack The Box VD och grundare Haris Pylarinos visar resultaten att AI kan dramatiskt öka operativ hastighet men fortfarande måste kombineras med mänsklig tillsyn.

“AI kan höja ribban för cybersäkerhetsprestanda, men det eliminerar inte behovet av mänsklig expertis,” sa Pylarinos. “Organisationer måste utveckla AI-kompetenta team och mänskliga arbetsflöden för att säkert låsa upp dessa fördelar.”

Till skillnad från syntetiska benchmark-tester som ofta används i AI-utvärderingar använde tävlingen professionella cybersäkerhetsutmaningar under riktiga tävlingstryck, vilket erbjuder en mer operativt realistisk jämförelse mellan AI-stödda och mänskliga team.

Den mänskliga AI-hybridmodellen framträder som den vinnande strategin

Medan AI accelererade prestanda betydligt fann studien att hybrida team som kombinerade AI-agenter med mänskliga operatörer producerade de starkaste resultaten totalt sett.

I tävlingen:

• 73,3% av AI-förstärkta team slutförde minst en utmaning, jämfört med 46% av enbart mänskliga team
• AI-agenter förbättrade ofta baslinje-produktiviteten men krävde fortfarande mänsklig validering och strategisk ledning när de stod inför komplexa uppgifter

För CISO:er och säkerhetsledare betonar rapporten att AI bör ses främst som en multiplikator för kraft, inte en ersättning för cybersäkerhetsexperter.

AI:s påverkan varierar dramatiskt beroende på färdighetsnivå

En av de viktigaste insikterna från rapporten är att AI påverkar cybersäkerhetspraktiker olika beroende på deras erfarenhetsnivå.

Tidig karriär: “Produktivitetsillusionen”

För nybörjare kan AI fungera som en kompetensbro, som hjälper dem att lösa utmaningar de annars skulle ha svårt att hantera. Rapporten varnar dock för att detta kan skapa en falsk känsla av produktivitet om juniora analytiker saknar den expertis som krävs för att validera AI-utdata eller styra agentarbetsflöden effektivt.

I vissa fall var lägre presterande AI-förstärkta team faktiskt 12,5% långsammare, ofta fastnade i ineffektiva loopar när operatörerna saknade tillräcklig tillsynskompetens.

Mitt i karriären: Sötfläcken för AI

De största produktivitetsvinsterna inträffade bland mittenkarriäranalytiker, särskilt när de hanterade medelkomplexa uppgifter.

I denna kategori:

• AI-fördelen kulminerade i en prestandaförbättring på 3,89 gånger på medelsvåra problem
• Mittennivåteam upplevde 40–70% snabbare uppgiftslösning jämfört med enbart mänskliga motsvarigheter

Detta tyder på att företag kan se den mest omedelbara avkastningen på AI-investeringar genom att distribuera agenter tillsammans med medelanalytiker.

Elitoperatörer: Fördel i hastighet, inte ersättning av förmåga

Bland topppresterarna minskade gapet mellan AI-förstärkta team och mänskliga experter betydligt.

Till exempel:

• Det bästa mänskliga teamet löste alla 36 utmaningar, medan det bästa AI-förstärkta teamet slutförde 32 av 36
• I den översta 5%-presterande skiktet minskade lösandefördelen till 1,69 gånger

Men AI levererade fortfarande en betydande fördel i hastighet, med elit AI-förstärkta team som löste utmaningar tre till fyra gånger snabbare.

“Svårighetsparadoxen” avslöjar var AI kämpar

Studien identifierade också vad forskare kallar en “svårighetsparadox” i AI-prestanda.

AI-fördelen ökar med uppgiftens komplexitet – upp till en viss punkt:

• Mycket enkla utmaningar: ~2,4 gånger fördel för AI-team
• Medelutmaningar: 3,89 gånger fördel, topprestandazonen
• Svåra utmaningar: fördelen minskar till 2,97 gånger, avslöjar begränsningar i AI-resonemang

Vissa kreativa områden – som kodning och omvänd ingenjörskonst – visade nästan lika resultat mellan elitmänniskor och AI-system, vilket betonar områden där mänsklig intuition och nydanande resonemang förblir kritiska.

Över områden varierade AI-prestanda kraftigt, från 5,15 gånger fördel i säkerhetskodningsuppgifter till 1,68 i digitala forensiska uppgifter.

En potentiell talangpipelinekris

Utöver produktivitetsvinster lyfter rapporten fram en långsiktig arbetsmarknadsoro: AI kan störa utbildningspipelinen som producerar framtida cybersäkerhetsexperter.

Ingångsnivåsäkerhetsuppgifter – som traditionellt används för att utbilda juniora analytiker – är alltmer automatiserbara. AI-team presterade betydligt bättre än mänskliga team på de lättaste utmaningsnivåerna, vilket tyder på att arbetet som historiskt sett har använts för att utbilda nya analytiker alltmer kommer att hanteras av automation.

Om organisationer automatiserar för mycket tidig karriärarbete varnar rapporten för att de riskerar att skapa en “saknad mittdel” i talangpipelinen, där färre analytiker utvecklar de färdigheter som behövs för att bli seniora säkerhetsexperter.

Implikationer för säkerhetsledare

För CISO:er och företagssäkerhetsledare tyder resultaten på att antagande av AI-verktyg inte längre är valbart.

Organisationer som inte integrerar AI i sina säkerhetsoperationer kan stå inför motståndare som redan använder AI för att accelerera attacker och utnyttja sårbarheter snabbare än traditionella team kan svara.

Rapporten rekommenderar en trestegsstrategi för AI-integration:

• Omskola ingångsnivåroller för att fokusera på AI-styrning och validering snarare än manuella uppgifter
• Distribuera AI tillsammans med mittennivåanalytiker först, där produktivitetsvinster är som störst
• Behåll elit talang och para dem med AI-kopiloter för att accelerera incidenthantering och avancerad hotanalys

Till slut tyder rapporten på att cybersäkerhetens framtid inte kommer att vara AI mot människor – utan AI-förstärkta människor som opererar i maskinhastighet.