Hack The Box Benchmark: AI-Augmented Teams Outperform Human Cybersecurity Analysts

Nová studie od Hack The Box s názvem „AI-Augmented vs Human-Only Cybersecurity Performance Benchmark Report“ zjistila, že AI-augmentované týmy kybernetické bezpečnosti mohou výrazně překonat týmy složené pouze z lidí, přičemž elitní týmy dokončují úkoly až o 4,1krát rychleji. Zjištění jsou založena na datovém výkonu ze soutěže NeuroGrid Capture the Flag (CTF), jedné z největších reálných benchmarků, které srovnávají agentic AI-pomocné týmy a tradiční lidské týmy při provádění úkolů kybernetické bezpečnosti.

Benchmark analyzoval data ze soutěže NeuroGrid Capture the Flag (CTF), které zahrnovaly 1 337 týmů složených pouze z lidí a 156 AI-agentních týmů registrovaných, z nichž 958 lidských týmů a 120 AI-týmů aktivně řešilo výzvy napříč 36 úkoly kybernetické bezpečnosti ve devíti technických doménách a čtyřech úrovních obtížnosti.

Výsledky zdůrazňují jak produktivní zisky AI-augmentovaných operací kybernetické bezpečnosti, tak i vznikající výzvy pro pracovní sílu, se kterými se organizace mohou setkat, protože automatizace mění, jak bezpečnostní týmy fungují.

AI-Augmentované týmy poskytují měřitelné výkonnostní zisky

Benchmark prokazuje, že integrace AI-agentů do pracovních postupů kybernetické bezpečnosti může dramaticky zvýšit výstup, zejména když je spárována se zkušenými lidskými operátory.

Klíčová zjištění zahrnují:

• Až o 4,1krát více výstupu pro elitní AI-augmentované týmy ve srovnání s týmy složené pouze z lidí
• 1,4násobné zlepšení produktivity napříč všemi týmy ve stejném časovém okně
• 70% vyšší míra řešení výzev pro AI-augmentované týmy
• 27% míra řešení pro AI-týmy versus 16% pro nejlepší týmy složené pouze z lidí
• 3,2násobně vyšší celková míra řešení napříč všemi účastníky

Podle CEO a zakladatele Harise Pylarina výsledky ukazují, že AI může dramaticky zvýšit operační rychlost, ale musí být stále spárována s lidským dohledem.

“AI může zvýšit laťku výkonu kybernetické bezpečnosti, ale nezruší potřebu lidského odbornictví,” řekl Pylarinos. “Organizace musí vyvinout AI-fluentní týmy a pracovní postupy s lidským faktorem, aby bezpečně odemkly tyto výhody.”

Na rozdíl od syntetických benchmarků, které se často používají v hodnoceních AI, soutěž používala profesionální úkoly kybernetické bezpečnosti pod skutečným soutěžním tlakem, nabízející tak více operačně realistický srovnání mezi AI-pomocnými a lidskými týmy.

Hybridní model lidsko-AI se objevuje jako vítězná strategie

Zatímco AI výrazně urychlovala výkon, studie zjistila, že hybridní týmy kombinující AI-agenty s lidskými operátory dosáhly celkově nejlepších výsledků.

V soutěži:

• 73,3% AI-augmentovaných týmů dokončilo alespoň jednu výzvu, ve srovnání s 46% týmů složených pouze z lidí
• AI-agenty často zlepšovaly základní produktivitu, ale stále vyžadovaly lidskou validaci a strategické směrování, když čelily složitým úkolům

Pro CISO a bezpečnostní lídry výsledky studie zdůrazňují, že AI by mělo být považováno především za sílu násobitele, nikoli za náhradu bezpečnostních odborníků.

Dopad AI se dramaticky liší podle úrovně dovedností

Jedním z nejvýznamnějších poznatků ze zprávy je, že AI ovlivňuje bezpečnostní praktiky odlišně v závislosti na úrovni zkušeností.

Začínající kariéra: „Iluze produktivity“

Pro začínající operátory může AI působit jako most kompetencí, pomáhající jim řešit výzvy, se kterými by se jinak potýkali. Nicméně zpráva varuje, že toto může vytvořit falešný pocit produktivity, pokud junioři postrádají odbornictví potřebné k ověření výstupů AI nebo efektivnímu směrování agentních pracovních postupů.

V některých případech byly týmy s nižším výkonem AI-augmentované dokonce o 12,5% pomalejší, často uvízly v neefektivních smycích, když operátoři postrádali dostatečné dovednosti dohledu.

Střední kariéra: Sladký bod pro AI

Největší produktivní zisky se objevily mezi středními analytiky, zejména při řešení úkolů středního stupně složitosti.

V této kategorii:

• AI výhoda dosáhla maxima 3,89násobného zlepšení výkonu u úkolů střední obtížnosti
• Mid-tier týmy zažily 40–70% rychlejší dokončení úkolů ve srovnání s týmy složené pouze z lidí

To naznačuje, že podniky mohou vidět nejrychlejší návratnost investic do AI, pokud nasadí agentic systémy vedle středně zkušených analytiků.

Elitní operátoři: Výhoda rychlosti, ne náhrada schopností

Mezi nejlepšími výkony se mezera mezi AI-augmentovanými týmy a lidskými experty výrazně zúžila.

Například:

• Nejlepší lidský tým vyřešil všechny 36 výzev, zatímco nejlepší AI-augmentovaný tým dokončil 32 z 36
• V horním 5% výkonové třídy se výhoda řešení zmenšila na 1,69násobek

Nicméně AI stále poskytovalo významnou výhodu v rychlosti, s elitními AI-augmentovanými týmy řešícími výzvy třikrát až čtyřikrát rychleji.

„Paradox obtížnosti“ odhaluje, kde AI selhává

Studie také identifikovala, co výzkumníci nazývají „paradoxem obtížnosti“ v AI výkonu.

AI výhoda se zvyšuje s komplexitou úkolu — do jisté míry:

• Velmi snadné úkoly: ~2,4násobná výhoda pro AI-týmy
• Střední úkoly: 3,89násobná výhoda, vrcholová zóna výkonu
• Obtížné úkoly: výhoda klesá na 2,97násobek, odhalující limity AI rozumění

Určité kreativní domény — jako je kódování a reverzní inženýrství — ukázaly téměř rovnocennost mezi elitními lidmi a AI-systémy, zdůrazňující oblasti, kde lidská intuice a novátorské uvažování zůstávají kritické.

V rámci domén se AI výkon velmi lišil, pohybující se od 5,15násobné výhody v úkolech zabezpečeného kódování po 1,68násobek v digitální forenzice.

Potenciální krize v人才 pipeline

Mimo produktivní zisky zpráva zdůrazňuje dlouhodobou obavu o pracovní sílu: AI může narušit tréninkový pipeline, který produkuje budoucí odborníky na kybernetickou bezpečnost.

Úkoly kybernetické bezpečnosti na počátku kariéry — tradičně používané k tréninku juniorů — se stále více automatizují. AI-týmy výrazně překonaly lidské týmy v nejnižších úrovních výzev, naznačující, že práce, která historicky sloužila k tréninku nových analytiků, bude stále více zpracovávána automatizací.

Pokud organizace automatizují příliš mnoho práce na počátku kariéry, varuje zpráva, že riskují vytvoření „chybějícího středu“ v人才 pipeline, kde méně analytiků rozvine dovednosti potřebné k tomu, aby se stali seniorními bezpečnostními experty.

Dopady pro bezpečnostní lídry

Pro CISO a bezpečnostní lídry výsledky naznačují, že přijetí AI-nástrojů již není volitelné.

Organizace, které nezintegrují AI do svých bezpečnostních operací, mohou čelit protivníkům, kteří již využívají AI k urychlení útoků a využívání zranitelností rychleji, než tradiční týmy mohou reagovat.

Zpráva doporučuje tříúrovňovou strategii pro integraci AI:

• Přeškolit počáteční role, aby se zaměřily na AI-governance a validaci spíše než na manuální úkoly
• Nasadit AI vedle středně zkušených analytiků, kde jsou produktivní zisky nejvyšší
• Udržet elitní talenty a spárovat je s AI-kopiloty, aby urychlily reakci na incidenty a pokročilou analýzu hrozeb

Nakonec zpráva naznačuje, že budoucnost kybernetické bezpečnosti nebude AI versus lidé, ale AI-augmentovaní lidé fungující na rychlost strojů.