Hack The Box Benchmark: AI-augmentované týmy předčí lidské analytiky kybernetické bezpečnosti

Nová studie od Hack The Box nazvaná “AI-Augmented vs Human-Only Cybersecurity Performance Benchmark Report” zjistila, že AI-augmentované týmy kybernetické bezpečnosti mohou výrazně předčit týmy pouze s lidskými analytiky, s elitními týmy dokončujícími úkoly až o 4,1krát rychleji. Zjištění vychází z dat o výkonu ze soutěže NeuroGrid Capture the Flag (CTF), jedné z největších reálných benchmarků srovnávajících agentic AI-pomáhající týmy a tradiční lidské týmy provádějící úkoly kybernetické bezpečnosti.

Benchmark analyzoval data ze soutěže NeuroGrid Capture the Flag (CTF), které zahrnovaly 1 337 lidských týmů a 156 AI-agent týmů registrovaných, s 958 lidskými týmy a 120 AI-týmy aktivně se pokoušejícími o výzvy napříč 36 úkoly kybernetické bezpečnosti ve čtyřech technických doménách a čtyřech úrovních obtížnosti.

Výsledky zdůrazňují nejen produktivitní zisky AI-augmentovaných operací kybernetické bezpečnosti, ale také vznikající výzvy pro pracovní sílu, se kterými se organizace mohou setkat, když automatizace mění, jak bezpečnostní týmy fungují.

AI-augmentované týmy dodávají měřitelné výkonnostní zisky

Benchmark demonstruje, že integrace AI-agentů do pracovních postupů kybernetické bezpečnosti může dramaticky zvýšit výstup, zejména když je kombinována s zkušenějšími lidskými operátory.

Klíčová zjištění zahrnují:

• Až o 4,1krát více výstupu pro elitní AI-augmentované týmy ve srovnání s týmy pouze s lidskými analytiky
• 1,4násobné zlepšení produktivity napříč všemi týmy během stejného časového okna
• 70% vyšší míra řešení výzev pro AI-augmentované týmy
• 27% míra řešení pro AI-týmy ve srovnání s 16% pro nejlepší lidské týmy
• 3,2násobně vyšší celková míra řešení napříč všemi účastníky

Podle CEO a zakladatele Hack The Box Harise Pylarina výsledky ukazují, že AI může dramaticky zvýšit operační rychlost, ale musí být stále kombinována s lidským dohledem.

“AI může zvýšit laťku výkonu kybernetické bezpečnosti, ale nevyřazuje potřebu lidského odbornictví,” řekl Pylarinos. “Organizace musí vyvinout AI-fluentní týmy a pracovní postupy s lidským dohledem, aby bezpečně odemkly tyto výhody.”

Na rozdíl od syntetických benchmarků často používaných v hodnoceních AI, soutěž používala profesionální úkoly kybernetické bezpečnosti pod skutečným soutěžním tlakem, nabízející tak reálnější srovnání mezi AI-pomáhajícími a lidskými týmy.

Lidsko-AI hybridní model se objevuje jako vítězná strategie

Zatímco AI výrazně urychlovala výkon, studie zjistila, že hybridní týmy kombinující AI-agenty s lidskými operátory produkovaly nej silnější výsledky celkově.

Ve soutěži:

• 73,3% AI-augmentovaných týmů dokončilo alespoň jednu výzvu, ve srovnání s 46% lidských týmů
• AI-agenty často zlepšovaly základní produktivitu, ale stále vyžadovaly lidskou validaci a strategické vedení, když čelily složitým úkolum

Pro CISO a bezpečnostní lídry, zpráva zdůrazňuje, že AI by mělo být považováno primárně za sílu násobitele, ne za náhradu bezpečnostních odborníků.

Dopad AI se dramaticky liší podle úrovně dovedností

Jednou z nejvýznamnějších poznatků ze zprávy je, že AI ovlivňuje bezpečnostní praktiky odlišně v závislosti na úrovni zkušeností.

Raná kariéra: „Iluze produktivity“

Pro začínající operátory, AI může fungovat jako most kompetencí, pomáhající jim řešit výzvy, se kterými by se jinak potýkali. Nicméně, zpráva varuje, že to může vytvořit falešný pocit produktivity, pokud junioři postrádají odbornictví, aby ověřili AI-výstupy nebo směrovali agentní pracovní postupy efektivně.

V některých případech, nižší výkonnost AI-augmentovaných týmů byla dokonce 12,5% pomalejší, často uvízla v neefektivních smyčkách, když operátoři postrádali dostatečné dohledové dovednosti.

Střední kariéra: Sladké místo pro AI

Největší produktivitní zisky se vyskytly mezi středními analytiky, zejména při řešení středně složitých úkolů.

V této kategorii:

• AI výhoda dosáhla maxima 3,89násobného zlepšení výkonu u středně obtížných problémů
• Střední týmy zažily 40–70% rychlejší dokončení úkolů ve srovnání s lidskými protějšky

To naznačuje, že podniky mohou vidět nejrychlejší návratnost investic do AI, když nasadí agentic systémy vedle středně zkušených analytiků.

Elitní operátoři: Rychlostní výhoda, ne náhrada schopností

Mezi nejlepšími výkony, mezera mezi AI-augmentovanými týmy a lidskými experty se dramaticky zúžila.

Například:

• Nejlepší lidský tým vyřešil všechny 36 výzev, zatímco nejlepší AI-augmentovaný tým dokončil 32 z 36
• V horním 5% výkonové třídy, výhoda řešení se zmenšila na 1,69násobek

Nicméně, AI stále dodávalo majoritní výhodu v rychlosti, s elitními AI-augmentovanými týmy řešícími výzvy třikrát až čtyřikrát rychleji.

„Paradox obtížnosti“ odhaluje, kde AI zápasí

Studie také identifikovala, co výzkumníci nazývají „paradoxem obtížnosti“ v AI výkonu.

AI výhoda se zvyšuje s komplexitou úkolu — až do jistého bodu:

• Velmi snadné výzvy: ~2,4násobná výhoda pro AI-týmy
• Středně obtížné výzvy: 3,89násobná výhoda, vrcholová zóna výkonu
• Obtížné výzvy: výhoda klesá na 2,97násobek, odhalující limity AI myšlení

Určité kreativní domény — jako je programování a reverzní inženýrství — ukázaly téměř rovnocennost mezi elitními lidmi a AI-systémy, zdůrazňující oblasti, kde lidská intuice a novátorské myšlení zůstávají kritické.

V rámci domén, AI výkon se dramaticky lišil, sahající od 5,15násobné výhody v úkolech zabezpečeného kódování po 1,68násobek v digitální forenzice.

Potenciální krize v talentovém potrubí

Mimo produktivitní zisky, zpráva zvyšuje dlouhodobou obavu o pracovní sílu: AI může narušit tréninkové potrubí, které produkuje budoucí odborníky kybernetické bezpečnosti.

Začáteční úkoly kybernetické bezpečnosti — tradičně používané k tréninku junior analytiků — jsou stále více automatizovatelné. AI-týmy výrazně předčily lidské týmy v nejlehčích úrovních výzev, naznačující, že práce, která historicky sloužila k tréninku nových analytiků, bude stále více zpracovávána automatizací.

Pokud organizace automatizují příliš mnoho rané kariéry, zpráva varuje, že riskují vytvoření „chybějícího středu“ v talentovém potrubí, kde méně analytiků rozvine dovednosti potřebné k tomu, aby se stali seniorními bezpečnostními experty.

Implikace pro bezpečnostní lídry

Pro CISO a podnikové bezpečnostní lídry, zjištění naznačují, že přijetí AI-nástrojů již není volitelné.

Organizace, které nezintegrují AI do svých bezpečnostních operací, mohou čelit protivníkům, kteří již využívají AI k urychlení útoků a využívání zranitelností rychleji, než tradiční týmy mohou reagovat.

Zpráva doporučuje tříúrovňovou strategii pro integraci AI:

• Přeškolit začátečníky, aby se zaměřili na AI-governance a validaci spíše než na manuální úkoly
• Nasadit AI vedle středních analytiků nejprve, kde jsou produktivitní zisky nejvyšší
• Udržet elitní talent a spárovat je s AI-kopiloty, aby urychlili reakci na incidenty a pokročilou analýzu hrozeb

Nakonec, zpráva naznačuje, že budoucnost kybernetické bezpečnosti nebude AI versus lidé — ale AI-augmentovaní lidé fungující na rychlosti strojů.