Hack The Box Benchmark: AI-augmentované týmy předčí lidské analytiky kybernetické bezpečnosti

Nová studie od Hack The Box nazvaná “Srovnávací zpráva o výkonu v kybernetické bezpečnosti: týmy posílené AI versus čistě lidské týmy” zjistila, že AI-augmentované týmy kybernetické bezpečnosti mohou výrazně předčit týmy pouze s lidskými analytiky, s elitními týmy dokončujícími úkoly až 4,1krát rychleji. Zjištění vychází z dat o výkonu ze soutěže NeuroGrid Capture the Flag (CTF), jednoho z největších benchmarků v reálných podmínkách srovnávajících týmy podporované agentní AI a tradiční lidské týmy provádějící úkoly kybernetické bezpečnosti.

Benchmark analyzoval data ze soutěže NeuroGrid Capture the Flag (CTF), které zahrnovaly 1 337 lidských týmů a 156 AI-agent týmů registrovaných, s 958 lidskými týmy a 120 AI-týmy aktivně se pokoušejícími o výzvy napříč 36 úkoly kybernetické bezpečnosti v devíti technických oblastech a čtyřech úrovních obtížnosti.

Výsledky zdůrazňují nejen produktivitní zisky AI-augmentovaných operací kybernetické bezpečnosti, ale také vznikající výzvy pro pracovní sílu, se kterými se organizace mohou setkat, když automatizace mění, jak bezpečnostní týmy fungují.

AI-augmentované týmy dodávají měřitelné výkonnostní zisky

Benchmark demonstruje, že integrace AI-agentů do pracovních postupů kybernetické bezpečnosti může dramaticky zvýšit výstup, zejména když je kombinována se zkušenými lidskými operátory.

Klíčová zjištění zahrnují:

• Až 4,1krát více výstupu pro elitní AI-augmentované týmy ve srovnání s týmy pouze s lidskými analytiky
• 1,4násobné zlepšení produktivity napříč všemi týmy během stejného časového okna
• 70% vyšší míra řešení výzev pro AI-augmentované týmy
• 27% míra řešení pro AI-týmy ve srovnání s 16% pro nejlepší lidské týmy
• 3,2násobně vyšší celková míra řešení napříč všemi účastníky

Podle CEO a zakladatele Hack The Box Harise Pylarina výsledky ukazují, že AI může dramaticky zvýšit operační rychlost, ale musí být stále kombinována s lidským dohledem.

“AI může zvýšit laťku výkonu kybernetické bezpečnosti, ale nevyřazuje potřebu lidského odbornictví,” řekl Pylarinos. “Organizace musí vyvinout týmy, které AI dobře ovládají a pracovní postupy s lidským dohledem, aby bezpečně odemkly tyto výhody.”

Na rozdíl od syntetických benchmarků často používaných v hodnoceních AI, soutěž používala profesionální úkoly kybernetické bezpečnosti pod skutečným soutěžním tlakem, nabízející tak reálnější srovnání mezi AI-pomáhajícími a lidskými týmy.

Lidsko-AI hybridní model se objevuje jako vítězná strategie

Zatímco AI výrazně urychlovala výkon, studie zjistila, že hybridní týmy kombinující AI-agenty s lidskými operátory produkovaly nejsilnější výsledky celkově.

V soutěži:

• 73,3% AI-augmentovaných týmů dokončilo alespoň jednu výzvu, ve srovnání s 46% lidských týmů
• AI-agenti často zlepšovali základní produktivitu, ale stále vyžadovaly lidskou validaci a strategické vedení, když čelily složitým úkolům

Pro CISO a bezpečnostní lídry, zpráva zdůrazňuje, že AI by mělo být považováno primárně za násobitel schopností, ne za náhradu bezpečnostních odborníků.

Dopad AI se dramaticky liší podle úrovně dovedností

Jedním z nejvýznamnějších poznatků ze zprávy je, že AI ovlivňuje bezpečnostní odborníky odlišně v závislosti na úrovni zkušeností.

Raná kariéra: „Iluze produktivity“

Pro začínající operátory, AI může fungovat jako most kompetencí, pomáhající jim řešit výzvy, se kterými by se jinak potýkali. Nicméně, zpráva varuje, že to může vytvořit falešný pocit produktivity, pokud junioři postrádají odbornictví, aby ověřili AI-výstupy nebo směrovali agentní pracovní postupy efektivně.

V některých případech, AI-augmentované týmy s horšími výsledky byly ve skutečnosti 12,5% pomalejší, často uvízly v neefektivních smyčkách, když operátoři postrádali dostatečné dohledové dovednosti.

Střední kariéra: Optimální oblast pro AI

Největší produktivitní zisky se vyskytly mezi analytiky uprostřed kariéry, zejména při řešení středně složitých úkolů.

V této kategorii:

• AI výhoda dosáhla maxima 3,89násobného zlepšení výkonu u středně obtížných problémů
• Střední týmy zažily 40–70% rychlejší dokončení úkolů ve srovnání s lidskými protějšky

To naznačuje, že podniky mohou vidět nejrychlejší návratnost investic do AI, když nasadí agentní systémy vedle středně zkušených analytiků.

Elitní operátoři: Rychlostní výhoda, ne náhrada schopností

Mezi nejlepšími výkony, mezera mezi AI-augmentovanými týmy a lidskými experty se dramaticky zúžila.

Například:

• Nejlepší lidský tým vyřešil všech 36 výzev, zatímco nejlepší AI-augmentovaný tým dokončil 32 z 36
• V kategorii nejlepších 5 %, výhoda řešení se zmenšila na 1,69násobek

Nicméně, AI stále dodávalo výraznou výhodu v rychlosti, s elitními AI-augmentovanými týmy řešícími výzvy třikrát až čtyřikrát rychleji.

„Paradox obtížnosti“ odhaluje, kde AI zápasí

Studie také identifikovala, co výzkumníci nazývají „paradoxem obtížnosti“ v AI výkonu.

AI výhoda se zvyšuje s komplexitou úkolu — až do jistého bodu:

• Velmi snadné výzvy: ~2,4násobná výhoda pro AI-týmy
• Středně obtížné výzvy: 3,89násobná výhoda, vrcholová zóna výkonu
• Obtížné výzvy: výhoda klesá na 2,97násobek, odhalující limity AI myšlení

Určité kreativní domény — jako je programování a reverzní inženýrství — ukázaly téměř rovnocennost mezi elitními lidmi a AI-systémy, zdůrazňující oblasti, kde lidská intuice a novátorské myšlení zůstávají kritické.

V rámci domén, AI výkon se dramaticky lišil, sahající od 5,15násobné výhody v úlohách bezpečného programování po 1,68násobek v digitální forenzice.

Potenciální krize v rozvoji odborníků

Mimo produktivitní zisky, zpráva zvyšuje dlouhodobou obavu o pracovní sílu: AI může narušit systém vzdělávání, který připravuje budoucí odborníky kybernetické bezpečnosti.

Začáteční úkoly kybernetické bezpečnosti — tradičně používané k tréninku junior analytiků — jsou stále více automatizovatelné. AI-týmy výrazně předčily lidské týmy v nejlehčích úrovních výzev, naznačující, že práce, která historicky sloužila k tréninku nových analytiků, bude stále více zpracovávána automatizací.

Pokud organizace automatizují příliš mnoho práce určené začínajícím pracovníkům, zpráva varuje, že riskují vytvoření „chybějícího středu“ v systému rozvoje odborníků, kde méně analytiků rozvine dovednosti potřebné k tomu, aby se stali seniorními bezpečnostními experty.

Implikace pro bezpečnostní lídry

Pro CISO a podnikové bezpečnostní lídry, zjištění naznačují, že přijetí AI-nástrojů již není volitelné.

Organizace, které nezintegrují AI do svých bezpečnostních operací, mohou čelit protivníkům, kteří již využívají AI k urychlení útoků a využívání zranitelností rychleji, než tradiční týmy mohou reagovat.

Zpráva doporučuje tříúrovňovou strategii pro integraci AI:

• Přeškolit začátečníky, aby se zaměřili na AI-governance a validaci spíše než na manuální úkoly
• Nasadit AI nejprve vedle analytiků uprostřed kariéry, kde jsou produktivitní zisky nejvyšší
• Udržet elitní talent a spárovat je s AI-kopiloty, aby urychlili reakci na incidenty a pokročilou analýzu hrozeb

Nakonec, zpráva naznačuje, že budoucnost kybernetické bezpečnosti nebude AI versus lidé — ale AI-augmentovaní lidé fungující na rychlosti strojů.