Hack The Box Benchmark: Echipele de securitate cibernetica augmentate cu AI depasesc analistii de securitate umani

Un nou studiu a companiei Hack The Box intitulata „Raport de evaluare comparativă a performanței în securitatea cibernetică: echipe augmentate cu AI versus echipe exclusiv umane” arata ca echipele de securitate cibernetica augmentate cu AI pot depasi semnificativ echipele umane, cu echipele elite care completeaza task-uri de pana la 4,1 ori mai repede. Rezultatele se bazeaza pe datele de performanta din competitia NeuroGrid Capture the Flag (CTF), una dintre cele mai mari benchmark-uri din lume care compara echipele umane traditionale cu echipele asistate de AI agentică în sarcini de securitate cibernetica.

Benchmark-ul a analizat datele din competitia NeuroGrid Capture the Flag (CTF), la care s-au înscris 1.337 de echipe exclusiv umane și 156 de echipe cu agenți AI. Dintre acestea, 958 de echipe umane și 120 de echipe AI au încercat activ să rezolve cele 36 de provocări de securitate cibernetică, din nouă domenii tehnice și patru niveluri de dificultate.

Rezultatele subliniaza atat castigurile de productivitate ale operatiunilor de securitate cibernetica augmentate cu AI, cat si provocarile emergente cu care se pot confrunta organizatiile pe masura ce automatizarea schimba modul in care functioneaza echipele de securitate.

Echipele de securitate cibernetica augmentate cu AI ofera castiguri de performanta masurabile

Benchmark-ul demonstreaza ca integrarea agentilor de AI in fluxurile de lucru de securitate cibernetica poate creste dramatic productivitatea, in special atunci cand este combinata cu operatori umani experimentati.

Printre principalele constatari se numara:

• Pana la 4,1 ori mai multa productivitate pentru echipele elite de securitate cibernetica augmentate cu AI, comparativ cu echipele umane
• Imbunatatire a productivitatii cu 1,4 ori pentru toate echipele in acelasi interval de timp
• Rata de rezolvare a provocarilor cu 70% mai mare pentru echipele de securitate cibernetica augmentate cu AI
• Rata de rezolvare de 27% pentru echipele asistate de AI, comparativ cu 16% pentru echipele umane de top
• Raportul de rezolvare de 3,2 ori mai mare pentru toati participantii

Conform CEO-ului si fondatorului Hack The Box, Haris Pylarinos, rezultatele arata ca AI poate creste dramatic viteza operationala, dar trebuie sa fie combinat cu supravegherea umana.

„AI poate ridica standardul de performanta in securitatea cibernetica, dar nu elimina nevoia de expertiza umana,” a declarat Pylarinos. „Organizatiile trebuie sa dezvolte echipe fluente in AI si fluxuri de lucru cu participare și supraveghere umană pentru a beneficia în siguranță de aceste avantaje.”

In contrast cu benchmark-urile sintetice folosite adesea in evaluarea AI, competitia a utilizat provocari de securitate cibernetica de nivel profesional, sub presiunea unei competitii reale, oferind o comparatie mai realista intre echipele asistate de AI si cele umane.

Modelul hibrid uman-AI emerge ca strategia castigatoare

In timp ce AI a accelerat semnificativ performanta, studiul a aratat ca echipele hibride care combina agenti de AI cu operatori umani au produs rezultatele cele mai puternice in general.

In competitie:

• 73,3% din echipele de securitate cibernetica augmentate cu AI au rezolvat cel putin o provocare, comparativ cu 46% din echipele umane
• Agentii de AI au imbunatatit adesea productivitatea de baza, dar au necesitat in continuare validarea si directia strategica umana atunci cand s-au confruntat cu task-uri complexe

Pentru directorii de securitate si liderii de securitate, raportul subliniaza ca AI ar trebui sa fie vazut in primul rand ca un multiplicator de forta, nu ca o inlocuire a profesionistilor in securitatea cibernetica.

Impactul AI variaza dramatic in functie de nivelul de abilitate

Una dintre cele mai importante insight-uri din raport este ca AI afecteaza profesionistii in securitatea cibernetica in mod diferit, in functie de nivelul de experienta.

Cariera timpurie: „Iluzia productivitatii”

Pentru operatorii de la inceput de cariera, AI poate functiona ca un pod de competenta, ajutandu-i sa rezolve provocări pe care altfel le-ar rezolva cu dificultate. Cu toate acestea, raportul avertizeaza ca acest lucru poate crea o falsa impresie de productivitate, daca analistii juniori nu au expertiza necesara pentru a verifica output-urile AI sau pentru a directiona fluxurile de lucru ale agentilor in mod eficient.

In unele cazuri, echipele de securitate cibernetica augmentate cu AI cu performanțe mai slabe au fost de fapt 12,5% mai lente, adesea blocandu-se in bucle ineficiente atunci cand operatorii nu aveau abilitatile de supraveghere necesare.

Mijlocul carierei: zona optimă pentru AI

Cele mai mari castiguri de productivitate s-au produs in randul analiștilor aflați la mijlocul carierei, in special atunci cand au abordat task-uri de complexitate medie.

In aceasta categorie:

• Avantajul AI a atins 3,89 ori imbunatatirea performantei pe probleme de dificultate medie
• Echipele de mijloc au experimentat finalizarea sarcinilor cu 40–70% mai rapid in comparatie cu echipele umane

Acest lucru sugereaza ca intreprinderile ar putea vedea cel mai mare randament imediat al investitiilor in AI prin implementarea sistemelor agentice alaturi de analiștii aflați la mijlocul carierei.

Operatorii de elită: Avantaj de viteza, nu de inlocuire a capacității

In randul celor mai buni performeri, diferenta dintre echipele de securitate cibernetica augmentate cu AI si expertii umani s-a redus semnificativ.

De exemplu:

• Cea mai buna echipa umana a rezolvat toate cele 36 de provocari, in timp ce cea mai buna echipa de securitate cibernetica augmentata cu AI a rezolvat 32 de provocari din 36
• În categoria celor mai performanți 5%, avantajul de rezolvare a scadut la 1,69 ori

Cu toate acestea, AI a oferit in continuare un avantaj major in ceea ce priveste viteza, echipele de securitate cibernetica augmentate cu AI rezolvand provocarile de trei sau patru ori mai repede.

„Paradoxul dificultatii” reveleaza unde AI se confrunta cu dificultati

Studiul a identificat, de asemenea, ceea ce cercetatorii numesc un „paradox al dificultatii” in performanta AI.

Avantajul AI creste odata cu complexitatea task-ului, pana la un anumit punct:

• Provocari foarte usoare: ~2,4 ori avantaj pentru echipele de securitate cibernetica augmentate cu AI
• Provocari de dificultate medie: 3,89 ori avantaj, zona de performanta maxima
• Provocari dificile: avantajul scade la 2,97 ori, reveland limitele in raționamentul AI

Anumite domenii creative, cum ar fi programarea si ingineria inversa, au aratat o apropiere de paritate intre expertii umani si sistemele de AI, subliniind domeniile in care intuiția umana si raționamentul nou sunt in continuare critice.

Pe domenii, performanta AI a variat foarte mult, de la 5,15 ori avantaj in task-urile de codare securizata la 1,68 ori in analiza digitala a urmelor.

O posibila criza a pipeline-ului de talente

Dincolo de castigurile de productivitate, raportul ridica o problema de resurse umane pe termen lung: AI ar putea perturba pipeline-ul de formare care produce viitorii experti in securitatea cibernetica.

Sarcinile de securitate cibernetica de nivel de intrare, folosite în mod tradițional pentru a antrena analistii juniori, sunt din ce in ce mai automatizate. Echipele de securitate cibernetica augmentate cu AI au avut performanțe semnificativ mai bune decat echipele umane la cele mai ușoare niveluri de dificultate, sugerand ca munca care a fost folosită în mod tradițional pentru a antrena noii analisti va fi din ce in ce mai mult realizata de catre automatizare.

Daca organizatiile automateaza prea mult munca de nivel de intrare, raportul avertizeaza ca riscă să creeze o „lipsă a nivelului intermediar” in pipeline-ul de talente, unde mai putini analisti dezvolta abilitatile necesare pentru a deveni experti seniori in securitate.

Implicatii pentru liderii de securitate

Pentru directorii de securitate si liderii de securitate, constatările sugereaza ca adoptarea uneltelor de AI nu mai este opțională.

Organizatiile care nu integreaza AI in operatiunile de securitate riscă să se confrunte cu adversari care folosesc deja AI pentru a accelera atacurile si a exploata vulnerabilitatile mai repede decat echipele traditionale pot raspunde.

Raportul recomanda o strategie pe trei nivele pentru integrarea AI:

• Reinstruiți personalul din rolurile de nivel începător pentru a se concentra pe guvernanța și validarea AI în locul sarcinilor manuale
• Implementati mai întâi AI alaturi de analiștii aflați la mijlocul carierei, unde castigurile de productivitate sunt cele mai mari
• Retineti talentele de elită si asociati-le cu copiloți de AI pentru a accelera raspunsul la incidente si analiza amenintarilor avansate

In final, raportul sugereaza ca viitorul securitatii cibernetice nu va fi AI versus oameni, ci oameni augmentati cu AI, functionand la viteza masinilor.