Hack The Box -mittaus: AI-vahvistetut tiimit suorittavat mittavasti paremmin kuin ainoastaan ihmisten muodostamat tietoturva-analyytikot

Uusi Hack The Box -tutkimus, joka on otsikoitu ”AI-vahvistettu vs. ainoastaan ihmisvoimin toimiva tietoturva-suorituskyky -vertailuraportti”, osoittaa, että AI-vahvistetut tietoturva-tiimit voivat suorittaa merkittävästi paremmin kuin ainoastaan ihmisvoimin toimivat tiimit, ja elite-tiimit voivat suorittaa tehtäviä jopa 4,1 kertaa nopeammin. Tulokset perustuvat NeuroGrid Capture the Flag (CTF) -kilpailun suoritusdataan, joka on yksi suurimmista todellisista vertailuista, joissa verrataan toiminnallisia AI-avusteisia tiimejä ja perinteisiä ihmisvoimin toimivia tietoturva-tehtäviä suorittavia tiimejä.

Vertailu analysoi dataa NeuroGrid Capture the Flag (CTF) -kilpailusta, johon osallistui 1 337 ainoastaan ihmisvoimin toimivaa tiimiä ja 156 AI-agenttia, ja 958 ihmisvoimin toimivaa tiimiä ja 120 AI-tiimiä yrittivät aktiivisesti ratkaista haasteita 36 tietoturva-haasteen ja yhdeksän teknisen alan ja neljän vaikeustason yli.

Tulokset korostavat sekä AI-vahvistettujen tietoturva-toimintojen tuottavuusvoittoja että työvoiman haasteita, joita organisaatiot saattavat kohtaa, kun automaatio muuttaa tapaa, jolla tietoturva-tiimit toimivat.

AI-vahvistetut tiimit toimivat mittavasti paremmin

Vertailu osoittaa, että AI-agenttien integroiminen tietoturva-työnkulkuihin voi dramaattisesti lisätä tuotannon määrää, erityisesti kun ne yhdistetään kokeneiden ihmisten toimintaan.

Tärkeimmät löydökset ovat:

• Jopa 4,1 kertaa enemmän tuotantoa elite- AI-vahvistetuille tiimeille verrattuna ainoastaan ihmisvoimin toimiviin tiimeihin
• 1,4-kertaista tuottavuusparannusta kaikissa tiimeissä samassa aikajaksossa
• 70 % korkeampi haasteiden ratkaisuaste AI-vahvistetuille tiimeille
• 27 % ratkaisuaste AI-tiimeille verrattuna 16 %:iin parhaimmillaan toimiville ainoastaan ihmisvoimin toimiville tiimeille
• 3,2 kertaa korkeampi yleinen ratkaisuaste kaikissa osallistujissa

Hack The Boxin toimitusjohtaja ja perustaja Haris Pylarinos toteaa, että tulokset osoittavat, että AI voi dramaattisesti lisätä toiminnan nopeutta, mutta se edellyttää edelleen ihmisten valvontaa.

”AI voi nostaa tietoturvan suorituskyvyn tasoa, mutta se ei poista tarvetta ihmisten asiantuntemukselle,” Pylarinos toteaa. ”Organisaatioiden on kehitettävä AI:ta osaavat tiimit ja ihmisten osallistumista työnkulkuihin voidakseen turvallisesti hyödyntää näitä etuja.”

Toisin kuin usein AI-arvioissa käytettävät syntetiset vertailut, kilpailu käytti ammattilaisten tietoturva-haasteita, jotka oli suunniteltu todellisen kilpailun paineessa, tarjoten enemmän toiminnallista vertailua AI-tukea saavien ja ainoastaan ihmisvoimin toimivien tiimien välillä.

Ihmis-AI-hybridimalli nousee voittajaksi

Vaikka AI nopeutti dramaattisesti suorituskykyä, tutkimus osoitti, että hybridi-tiimit, jotka yhdistivät AI-agentit ihmisten toimintaan, tuottivat vahvimmat tulokset yleensä.

Kilpailussa:

• 73,3 % AI-vahvistetuista tiimeistä suoritti vähintään yhden haasteen, verrattuna 46 %:iin ainoastaan ihmisvoimin toimivista tiimeistä
• AI-agentit usein paransivat perustuotannon, mutta edellyttivät edelleen ihmisten validointia ja strategista ohjausta monimutkaisten tehtävien kohdalla

Tietoturva-johtajille ja tietoturva-ammattilaisille raportti korostaa, että AI:ta tulisi pitää ensisijaisesti voimavahvistimena, ei tietoturva-ammattilaisten korvikkeena.

AI:n vaikutus vaihtelee dramaattisesti taitotason mukaan

Yksi tärkeimmistä oivalluksista raportissa on, että AI vaikuttaa tietoturva-ammattilaisiin eri tavoin riippuen heidän kokemustasostaan.

Aloittelijat: Tuottavuuden illusio

Aloittelijoille AI voi toimia osaamisen sillanrakentajana, auttaen heitä ratkaisemaan haasteita, joita he muuten ehkä kamppailevat. Raportti kuitenkin varoittaa, että tämä voi luoda väärän käsityksen tuottavuudesta, jos nuoremmat analyytikot eivät omista asiantuntemusta AI-tulosten vahvistamiseen tai ohjaamiseen tehokkaasti.

Joidenkin tapauksissa heikommin suorittavat AI-vahvistetut tiimit olivat jopa 12,5 % hitaampia, usein jumiutuen tehokkaiden silmukoiden kanssa, kun operoijat eivät omistaneet riittäviä valvontataitoja.

Keskitason ammattilaiset: AI:n makea paikka

Suurimmat tuottavuusvoitot tapahtuivat keskitason analyytikoilla, erityisesti keskivaikeiden tehtävien kohdalla.

Tässä luokassa:

• AI-etua huipentui 3,89-kertaiseen suorituskykyyn keskivaikeissa ongelmissa
• Keskitason tiimit kokivat 40–70 % nopeamman tehtävän suorittamisen verrattuna ainoastaan ihmisvoimin toimiviin tiimeihin

Tämä viittaa siihen, että yritykset voivat nähdä nopeimman palautteen AI-sijoituksistaan käyttämällä agenteja keskitason analyytikoiden rinnalla.

Elite-ammattilaiset: Nopeus-etua, ei korvaavuutta

Elite-ammattilaisten joukossa ero AI-vahvistettujen tiimien ja ihmisten välillä kapeni merkittävästi.

Esimerkiksi:

• Paras ihmisryhmä ratkaisi kaikki 36 haastetta, kun taas paras AI-vahvistettu tiimi ratkaisi 32 haastetta 36:sta
• 5 %:n parhaan suorituskyvyn luokassa ratkaisuasteen etu kutistui 1,69-kertaiseksi

AI tarjosi kuitenkin edelleen merkittävän etun nopeudessa, ja elite-AI-vahvistetut tiimit ratkaisivat haasteita kolme-neljä kertaa nopeammin.

”Vaikeusparadoksi” paljastaa, missä AI kamppailee

Tutkimus paljasti myös, mitä tutkijat kutsuvat ”vaikeusparadoksiksi” AI-suorituskyvyssä.

AI-etua kasvaa tehtävän monimutkaisuuden mukaan – tiettyyn pisteeseen asti:

• Hyvin helppo haaste: ~2,4-kertaa etua AI-tiimeille
• Keskivaikea haaste: 3,89-kertaa etua, suorituskyvyn huippu
• Vaikea haaste: etu laskee 2,97-kertaiseksi, paljastaen AI-päätöksenteon rajoitukset

Tiettyjen luovien alojen kohdalla, kuten ohjelmoinnissa ja reverse-engineeringissä, nähtiin lähes tasapuolisuutta ihmis- ja AI-järjestelmien välillä, korostaen alueita, joilla ihmisten intuitio ja uudet päätöksentapamekanismit ovat edelleen kriittisiä.

Alueittain AI-suorituskyky vaihteli laajasti, aina 5,15-kertaisesta etuudesta turvallisen koodauksen tehtävissä 1,68-kertaiseen etuun digitaalisen forensiikan kohdalla.

Mahdollinen tietoturva-ammattilaisten pula

Tuottavuusvoittojen lisäksi raportti nostaa pitkän aikavälin työvoimahaasteen: AI saattaa häiritä koulutusputkea, joka tuottaa tulevia tietoturva-asiantuntijoita.

Aloittelijoiden tietoturvatehtävät, joita perinteisesti käytetään nuorempien analyytikoiden kouluttamiseen, ovat yhä enemmän automaattisia. AI-tiimit suorittivat merkittävästi paremmin kuin ainoastaan ihmisvoimin toimivat tiimit helpoimmissa haasteissa, viitatessa siihen, että työ, jota perinteisesti käytetään nuorempien analyytikoiden kouluttamiseen, saattaa yhä enemmän käsitellä automaatio.

Jos organisaatiot automatisoivat liikaa alkuvaiheen työtä, raportti varoittaa, että he saattavat luoda ”puuttuvan keskiosan” tietoturva-ammattilaisten koulutusputkessa, jossa vähemmän analyytikkoja kehittää taitoja, joita tarvitaan senior-tietoturva-asiantuntijaksi tulemiseen.

Johtopäätökset tietoturva-johtajille

Tietoturva-johtajille ja yritysten tietoturva-ammattilaisille tulokset viittaavat siihen, että AI-työkalujen omaksuminen ei ole enää vapaaehtoista.

Organisaatiot, jotka eivät integroi AI:ta tietoturva-toimintoonsa, saattavat joutua vastakkain vihollisten kanssa, jotka jo hyödyntävät AI:ta hyökkäysten nopeuttamiseen ja haavoittuvuuksien hyödyntämiseen nopeammin kuin perinteiset tiimit voivat reagoida.

Raportti suosittelee kolmitasoisia strategioita AI:n integroimiseen:

• Kouluttaa aloittelijat keskittymään AI-hallintaan ja validointiin, ei enää manuaalisiin tehtäviin
• Ottaa AI:n käyttöön ensin keskitason analyytikoilla, joilla tuottavuusvoitot ovat suurimmat
• Pitää huippuosaajat ja parittaa heidät AI-lentäjien kanssa nopeuttamaan vastauskykyä ja edistynyttä uhkien analyysiä

Lopulta raportti viittaa siihen, että tietoturvan tulevaisuus ei ole AI vs. ihmiset, vaan AI-vahvistetut ihmiset, jotka toimivat koneen nopeudella.