Hack The Box -vertailu: AI-vahvistetut tiimit suoriutuvat paremmin kuin ilman tekoälyä toimivat tietoturva-analyytikot

Uusi Hack The Box -tutkimus, joka on otsikoitu ”AI-vahvistettu vs. ainoastaan ihmisvoimin toimiva tietoturva-suorituskyky -vertailuraportti”, osoittaa, että AI-vahvistetut tietoturva-tiimit voivat suorittaa merkittävästi paremmin kuin ainoastaan ihmisvoimin toimivat tiimit, ja elite-tiimit voivat suorittaa tehtäviä jopa 4,1 kertaa nopeammin. Tulokset perustuvat NeuroGrid Capture the Flag (CTF) -kilpailun suoritusdataan, joka on yksi suurimmista todellisista vertailuista, joissa verrataan agenttipohjaisen tekoälyn tukemia tiimejä ja perinteisiä ihmisvoimin toimivia tietoturva-tehtäviä suorittavia tiimejä.

Vertailu analysoi dataa NeuroGrid Capture the Flag (CTF) -kilpailusta, johon ilmoittautui 1 337 ainoastaan ihmisvoimin toimivaa tiimiä ja 156 AI-agenttitiimiä. Näistä 958 ihmistiimiä ja 120 AI-tiimiä yritti aktiivisesti ratkaista 36 tietoturvahaastetta, jotka kattoivat yhdeksän teknistä alaa ja neljä vaikeustasoa.

Tulokset korostavat sekä AI-vahvistettujen tietoturva-toimintojen tuottavuusvoittoja että työvoiman haasteita, joita organisaatiot saattavat kohdata, kun automaatio muuttaa tapaa, jolla tietoturva-tiimit toimivat.

AI-vahvistetut tiimit saavuttavat mitattavia suorituskykyparannuksia

Vertailu osoittaa, että AI-agenttien integroiminen tietoturva-työnkulkuihin voi dramaattisesti lisätä tuotannon määrää, erityisesti kun ne yhdistetään kokeneiden ihmisten toimintaan.

Tärkeimmät löydökset ovat:

• Jopa 4,1 kertaa enemmän tuotantoa elite- AI-vahvistetuille tiimeille verrattuna ainoastaan ihmisvoimin toimiviin tiimeihin
• 1,4-kertaista tuottavuusparannusta kaikissa tiimeissä samassa aikajaksossa
• 70 % korkeampi haasteiden ratkaisuaste AI-vahvistetuille tiimeille
• 27 % ratkaisuaste AI-tiimeille verrattuna 16 %:iin parhaimmillaan toimiville ainoastaan ihmisvoimin toimiville tiimeille
• 3,2 kertaa korkeampi yleinen ratkaisuaste kaikissa osallistujissa

Hack The Boxin toimitusjohtaja ja perustaja Haris Pylarinos toteaa, että tulokset osoittavat, että AI voi dramaattisesti lisätä toiminnan nopeutta, mutta se edellyttää edelleen ihmisten valvontaa.

”AI voi nostaa tietoturvan suorituskyvyn tasoa, mutta se ei poista tarvetta ihmisten asiantuntemukselle,” Pylarinos toteaa. ”Organisaatioiden on kehitettävä AI:ta sujuvasti käyttävät tiimit ja työnkulut, joissa ihminen osallistuu toimintaan ja valvoo sitä voidakseen turvallisesti hyödyntää näitä etuja.”

Toisin kuin usein AI-arvioissa käytettävät synteettiset vertailut, kilpailu käytti ammattilaistason tietoturvahaasteita todellisen kilpailun paineessa, mikä tarjosi käytännön toimintaa realistisemmin vastaavan vertailun AI-tukea saavien ja ainoastaan ihmisvoimin toimivien tiimien välillä.

Ihmis-AI-hybridimalli nousee voittajaksi

Vaikka AI nopeutti dramaattisesti suorituskykyä, tutkimus osoitti, että hybridi-tiimit, jotka yhdistivät AI-agentit ihmisten toimintaan, tuottivat vahvimmat tulokset yleensä.

Kilpailussa:

• 73,3 % AI-vahvistetuista tiimeistä suoritti vähintään yhden haasteen, verrattuna 46 %:iin ainoastaan ihmisvoimin toimivista tiimeistä
• AI-agentit usein paransivat perustason tuottavuutta, mutta edellyttivät edelleen ihmisten validointia ja strategista ohjausta monimutkaisten tehtävien kohdalla

Tietoturva-johtajille ja tietoturva-ammattilaisille raportti korostaa, että AI:ta tulisi pitää ensisijaisesti voimavahvistimena, ei tietoturva-ammattilaisten korvikkeena.

AI:n vaikutus vaihtelee dramaattisesti taitotason mukaan

Yksi tärkeimmistä oivalluksista raportissa on, että AI vaikuttaa tietoturva-ammattilaisiin eri tavoin riippuen heidän kokemustasostaan.

Aloittelijat: Tuottavuuden illusio

Aloittelijoille AI voi toimia osaamisen sillanrakentajana, auttaen heitä ratkaisemaan haasteita, joiden ratkaiseminen olisi heille muuten vaikeaa. Raportti kuitenkin varoittaa, että tämä voi luoda väärän käsityksen tuottavuudesta, jos nuoremmat analyytikot eivät hallitse AI-tulosten tarkistamista tai agenttien työnkulkujen tehokasta ohjaamista.

Joissakin tapauksissa heikommin suorittavat AI-vahvistetut tiimit olivat jopa 12,5 % hitaampia, usein juuttuen tehottomiin silmukoihin, kun käyttäjillä ei ollut riittäviä valvontataitoja.

Keskitason ammattilaiset: AI:n paras käyttöalue

Suurimmat tuottavuusvoitot tapahtuivat keskitason analyytikoilla, erityisesti keskivaikeiden tehtävien kohdalla.

Tässä luokassa:

• AI:n etu huipentui 3,89-kertaiseen suorituskykyyn keskivaikeissa ongelmissa
• Keskitason tiimit kokivat 40–70 % nopeamman tehtävän suorittamisen verrattuna ainoastaan ihmisvoimin toimiviin tiimeihin

Tämä viittaa siihen, että yritykset voivat nähdä nopeimman tuoton AI-sijoituksilleen käyttämällä agenteja keskitason analyytikoiden rinnalla.

Elite-ammattilaiset: Nopeus-etua, ei korvaavuutta

Elite-ammattilaisten joukossa ero AI-vahvistettujen tiimien ja ihmisten välillä kapeni merkittävästi.

Esimerkiksi:

• Paras ihmisryhmä ratkaisi kaikki 36 haastetta, kun taas paras AI-vahvistettu tiimi ratkaisi 32 haastetta 36:sta
• 5 %:n parhaan suorituskyvyn luokassa ratkaisuasteen etu kutistui 1,69-kertaiseksi

AI tarjosi kuitenkin edelleen merkittävän edun nopeudessa, ja elite-AI-vahvistetut tiimit ratkaisivat haasteita kolme-neljä kertaa nopeammin.

”Vaikeusparadoksi” paljastaa, missä AI kamppailee

Tutkimus paljasti myös, mitä tutkijat kutsuvat ”vaikeusparadoksiksi” AI-suorituskyvyssä.

AI:n etu kasvaa tehtävän monimutkaisuuden mukaan – tiettyyn pisteeseen asti:

• Hyvin helppo haaste: ~2,4-kertaa etua AI-tiimeille
• Keskivaikea haaste: 3,89-kertaa etua, suorituskyvyn huippu
• Vaikea haaste: etu laskee 2,97-kertaiseksi, paljastaen AI:n päättelyn rajoitukset

Tiettyjen luovien alojen kohdalla, kuten ohjelmoinnissa ja reverse-engineeringissä, huippuosaajat ja AI-järjestelmät ylsivät lähes samoihin tuloksiin, korostaen alueita, joilla ihmisten intuitio ja uudenlainen päättely ovat edelleen kriittisiä.

Alueittain AI-suorituskyky vaihteli laajasti, aina 5,15-kertaisesta etuudesta turvallisen koodauksen tehtävissä 1,68-kertaiseen etuun digitaalisen forensiikan kohdalla.

Mahdollinen tietoturva-ammattilaisten pula

Tuottavuusvoittojen lisäksi raportti nostaa pitkän aikavälin työvoimahaasteen: AI saattaa häiritä koulutusputkea, joka tuottaa tulevia tietoturva-asiantuntijoita.

Aloittelijoiden tietoturvatehtävät, joita perinteisesti käytetään nuorempien analyytikoiden kouluttamiseen, ovat yhä helpommin automatisoitavissa. AI-tiimit suorittivat merkittävästi paremmin kuin ainoastaan ihmisvoimin toimivat tiimit helpoimmissa haasteissa, mikä viittaa siihen, että automaatio saattaa hoitaa yhä suuremman osan työstä, jolla perinteisesti koulutetaan uusia analyytikoita.

Jos organisaatiot automatisoivat liikaa alkuvaiheen työtä, raportti varoittaa, että he saattavat luoda ”puuttuvan keskiosan” tietoturva-ammattilaisten koulutusputkessa, jossa vähemmän analyytikkoja kehittää taitoja, joita tarvitaan senior-tietoturva-asiantuntijaksi tulemiseen.

Johtopäätökset tietoturva-johtajille

Tietoturva-johtajille ja yritysten tietoturva-ammattilaisille tulokset viittaavat siihen, että AI-työkalujen omaksuminen ei ole enää vapaaehtoista.

Organisaatiot, jotka eivät integroi AI:ta tietoturva-toimintoonsa, saattavat joutua vastakkain vihollisten kanssa, jotka jo hyödyntävät AI:ta hyökkäysten nopeuttamiseen ja haavoittuvuuksien hyödyntämiseen nopeammin kuin perinteiset tiimit voivat reagoida.

Raportti suosittelee kolmitasoista strategiaa AI:n integroimiseen:

• Kouluttaa aloittelijat uudelleen keskittymään AI-hallintaan ja validointiin, ei enää manuaalisiin tehtäviin
• Ottaa AI:n käyttöön ensin keskitason analyytikoilla, joilla tuottavuusvoitot ovat suurimmat
• Pitää huippuosaajat ja parittaa heidät AI-avustajien kanssa nopeuttamaan tietoturvapoikkeamiin reagointia ja kehittynyttä uhka-analyysiä

Lopulta raportti viittaa siihen, että tietoturvan tulevaisuus ei ole AI vs. ihmiset, vaan AI-vahvistetut ihmiset, jotka toimivat koneen nopeudella.