Hack The Box Benchmark: I Team di Sicurezza Informatica con Intelligenza Artificiale Superano gli Analisti di Sicurezza Umani

Uno studio recente di Hack The Box intitolato “Rapporto di Benchmark sulle Prestazioni della Sicurezza Informatica con Intelligenza Artificiale vs Umani” scopre che le squadre di sicurezza informatica con intelligenza artificiale possono superare significativamente le squadre umane, con le squadre élite che completano i compiti fino a 4,1 volte più velocemente. I risultati si basano sui dati delle prestazioni del NeuroGrid Capture the Flag (CTF) competizione, una delle più grandi prove del mondo reale che confronta le squadre di sicurezza informatica con intelligenza artificiale e le squadre umane tradizionali.

Il benchmark ha analizzato i dati della NeuroGrid Capture the Flag (CTF) competizione, che ha incluso 1.337 squadre umane e 156 squadre con intelligenza artificiale registrate, con 958 squadre umane e 120 squadre con intelligenza artificiale che hanno tentato di superare le sfide in 36 aree di sicurezza informatica che coprono nove domini tecnici e quattro livelli di difficoltà.

I risultati evidenziano sia i guadagni di produttività delle operazioni di sicurezza informatica con intelligenza artificiale che le sfide del lavoro che le organizzazioni potrebbero affrontare mentre l’automazione ridisegna il modo in cui le squadre di sicurezza operano.

Le Squadre di Sicurezza Informatica con Intelligenza Artificiale Offrono Miglioramenti delle Prestazioni Misurabili

Il benchmark dimostra che l’integrazione di agenti di intelligenza artificiale nei flussi di lavoro di sicurezza informatica può aumentare drasticamente la produttività, in particolare quando abbinata a operatori umani esperti.

I principali risultati includono:

• Fino a 4,1 volte più output per le squadre élite con intelligenza artificiale rispetto alle squadre umane
• 1,4 volte miglioramento della produttività in tutte le squadre nello stesso intervallo di tempo
• 70% tasso di risoluzione delle sfide più alto per le squadre con intelligenza artificiale
• 27% tasso di risoluzione per le squadre con intelligenza artificiale rispetto al 16% per le migliori squadre umane
• 3,2 volte più alto rapporto di risoluzione complessivo in tutte le partecipanti

Secondo il CEO e fondatore di Hack The Box, Haris Pylarinos, i risultati mostrano che l’intelligenza artificiale può aumentare drasticamente la velocità operativa, ma deve ancora essere abbinata alla supervisione umana.

“L’intelligenza artificiale può aumentare il livello di prestazione della sicurezza informatica, ma non elimina la necessità di competenza umana,” Pylarinos ha detto. “Le organizzazioni devono sviluppare squadre con intelligenza artificiale e flussi di lavoro con umani nel loop per sbloccare in modo sicuro questi benefici.”

A differenza dei benchmark sintetici spesso utilizzati nelle valutazioni dell’intelligenza artificiale, la competizione ha utilizzato sfide di sicurezza informatica di livello professionale sotto pressione di competizione reale, offrendo un confronto più realistico tra le squadre con intelligenza artificiale e le squadre umane.

Il Modello Ibrido Uomo-Intelligenza Artificiale Emergere come la Strategia Vincente

Mentre l’intelligenza artificiale ha accelerato notevolmente le prestazioni, lo studio ha scoperto che le squadre ibride che combinano agenti di intelligenza artificiale con operatori umani hanno prodotto i risultati più forti complessivi.

Nella competizione:

• 73,3% delle squadre con intelligenza artificiale ha completato almeno una sfida, rispetto al 46% delle squadre umane
• Gli agenti di intelligenza artificiale hanno spesso migliorato la produttività di base, ma hanno ancora richiesto la validazione e la direzione strategica umana quando affrontavano compiti complessi

Per i CISO e i leader della sicurezza, il rapporto sottolinea che l’intelligenza artificiale dovrebbe essere vista principalmente come un moltiplicatore di forza, non come un sostituto per i professionisti della sicurezza informatica.

L’Impatto dell’Intelligenza Artificiale Varia notevolmente in base al Livello di Competenza

Una delle intuizioni più importanti del rapporto è che l’intelligenza artificiale colpisce i professionisti della sicurezza informatica in modo diverso a seconda del loro livello di esperienza.

Carriera Iniziale: L’“Illusione della Produttività”

Per gli operatori di livello iniziale, l’intelligenza artificiale può agire come un ponte di competenza, aiutandoli a risolvere sfide che altrimenti potrebbero avere difficoltà. Tuttavia, il rapporto avverte che ciò può creare una falsa sensazione di produttività se gli analisti junior mancano della competenza per verificare gli output dell’intelligenza artificiale o guidare i flussi di lavoro degli agenti in modo efficace.

In alcuni casi, le squadre con intelligenza artificiale a bassa prestazione erano in realtà 12,5% più lente, spesso bloccate in loop inefficienti quando gli operatori mancavano di sufficienti competenze di supervisione.

Carriera di Mezzo: Il Punto Dolce per l’Intelligenza Artificiale

I maggiori guadagni di produttività si sono verificati tra gli analisti di carriera di mezzo, in particolare quando affrontavano compiti di complessità media.

In questa categoria:

• L’advantage dell’intelligenza artificiale ha raggiunto un picco di 3,89 volte il miglioramento delle prestazioni sui problemi di media difficoltà
• Le squadre di livello medio hanno sperimentato un completamento dei compiti dal 40% al 70% più veloce rispetto ai loro omologhi umani

Ciò suggerisce che le imprese potrebbero vedere il ritorno più immediato sugli investimenti in intelligenza artificiale schierando sistemi agentici accanto agli analisti di livello medio.

Operatori Élite: Vantaggio di Velocità, non Sostituzione delle Capacità

Tra i migliori performer, il divario tra le squadre con intelligenza artificiale e gli esperti umani si è notevolmente ridotto.

Ad esempio:

• La migliore squadra umana ha risolto tutte le 36 sfide, mentre la migliore squadra con intelligenza artificiale ha completato 32 su 36
• Al livello di prestazione del 5% superiore, il vantaggio di risoluzione si è ridotto a 1,69 volte

Tuttavia, l’intelligenza artificiale ha ancora offerto un vantaggio significativo in termini di velocità, con le squadre élite con intelligenza artificiale che hanno risolto le sfide tre o quattro volte più velocemente.

La “Paradosso della Difficoltà” Rivela Dove l’Intelligenza Artificiale Lotta

Lo studio ha anche identificato ciò che i ricercatori chiamano un “paradosso della difficoltà” nelle prestazioni dell’intelligenza artificiale.

Il vantaggio dell’intelligenza artificiale aumenta con la complessità del compito—fino a un certo punto:

• Sfide molto facili: ~2,4 volte vantaggio per le squadre con intelligenza artificiale
• Sfide di media difficoltà: 3,89 volte vantaggio, la zona di prestazione più alta
• Sfide difficili: il vantaggio scende a 2,97 volte, rivelando i limiti del ragionamento dell’intelligenza artificiale

Alcuni domini creativi—come la codifica e l’ingegneria inversa—hanno mostrato una parità quasi totale tra gli esseri umani élite e i sistemi di intelligenza artificiale, evidenziando aree in cui l’intuizione umana e il ragionamento innovativo rimangono critici.

In tutti i domini, le prestazioni dell’intelligenza artificiale sono variate notevolmente, oscillando tra 5,15 volte vantaggio nelle attività di codifica sicura e 1,68 nella forensic digitale.

Una Potenziale Crisi della Pipeline di Talenti

Oltre ai guadagni di produttività, il rapporto solleva una preoccupazione a lungo termine per il mercato del lavoro: l’intelligenza artificiale potrebbe interrompere la pipeline di formazione che produce futuri esperti di sicurezza informatica.

I compiti di sicurezza informatica di livello iniziale—tradizionalmente utilizzati per formare gli analisti junior—are sempre più automatizzabili. Le squadre con intelligenza artificiale hanno superato notevolmente le squadre umane nei livelli di sfida più facili, suggerendo che il lavoro storicamente utilizzato per formare i nuovi analisti potrebbe essere gestito sempre più dall’automazione.

Se le organizzazioni automatizzano troppo il lavoro di livello iniziale, il rapporto avverte che rischiano di creare un “vuoto di mezzo” nella pipeline di talenti, dove meno analisti sviluppano le competenze necessarie per diventare esperti di sicurezza senior.

Implicazioni per i Leader della Sicurezza

Per i CISO e i leader della sicurezza aziendale, i risultati suggeriscono che l’adozione di strumenti di intelligenza artificiale non è più opzionale.

Le organizzazioni che non integrano l’intelligenza artificiale nelle loro operazioni di sicurezza potrebbero affrontare avversari che già utilizzano l’intelligenza artificiale per accelerare gli attacchi e sfruttare le vulnerabilità più velocemente di quanto le squadre tradizionali possano rispondere.

Il rapporto raccomanda una strategia a tre livelli per l’integrazione dell’intelligenza artificiale:

• Riqualificare i ruoli di livello iniziale per concentrarsi sulla governance e sulla convalida dell’intelligenza artificiale piuttosto che sui compiti manuali
• Schierare l’intelligenza artificiale accanto agli analisti di carriera di mezzo, dove i guadagni di produttività sono più alti
• Mantenere i talenti élite e abbinarli con copiloti di intelligenza artificiale per accelerare la risposta agli incidenti e l’analisi delle minacce avanzate

In ultima analisi, il rapporto suggerisce che il futuro della sicurezza informatica non sarà l’intelligenza artificiale contro gli esseri umani, ma esseri umani con intelligenza artificiale che operano alla velocità delle macchine.