Hack The Box Benchmark : Les équipes renforcées par l’IA surpassent les analystes de sécurité humains

Une nouvelle étude de Hack The Box intitulée « Rapport de benchmark de performance de cybersécurité AI-améliorée vs humaine uniquement » révèle que les équipes de cybersécurité renforcées par l’IA peuvent surpasser de manière significative les équipes humaines uniquement, avec des équipes élites complétant des tâches jusqu’à 4,1 fois plus vite. Les résultats sont basés sur des données de performance du concours NeuroGrid Capture the Flag (CTF), l’un des plus grands benchmarks réels comparant les équipes assistées par l’IA et les équipes humaines traditionnelles effectuant des tâches de cybersécurité.

Le benchmark a analysé les données du concours NeuroGrid Capture the Flag (CTF), qui comprenait 1 337 équipes humaines uniquement et 156 équipes d’agents IA enregistrées, avec 958 équipes humaines et 120 équipes IA tentant activement des défis à travers 36 défis de cybersécurité couvrant neuf domaines techniques et quatre niveaux de difficulté.

Les résultats mettent en évidence à la fois les gains de productivité des opérations de cybersécurité améliorées par l’IA et les défis de main-d’œuvre émergents que les organisations pourraient rencontrer à mesure que l’automatisation transforme la façon dont les équipes de sécurité opèrent.

Les équipes renforcées par l’IA offrent des gains de performance mesurables

Le benchmark démontre que l’intégration d’agents IA dans les flux de travail de cybersécurité peut augmenter considérablement la production, en particulier lorsqu’ils sont associés à des opérateurs humains expérimentés.

Les principales conclusions incluent :

• Jusqu’à 4,1 fois plus de production pour les équipes élites améliorées par l’IA par rapport aux équipes humaines uniquement
• Amélioration de la productivité de 1,4 fois pour toutes les équipes au cours de la même fenêtre de temps
• Taux de résolution de défis 70 % plus élevé pour les équipes améliorées par l’IA
• Taux de résolution de 27 % pour les équipes IA par rapport à 16 % pour les meilleures équipes humaines uniquement
• Rapport de résolution global 3,2 fois plus élevé pour tous les participants

Selon le PDG et fondateur de Hack The Box, Haris Pylarinos, les résultats montrent que l’IA peut considérablement augmenter la vitesse opérationnelle, mais doit toujours être associée à une surveillance humaine.

« L’IA peut élever le niveau de performance de la cybersécurité, mais elle n’élimine pas le besoin d’expertise humaine, » a déclaré Pylarinos. « Les organisations doivent développer des équipes fluentes en IA et des flux de travail avec intervention humaine pour débloquer en toute sécurité ces avantages. »

Contrairement aux benchmarks synthétiques souvent utilisés dans les évaluations de l’IA, le concours a utilisé des défis de cybersécurité de niveau professionnel sous une pression de concurrence réelle, offrant une comparaison plus réaliste entre les équipes assistées par l’IA et les équipes humaines.

Le modèle hybride humain-IA émerge comme la stratégie gagnante

Alors que l’IA a considérablement accéléré les performances, l’étude a constaté que les équipes hybrides combinant des agents IA avec des opérateurs humains ont produit les résultats les plus solides dans l’ensemble.

Dans le concours :

• 73,3 % des équipes améliorées par l’IA ont complété au moins un défi, contre 46 % des équipes humaines uniquement
• Les agents IA ont souvent amélioré la productivité de base, mais ont toujours nécessité une validation et une direction stratégique humaines lorsqu’ils étaient confrontés à des tâches complexes

Pour les DSI et les dirigeants de la sécurité, le rapport souligne que l’IA devrait être considérée principalement comme un facteur de multiplication, et non comme un remplacement des professionnels de la cybersécurité.

L’impact de l’IA varie considérablement en fonction du niveau de compétence

L’une des conclusions les plus importantes du rapport est que l’IA affecte les praticiens de la cybersécurité différemment en fonction de leur niveau d’expérience.

Début de carrière : L’« illusion de productivité »

Pour les opérateurs débutants, l’IA peut agir comme un pont de compétence, les aidant à résoudre des défis qu’ils pourraient autrement avoir du mal à relever. Cependant, le rapport met en garde contre le fait que cela peut créer une fausse impression de productivité si les analystes juniors manquent de l’expertise pour vérifier les sorties de l’IA ou guider les flux de travail des agents de manière efficace.

Dans certains cas, les équipes améliorées par l’IA les moins performantes étaient en réalité 12,5 % plus lentes, souvent bloquées dans des boucles inefficaces lorsque les opérateurs manquaient de compétences de surveillance suffisantes.

Carrière intermédiaire : Le point chaud pour l’IA

Les plus grands gains de productivité se sont produits parmi les analystes de carrière intermédiaire, en particulier lorsqu’ils abordaient des tâches de complexité moyenne.

Dans cette catégorie :

• L’avantage de l’IA a culminé à 3,89 fois l’amélioration des performances pour les problèmes de difficulté moyenne
• Les équipes de niveau intermédiaire ont connu une réalisation de tâches 40 à 70 % plus rapide par rapport à leurs homologues humains uniquement

Cela suggère que les entreprises pourraient voir le plus grand retour sur investissement dans l’IA en déployant des systèmes agents aux côtés des analystes de niveau intermédiaire.

Opérateurs élites : Avantage de vitesse, et non de remplacement de capacité

Parmi les meilleures équipes, l’écart entre les équipes améliorées par l’IA et les experts humains s’est considérablement rétréci.

Par exemple :

• La meilleure équipe humaine a résolu tous les 36 défis, tandis que la meilleure équipe améliorée par l’IA a complété 32 défis sur 36
• À l’échelon de performance du top 5 %, l’avantage de résolution s’est réduit à 1,69 fois

Cependant, l’IA a toujours offert un avantage majeur en termes de vitesse, les équipes améliorées par l’IA élites résolvant des défis trois à quatre fois plus vite.

La « paradoxe de difficulté » révèle où l’IA lutte

L’étude a également identifié ce que les chercheurs appellent un « paradoxe de difficulté » dans les performances de l’IA.

L’avantage de l’IA augmente avec la complexité des tâches — jusqu’à un certain point :

• Défis très faciles : ~2,4 fois l’avantage pour les équipes IA
• Défis moyens : 3,89 fois l’avantage, la zone de performance de pointe
• Défis difficiles : l’avantage chute à 2,97 fois, révélant les limites du raisonnement de l’IA

Certains domaines créatifs — tels que la programmation et l’ingénierie inverse — ont montré une parité quasi égale entre les humains élites et les systèmes IA, mettant en évidence les domaines où l’intuition humaine et le raisonnement novateur restent critiques.

À travers les domaines, les performances de l’IA ont varié considérablement, allant de 5,15 fois l’avantage dans les tâches de codage sécurisé à 1,68 dans les analyses numériques.

Une crise potentielle de pipeline de talents

Au-delà des gains de productivité, le rapport soulève une préoccupation à long terme pour la main-d’œuvre : l’IA peut perturber le pipeline de formation qui produit les futurs experts en cybersécurité.

Les tâches de sécurité de niveau d’entrée — traditionnellement utilisées pour former les analystes juniors — sont de plus en plus automatisables. Les équipes IA ont considérablement surpassé les équipes humaines sur les niveaux de défis les plus faciles, suggérant que le travail historiquement utilisé pour former de nouveaux analystes pourrait de plus en plus être géré par l’automatisation.

Si les organisations automatisent trop de travail de niveau d’entrée, le rapport met en garde contre le risque de créer un « milieu manquant » dans le pipeline de talents, où moins d’analystes développent les compétences nécessaires pour devenir des experts en sécurité seniors.

Implications pour les dirigeants de la sécurité

Pour les DSI et les dirigeants de la sécurité d’entreprise, les conclusions suggèrent qu’adopter des outils IA n’est plus optionnel.

Les organisations qui ne parviennent pas à intégrer l’IA dans leurs opérations de sécurité pourraient faire face à des adversaires qui utilisent déjà l’IA pour accélérer les attaques et exploiter les vulnérabilités plus rapidement que les équipes traditionnelles ne peuvent répondre.

Le rapport recommande une stratégie d’intégration de l’IA à trois niveaux :

• Retrainez les rôles de niveau d’entrée pour se concentrer sur la gouvernance et la validation de l’IA plutôt que sur les tâches manuelles
• Deployez l’IA aux côtés des analystes de carrière intermédiaire en premier, où les gains de productivité sont les plus élevés
• Retenez les talents élites et associez-les à des copilotes IA pour accélérer la réponse aux incidents et l’analyse des menaces avancées

En fin de compte, le rapport suggère que l’avenir de la cybersécurité ne sera pas l’IA versus les humains — mais les humains améliorés par l’IA opérant à la vitesse des machines.