Hack The Box Benchmark: Equipos de seguridad cibernética mejorados con inteligencia artificial superan a los analistas de seguridad cibernética humanos

Un nuevo estudio de Hack The Box titulado “Informe de benchmark de rendimiento de seguridad cibernética mejorada con inteligencia artificial vs. solo humanos” encuentra que los equipos de seguridad cibernética mejorados con inteligencia artificial pueden superar significativamente a los equipos solo humanos, con equipos élite que completan tareas hasta 4,1 veces más rápido. Los hallazgos se basan en datos de rendimiento de la competencia NeuroGrid Capture the Flag (CTF), uno de los benchmarks más grandes del mundo real que compara equipos asistidos por inteligencia artificial y equipos humanos tradicionales que realizan tareas de seguridad cibernética.

El benchmark analiza datos de la competencia NeuroGrid Capture the Flag (CTF), que incluyó 1.337 equipos solo humanos y 156 equipos de agentes de inteligencia artificial registrados, con 958 equipos humanos y 120 equipos de inteligencia artificial que intentaron activamente desafíos a través de 36 desafíos de seguridad cibernética que abarcan nueve dominios técnicos y cuatro niveles de dificultad.

Los resultados destacan tanto las ganancias de productividad de las operaciones de seguridad cibernética mejoradas con inteligencia artificial como los desafíos emergentes de la fuerza laboral que las organizaciones pueden enfrentar a medida que la automatización cambia la forma en que operan los equipos de seguridad.

Equipos de seguridad cibernética mejorados con inteligencia artificial ofrecen ganancias de rendimiento medibles

El benchmark demuestra que integrar agentes de inteligencia artificial en flujos de trabajo de seguridad cibernética puede aumentar dramáticamente la producción, particularmente cuando se combinan con operadores humanos experimentados.

Los hallazgos clave incluyen:

• Hasta 4,1 veces más de producción para equipos élite mejorados con inteligencia artificial en comparación con equipos solo humanos
• Mejora de la productividad del 1,4 veces en todos los equipos durante la misma ventana de tiempo
• Tasa de resolución de desafíos un 70% más alta para equipos mejorados con inteligencia artificial
• Tasa de resolución del 27% para equipos de inteligencia artificial en comparación con el 16% para los mejores equipos solo humanos
• Relación de resolución general un 3,2 veces más alta en todos los participantes

Según el CEO y fundador de Hack The Box, Haris Pylarinos, los resultados muestran que la inteligencia artificial puede aumentar dramáticamente la velocidad operativa, pero aún debe combinarse con la supervisión humana.

“La inteligencia artificial puede elevar el nivel de rendimiento de la seguridad cibernética, pero no elimina la necesidad de experiencia humana”, dijo Pylarinos. “Las organizaciones deben desarrollar equipos con fluidez en inteligencia artificial y flujos de trabajo con humanos en el bucle para desbloquear estos beneficios de manera segura”.

A diferencia de los benchmarks sintéticos a menudo utilizados en las evaluaciones de inteligencia artificial, la competencia utilizó desafíos de seguridad cibernética de nivel profesional bajo presión de competencia real, lo que ofrece una comparación más realista entre equipos asistidos por inteligencia artificial y equipos humanos.

El modelo híbrido de humanos y inteligencia artificial emerge como la estrategia ganadora

Si bien la inteligencia artificial aceleró significativamente el rendimiento, el estudio encontró que los equipos híbridos que combinan agentes de inteligencia artificial con operadores humanos produjeron los resultados más fuertes en general.

En la competencia:

• El 73,3% de los equipos mejorados con inteligencia artificial completó al menos un desafío, en comparación con el 46% de los equipos solo humanos
• Los agentes de inteligencia artificial a menudo mejoraron la productividad básica, pero aún requirieron validación y dirección estratégica humana cuando se enfrentaban a tareas complejas

Para los directores de seguridad y líderes de seguridad, el informe enfatiza que la inteligencia artificial debe considerarse principalmente como un multiplicador de fuerza, y no como un reemplazo de los profesionales de la seguridad cibernética.

El impacto de la inteligencia artificial varía dramáticamente según el nivel de habilidad

Una de las ideas más importantes del informe es que la inteligencia artificial afecta a los profesionales de la seguridad cibernética de manera diferente según su nivel de experiencia.

Carrera temprana: La “ilusión de productividad”

Para los operadores de entrada, la inteligencia artificial puede actuar como un puente de competencia, ayudándolos a resolver desafíos con los que de otro modo podrían tener dificultades. Sin embargo, el informe advierte que esto puede crear una falsa sensación de productividad si los analistas junior carecen de la experiencia para verificar las salidas de la inteligencia artificial o guiar los flujos de trabajo de los agentes de manera efectiva.

En algunos casos, los equipos mejorados con inteligencia artificial de menor rendimiento fueron en realidad un 12,5% más lentos, a menudo quedando atrapados en bucles ineficientes cuando los operadores carecían de las habilidades de supervisión suficientes.

Carrera media: El punto dulce para la inteligencia artificial

Las mayores ganancias de productividad ocurrieron entre analistas de carrera media, particularmente cuando abordaban tareas de complejidad media.

En esta categoría:

• La ventaja de la inteligencia artificial se maximizó en un 3,89 veces de mejora del rendimiento en problemas de dificultad media
• Los equipos de nivel medio experimentaron una velocidad de finalización de tareas un 40-70% más rápida en comparación con los equipos solo humanos

Esto sugiere que las empresas pueden ver el retorno más inmediato sobre las inversiones en inteligencia artificial al implementar sistemas agentes junto con analistas de nivel medio.

Operadores élite: Ventaja de velocidad, no reemplazo de capacidad

Entre los mejores rendimientos, la brecha entre los equipos mejorados con inteligencia artificial y los expertos humanos se redujo significativamente.

Por ejemplo:

• El mejor equipo humano resolvió todos los 36 desafíos, mientras que el mejor equipo mejorado con inteligencia artificial completó 32 de 36
• En el nivel de rendimiento del 5% superior, la ventaja de resolución se redujo a 1,69 veces

Sin embargo, la inteligencia artificial aún entregó una ventaja importante en velocidad, con equipos élite mejorados con inteligencia artificial que resolvieron desafíos tres o cuatro veces más rápido.

La “paradoja de la dificultad” revela dónde la inteligencia artificial lucha

El estudio también identificó lo que los investigadores llaman una “paradoja de la dificultad” en el rendimiento de la inteligencia artificial.

La ventaja de la inteligencia artificial aumenta con la complejidad de la tarea, hasta cierto punto:

• Desafíos muy fáciles: ~2,4 veces de ventaja para los equipos de inteligencia artificial
• Desafíos de complejidad media: 3,89 veces de ventaja, la zona de rendimiento máximo
• Desafíos difíciles: la ventaja disminuye a 2,97 veces, revelando límites en el razonamiento de la inteligencia artificial

Ciertos dominios creativos, como la codificación y el análisis de código inverso, mostraron una paridad cercana entre humanos élite y sistemas de inteligencia artificial, destacando áreas donde la intuición humana y el razonamiento novel siguen siendo críticos.

A través de los dominios, el rendimiento de la inteligencia artificial varió ampliamente, desde 5,15 veces de ventaja en tareas de codificación segura hasta 1,68 veces en análisis de pruebas digitales.

Una posible crisis en la tubería de talentos

Más allá de las ganancias de productividad, el informe plantea una preocupación a largo plazo sobre la fuerza laboral: la inteligencia artificial puede interrumpir la tubería de capacitación que produce a los futuros expertos en seguridad cibernética.

Las tareas de seguridad de nivel de entrada, tradicionalmente utilizadas para capacitar a los analistas junior, son cada vez más automatizables. Los equipos de inteligencia artificial superaron significativamente a los equipos humanos en los niveles de desafío más fáciles, lo que sugiere que el trabajo históricamente utilizado para capacitar a los nuevos analistas puede ser cada vez más manejado por la automatización.

Si las organizaciones automatizan demasiado el trabajo de nivel de entrada, el informe advierte que corren el riesgo de crear un “espacio medio desaparecido” en la tubería de talentos, donde menos analistas desarrollan las habilidades necesarias para convertirse en expertos en seguridad senior.

Implicaciones para los líderes de seguridad

Para los directores de seguridad y líderes de seguridad empresarial, los hallazgos sugieren que adoptar herramientas de inteligencia artificial ya no es opcional.

Las organizaciones que no integren la inteligencia artificial en sus operaciones de seguridad pueden enfrentar adversarios que ya utilizan la inteligencia artificial para acelerar los ataques y explotar vulnerabilidades más rápido de lo que los equipos tradicionales pueden responder.

El informe recomienda una estrategia de integración de inteligencia artificial de tres niveles:

• Reentrenar los roles de nivel de entrada para centrarse en la gobernanza y validación de la inteligencia artificial en lugar de tareas manuales
• Desplegar la inteligencia artificial junto con los analistas de carrera media primero, donde las ganancias de productividad son más altas
• Mantener el talento élite y emparejarlos con copilotos de inteligencia artificial para acelerar la respuesta a incidentes y el análisis de amenazas avanzadas

En última instancia, el informe sugiere que el futuro de la seguridad cibernética no será la inteligencia artificial versus los humanos, sino humanos mejorados con inteligencia artificial que operan a velocidad de máquina.