Confianza en los agentes de seguridad de la información de IA para actividades de SOC críticas para la misión

Los modelos de lenguaje grande (LLM) y los agentes de inteligencia artificial (IA) están teniendo un impacto significativo en muchos campos, incluyendo la seguridad de la información. El cielo es el límite cuando se trata de su potencial. Sin embargo, en la Tierra, donde los LLM se integran en flujos de trabajo básicos donde se toman decisiones comerciales, han surgido muchos problemas, particularmente en torno a la privacidad y la precisión de los datos. Nos quedamos preguntándonos: ¿Son los agentes de IA lo suficientemente confiables para mi negocio?

Cuando se trata de la seguridad de la información y los Centros de Operaciones de Seguridad (SOC), la respuesta rápida, como la que hemos escuchado durante toda nuestra carrera, es: Sí, con controles y mitigaciones adecuados en los SOC, los agentes de IA pueden ser implementados con éxito y de manera segura en entornos de producción donde agregan un valor significativo trabajando junto con los analistas de seguridad de la información humanos.

Desafíos de ciberseguridad de la IA

Los LLM de venta libre utilizados como solución independiente tienen varios problemas básicos, como alucinaciones, envenenamiento de datos y inyección de comandos. Estos problemas pueden causar graves problemas en un SOC autónomo, incluyendo:

Información limitada que causa veredictos inexactos – Los agentes de IA necesitan toda la información relevante del entorno para hacer su trabajo bien, al menos tanto como la información que tienen los analistas de seguridad humanos, e idealmente más. La información insuficiente lleva a los agentes de IA a hacer suposiciones falsas que pueden variar en las diferentes ejecuciones de la investigación. Si limita el acceso a los datos debido a preocupaciones de seguridad o restringe cuánto puede hacer la IA por razones presupuestarias, espere que la precisión se vea afectada.

Veredictos inconsistentes – Los agentes de IA deben tomar decisiones y realizar tareas en función de los datos que han recopilado. Debido a la gran cantidad de datos de seguridad en entornos típicos, es común utilizar un enfoque de muestreo para equilibrar la precisión con el presupuesto. Cuando se ejecutan varias veces las investigaciones, pueden aparecer diferencias en el veredicto, su gravedad determinada y las acciones recomendadas. Esto es normal siempre y cuando la diferencia esté dentro de un límite de tolerancia, y ocurre incluso cuando dos analistas de seguridad humanos diferentes examinan la misma alerta.

Razonamiento opaco, o el problema de la “caja negra” – Algunos agentes de IA operan como sistemas opacos. Estos resultados de SOC impulsados por IA pueden parecer muy impresionantes al principio, pero para decisiones comerciales importantes, es necesario entender qué llevó al SOC de IA a tomar sus acciones recomendadas. Sin embargo, esto no es una limitación inherente de la IA, ya que algunos agentes de IA van a grandes lengths para ser transparentes. Se recomienda validar a los agentes de IA de manera exhaustiva en una prueba de valor antes de comprometerse.

Cómo ha mejorado la IA en la ciberseguridad

Los enfoques de ciberseguridad impulsados por IA han mejorado significativamente desde que se introdujeron por primera vez. Considere lo siguiente:

Consenso mediante muestreo mitiga la inconsistencia – Las inconsistencias en las decisiones o resultados pueden mitigarse eficazmente mediante la utilización de múltiples agentes de IA con diferentes configuraciones (por ejemplo, diferentes modelos a diferentes temperaturas) para interpretar los datos recopilados por las operaciones de agentes anteriores.

Utilizar muestreo permite a las organizaciones entender dónde coinciden los diferentes modelos de IA y dónde difieren. Como resultado, confiar en la información donde todos los modelos estén de acuerdo y descartar la información donde difieran puede mitigar sustancialmente la inconsistencia.

Es importante tener en cuenta, sin embargo, que la información donde los agentes de muestreo no están de acuerdo también es valiosa, ya que identifica la incertidumbre y la necesidad de mejores datos o entradas. Esta información inconsistente puede ayudar a las organizaciones a priorizar el acceso a datos esenciales para una mejor toma de decisiones.

Procedimientos consistentes con libros de juego de investigación – Una de las principales razones por las que múltiples ejecuciones de una investigación de SOC de IA resultan en resultados inconsistentes es la variación no solo en los datos recopilados, sino también en las hipótesis creadas o modificadas durante la investigación del agente de IA. Establecer una guía de procedimiento operativo estándar (SOP) de alto nivel para ciertas categorías ayuda a los agentes a formar hipótesis más consistentes y mejora la consistencia general del resultado. Esto no es un enfoque novedoso – la mayoría de los analistas de SOC humanos ya confían en SOP para garantizar investigaciones efectivas y consistentes. Los agentes de IA pueden utilizar SOP de la misma manera.

Evidencia rastreable desmitifica la caja negra – Como una práctica recomendada, un SOC de IA debe diseñarse desde cero con evidencia de apoyo en mente. Cada decisión y hipótesis que hace un agente debe estar respaldada por información de apoyo, incluyendo trazas de razonamiento y los datos de registro brutos que sustentan ese razonamiento.

IA para la ciberseguridad que es confiable

Los agentes de IA pueden acelerar la detección, la clasificación y la respuesta a las amenazas en la ciberseguridad, pero también introducen riesgos reales – incluyendo resultados inconsistentes, decisiones opacas y sensibilidad a la calidad de los datos. La confianza para su uso en entornos críticos para la misión requiere razonamiento respaldado por evidencia, incluyendo trazas y artefactos brutos; SOP estructurados para reducir la variación; muestreo de múltiples agentes para separar el consenso de la incertidumbre; y guardrails para la integridad de los datos, la inyección de comandos y los límites de paso y presupuesto.

Todas estas correcciones críticas pueden abordarse con enfoques de agentes de IA de LLM avanzados diseñados para abordar la complejidad de las operaciones de seguridad modernas impulsadas por IA. Por ejemplo, algunos enfoques de LLM avanzados utilizan muestreo de múltiples agentes avanzado para permitir que las organizaciones utilicen la inteligencia colectiva de modelos de IA diversos que colaboran para lograr un consenso, minimizar las inconsistencias y señalarizar áreas de incertidumbre. Sus guías de investigación estructuradas y claras garantizan que los pasos de análisis sigan las mejores prácticas y procedimientos estandarizados, impulsando la consistencia y la confiabilidad en cada operación.

La trazabilidad de decisiones de extremo a extremo da como resultado que cada veredicto, recomendación y acción automatizada sea auditada y entendida para proporcionar transparencia completa a los equipos de seguridad, al mismo tiempo que se construye la confianza con las partes interesadas. Al integrar estos elementos clave – e implementar controles robustos para la calidad de los datos, la seguridad y las barreras de operación – los enfoques de agentes de IA de LLM avanzados permiten que los SOC logren resultados que no solo son confiables y transparentes, sino también listos para la producción en entornos del mundo real y sus actividades más críticas para la misión.