¿Son los agentes de IA lo suficientemente confiables para mi negocio?

Los grandes modelos de lenguaje (LLM) y los agentes de inteligencia artificial (IA) están teniendo un impacto significativo en muchos campos, incluyendo la ciberseguridad. Su potencial parece ilimitado. Sin embargo, en la práctica, al integrar los LLM en los procesos esenciales donde se toman decisiones empresariales, han surgido muchos problemas, particularmente en torno a la privacidad y la precisión de los datos. Esto plantea una pregunta: ¿Son los agentes de IA lo suficientemente confiables para mi negocio?

Cuando se trata de la ciberseguridad y los Centros de Operaciones de Seguridad (SOC), la respuesta rápida, como la que hemos escuchado durante toda nuestra carrera, es: Sí, con controles y mitigaciones adecuados en los SOC, los agentes de IA pueden ser implementados con éxito y de manera segura en entornos de producción donde agregan un valor significativo trabajando junto con los analistas humanos de los SOC.

Desafíos de ciberseguridad de la IA

Los LLM disponibles como productos estándar, utilizados como única solución, tienen varios problemas básicos, como alucinaciones, envenenamiento de datos y inyección de prompts. Estas limitaciones pueden provocar graves dificultades en un SOC autónomo, incluyendo:

Información limitada que causa veredictos inexactos – Los agentes de IA necesitan toda la información relevante del entorno para hacer su trabajo bien, al menos tantos datos como los que tienen los analistas humanos de seguridad, e idealmente más. La información insuficiente lleva a los agentes de IA a hacer suposiciones falsas que pueden variar en las diferentes ejecuciones de la investigación. Si limita el acceso a los datos debido a preocupaciones de seguridad o restringe cuánto puede hacer la IA por razones presupuestarias, espere que la precisión se vea afectada.

Veredictos inconsistentes – Los agentes de IA deben tomar decisiones y realizar tareas en función de los datos que han recopilado. Debido a la gran cantidad de datos de seguridad en entornos típicos, es común utilizar un enfoque de muestreo para equilibrar la precisión con el presupuesto. Cuando se ejecutan varias veces las investigaciones, pueden aparecer diferencias en el veredicto, el nivel de gravedad determinado y las acciones recomendadas. Esto es normal siempre y cuando la diferencia esté dentro de un límite de tolerancia, y ocurre incluso cuando dos analistas de seguridad humanos diferentes examinan la misma alerta.

Razonamiento opaco, o el problema de la «caja negra (BBOX.BO ) » – Algunos agentes de IA operan como sistemas opacos. Estos resultados de SOC impulsados por IA pueden parecer muy impresionantes al principio, pero para decisiones comerciales importantes, es necesario entender qué llevó al SOC de IA a recomendar determinadas acciones. Sin embargo, esto no es una limitación inherente de la IA, ya que algunos agentes de IA dedican grandes esfuerzos a ser transparentes. Se recomienda validar a los agentes de IA de manera exhaustiva en una prueba de valor antes de decidir su adopción.

Cómo ha mejorado la IA en la ciberseguridad

Los enfoques de ciberseguridad impulsados por IA han mejorado significativamente desde que se introdujeron por primera vez. Considere lo siguiente:

Consenso mediante muestreo mitiga la inconsistencia – Las inconsistencias en las decisiones o resultados pueden mitigarse eficazmente mediante la utilización de múltiples agentes de IA con diferentes configuraciones (por ejemplo, diferentes modelos a diferentes temperaturas) para interpretar los datos recopilados por las operaciones de agentes anteriores.

Utilizar muestreo permite a las organizaciones entender dónde coinciden los diferentes modelos de IA y dónde difieren. Como resultado, confiar en la información donde todos los modelos estén de acuerdo y dar menos peso a la información sobre la que discrepen puede mitigar sustancialmente la inconsistencia.

Es importante tener en cuenta, sin embargo, que la información donde los agentes de muestreo no están de acuerdo también es valiosa, ya que identifica la incertidumbre y la necesidad de mejores datos o entradas. Esta información inconsistente puede ayudar a las organizaciones a priorizar el acceso a datos esenciales para una mejor toma de decisiones.

Procedimientos consistentes mediante guías de investigación – Una de las principales razones por las que varias ejecuciones de una investigación de un SOC con IA arrojan resultados inconsistentes es la variación no solo en los datos recopilados, sino también en las hipótesis creadas o modificadas durante la investigación del agente de IA. Establecer una guía general de investigación con procedimientos operativos estándar (SOP) para determinadas categorías ayuda a los agentes a formar hipótesis más consistentes y mejora la consistencia general del resultado. Este no es un enfoque novedoso – la mayoría de los analistas de SOC humanos ya confían en SOP para garantizar investigaciones efectivas y consistentes. Los agentes de IA pueden utilizar SOP de la misma manera.

Evidencia rastreable desmitifica la caja negra – Como una práctica recomendada, un SOC de IA debe diseñarse desde cero con evidencia de apoyo en mente. Cada decisión que toma un agente y cada hipótesis que formula debe estar respaldada por información de apoyo, incluyendo trazas de razonamiento y los datos de registro brutos que sustentan ese razonamiento.

IA para la ciberseguridad que es confiable

Los agentes de IA pueden acelerar la detección, la clasificación y la respuesta a las amenazas en la ciberseguridad, pero también introducen riesgos reales – incluyendo resultados inconsistentes, decisiones opacas y sensibilidad a la calidad de los datos. La confianza para su uso en entornos críticos para la misión requiere razonamiento respaldado por evidencia, incluyendo trazas y artefactos brutos; SOP estructurados para reducir la variación; muestreo de múltiples agentes para separar el consenso de la incertidumbre; y salvaguardas para la integridad de los datos, frente a la inyección de prompts y para los límites de pasos y presupuesto.

Todas estas correcciones críticas pueden abordarse con enfoques avanzados de agentes de IA basados en LLM diseñados para abordar la complejidad de las operaciones de seguridad modernas impulsadas por IA. Por ejemplo, algunos enfoques de LLM avanzados utilizan muestreo de múltiples agentes avanzado para permitir que las organizaciones utilicen la inteligencia colectiva de modelos de IA diversos que colaboran para lograr un consenso, minimizar las inconsistencias y identificar áreas de incertidumbre. Sus guías de investigación estructuradas y claras garantizan que los pasos de análisis sigan las mejores prácticas y procedimientos estandarizados, impulsando la consistencia y la confiabilidad en cada operación.

La trazabilidad de decisiones de extremo a extremo da como resultado que cada veredicto, recomendación y acción automatizada sea auditada y entendida para proporcionar transparencia completa a los equipos de seguridad, al mismo tiempo que se construye la confianza con las partes interesadas. Al integrar estos elementos clave – e implementar controles robustos para la calidad de los datos de los prompts, la seguridad y las salvaguardas operativas – los enfoques avanzados de agentes de IA basados en LLM permiten que los SOC logren resultados que no solo son confiables y transparentes, sino también listos para la producción en entornos del mundo real y sus actividades más críticas para la misión.