Control de Alucinaciones: Beneficios y Riesgos de Desplegar LLM como Parte de los Procesos de Seguridad

Large Language Models (LLMs) entrenados en vastas cantidades de datos pueden hacer que los equipos de operaciones de seguridad sean más inteligentes. Los LLM proporcionan sugerencias y orientación en línea sobre respuesta, auditorías, gestión de postura y más. La mayoría de los equipos de seguridad están experimentando o utilizando LLM para reducir el trabajo manual en los flujos de trabajo. Esto puede ser tanto para tareas mundanas como complejas.

Por ejemplo, un LLM puede consultar a un empleado a través de un correo electrónico si pretendía compartir un documento que era propiedad y procesar la respuesta con una recomendación para un profesional de seguridad. Un LLM también puede ser asignado para traducir solicitudes para buscar ataques de cadena de suministro en módulos de código abierto y activar agentes enfocados en condiciones específicas —nuevos contribuyentes a bibliotecas ampliamente utilizadas, patrones de código incorrectos— con cada agente preparado para esa condición específica.

Dicho esto, estos poderosos sistemas de IA conllevan riesgos significativos que son diferentes a otros riesgos que enfrentan los equipos de seguridad. Los modelos que alimentan los LLM de seguridad pueden ser comprometidos a través de la inyección de prompts o el envenenamiento de datos. Los bucles de retroalimentación continuos y los algoritmos de aprendizaje automático sin una guía humana suficiente pueden permitir que actores maliciosos sonddeen los controles y luego induzcan respuestas mal dirigidas. Los LLM son propensos a alucinaciones, incluso en dominios limitados. Incluso los mejores LLM inventan cosas cuando no conocen la respuesta.

Los procesos de seguridad y las políticas de IA sobre el uso de LLM y flujos de trabajo se volverán más críticos a medida que estos sistemas se vuelvan más comunes en las operaciones y la investigación de ciberseguridad. Asegurarse de que estos procesos se cumplan y se midan y se tengan en cuenta en los sistemas de gobernanza, resultará crucial para garantizar que los CISO puedan proporcionar una cobertura de GRC (Gobernanza, Riesgo y Cumplimiento) suficiente para cumplir con nuevos mandatos como el Marco de Ciberseguridad 2.0.

La Gran Promesa de los LLM en la Ciberseguridad

Los CISO y sus equipos constantemente luchan por mantenerse al día con la creciente marea de nuevos ciberataques. Según Qualys, el número de CVE informados en 2023 alcanzó un nuevo récord de 26,447. Eso es más de 5 veces más que en 2013.

Este desafío solo se ha vuelto más agotador a medida que la superficie de ataque de la organización promedio crece más grande con cada año que pasa. Los equipos de AppSec deben proteger y monitorear muchas más aplicaciones de software. La computación en la nube, las API, las tecnologías de multicloud y virtualización han agregado complejidad adicional. Con la herramienta de CI/CD moderna y los procesos, los equipos de aplicaciones pueden enviar más código, más rápido y con más frecuencia. Los microservicios han fragmentado aplicaciones monolíticas en numerosas API y superficies de ataque, y también han perforado muchos más agujeros en los firewalls globales para la comunicación con servicios o dispositivos de clientes externos.

Los LLM avanzados tienen una gran promesa para reducir la carga de trabajo de los equipos de ciberseguridad y mejorar sus capacidades. Las herramientas de codificación impulsadas por IA han penetrado ampliamente en el desarrollo de software. La investigación de Github encontró que el 92% de los desarrolladores están utilizando o han utilizado herramientas de IA para sugerencias y finalización de código. La mayoría de estas herramientas “copiloto” tienen algunas capacidades de seguridad. De hecho, las disciplinas programáticas con resultados relativamente binarios, como la codificación (el código pasará o fallará las pruebas unitarias), están bien adaptadas para los LLM. Más allá del análisis de código para el desarrollo de software y en la tubería de CI/CD, la IA podría ser valiosa para los equipos de ciberseguridad de varias maneras:

• Análisis Mejorado: Los LLM pueden procesar grandes cantidades de datos de seguridad (registros, alertas, inteligencia de amenazas) para identificar patrones y correlaciones invisibles para los humanos. Pueden hacer esto en varios idiomas, las 24 horas del día, y en numerosas dimensiones simultáneamente. Esto abre nuevas oportunidades para los equipos de seguridad. Los LLM pueden procesar una pila de alertas en casi tiempo real, marcando las que son más probable que sean graves. A través del aprendizaje por refuerzo, el análisis debe mejorar con el tiempo.
• Automatización: Los LLM pueden automatizar las tareas del equipo de seguridad que normalmente requieren conversaciones de ida y vuelta. Por ejemplo, cuando un equipo de seguridad recibe un IoC y necesita preguntar al propietario de un punto final si en realidad se conectó a un dispositivo o si se encuentra en un lugar fuera de sus zonas de trabajo normales, el LLM puede realizar estas operaciones simples y luego seguir con preguntas según sea necesario y enlaces o instrucciones. Esto solía ser una interacción que un miembro del equipo de TI o de seguridad tenía que realizar él mismo. Los LLM también pueden proporcionar funcionalidades más avanzadas. Por ejemplo, un Microsoft Copilot para Seguridad puede generar informes de análisis de incidentes y traducir código de malware complejo en descripciones en lenguaje natural.
• Aprendizaje y Ajuste Continuos: A diferencia de los sistemas de aprendizaje automático anteriores para políticas y comprensión de seguridad, los LLM pueden aprender sobre la marcha al ingerir calificaciones humanas de su respuesta y al retunear en nuevos grupos de datos que pueden no estar contenidos en los archivos de registro internos. De hecho, utilizando el mismo modelo fundamental subyacente, los LLM de ciberseguridad se pueden ajustar para diferentes equipos y sus necesidades, flujos de trabajo o tareas regionales o verticales específicas. Esto también significa que todo el sistema puede ser tan inteligente como el modelo, con cambios que se propagan rápidamente en todas las interfaces.

Riesgo de los LLM para la Ciberseguridad

Como una nueva tecnología con un historial corto, los LLM tienen riesgos graves. Peor aún, entender el alcance completo de esos riesgos es desafiante porque las salidas de los LLM no son 100% predecibles o programáticas. Por ejemplo, los LLM pueden “alucinar” e inventar respuestas o responder preguntas de manera incorrecta, basándose en datos imaginarios. Antes de adoptar LLM para casos de uso de ciberseguridad, uno debe considerar riesgos potenciales, incluyendo:

• Inyección de Prompts: Los atacantes pueden crear prompts maliciosos específicamente para producir salidas engañosas o dañinas. Este tipo de ataque puede explotar la tendencia del LLM a generar contenido basado en los prompts que recibe. En casos de uso de ciberseguridad, la inyección de prompts podría ser más arriesgada como una forma de ataque de insider o ataque por un usuario no autorizado que utiliza prompts para alterar permanentemente las salidas del sistema, sesgando el comportamiento del modelo. Esto podría generar salidas inexactas o inválidas para otros usuarios del sistema.
• Envenenamiento de Datos: Los datos de entrenamiento en los que confían los LLM pueden ser intencionalmente corrompidos, comprometiendo su toma de decisiones. En entornos de ciberseguridad, donde las organizaciones probablemente están utilizando modelos entrenados por proveedores de herramientas, el envenenamiento de datos podría ocurrir durante el ajuste del modelo para el cliente y el caso de uso específico. El riesgo aquí podría ser un usuario no autorizado que agrega datos malos —por ejemplo, archivos de registro corruptos— para subvertir el proceso de entrenamiento. Un usuario autorizado también podría hacer esto involuntariamente. El resultado serían salidas de LLM basadas en datos malos.
• Alucinaciones: Como se mencionó anteriormente, los LLM pueden generar respuestas factualmente incorrectas, ilógicas o incluso maliciosas debido a malentendidos de prompts o fallos en los datos subyacentes. En casos de uso de ciberseguridad, las alucinaciones pueden resultar en errores críticos que paralizan la inteligencia de amenazas, la triage y remediación de vulnerabilidades, y más. Debido a que la ciberseguridad es una actividad crítica de la misión, los LLM deben cumplir con un estándar más alto de gestión y prevención de alucinaciones en estos contextos.

A medida que los sistemas de IA se vuelven más capaces, sus despliegues de seguridad de la información se están expandiendo rápidamente. Para ser claros, muchas empresas de ciberseguridad han utilizado durante mucho tiempo el emparejamiento de patrones y el aprendizaje automático para el filtrado dinámico. Lo que es nuevo en la era de la IA generativa son los LLM interactivos que proporcionan una capa de inteligencia sobre los flujos de trabajo y las piscinas de datos existentes, idealmente mejorando la eficiencia y mejorando las capacidades de los equipos de ciberseguridad. En otras palabras, la GenAI puede ayudar a los ingenieros de seguridad a hacer más con menos esfuerzo y los mismos recursos, lo que produce un mejor rendimiento y procesos acelerados.