Control de alucinaciones: Beneficios y riesgos de implementar LLM en procesos de seguridad

Modelos de lenguaje grande (LLM) entrenados en grandes cantidades de datos pueden hacer que los equipos de operaciones de seguridad sean más inteligentes. Los LLM ofrecen sugerencias y orientación en línea sobre respuesta, auditorías, gestión de postura y más. La mayoría de los equipos de seguridad están experimentando o utilizando LLM para reducir el trabajo manual en flujos de trabajo. Esto puede ser tanto para tareas mundanas como complejas.

Por ejemplo, un LLM puede consultar a un empleado a través de un correo electrónico si pretendía compartir un documento que era propiedad y procesar la respuesta con una recomendación para un profesional de seguridad. Un LLM también puede ser asignado para traducir solicitudes para buscar ataques de cadena de suministro en módulos de código abierto y crear agentes enfocados en condiciones específicas —nuevos contribuyentes a bibliotecas ampliamente utilizadas, patrones de código incorrectos— con cada agente preparado para esa condición específica.

Sin embargo, estos poderosos sistemas de inteligencia artificial conllevan riesgos significativos que son diferentes a otros riesgos que enfrentan los equipos de seguridad. Los modelos que alimentan los LLM de seguridad pueden ser comprometidos a través de la inyección de prompts o la contaminación de datos. Los bucles de retroalimentación continuos y los algoritmos de aprendizaje automático sin una guía humana suficiente pueden permitir que los actores maliciosos exploren los controles y luego induzcan respuestas mal dirigidas. Los LLM son propensos a alucinaciones, incluso en dominios limitados. Incluso los mejores LLM inventan cosas cuando no conocen la respuesta.

Los procesos de seguridad y las políticas de inteligencia artificial en torno al uso de LLM y flujos de trabajo se volverán más críticos a medida que estos sistemas se vuelvan más comunes en operaciones de ciberseguridad y investigación. Asegurarse de que esos procesos se cumplan y se midan y se cuenten en los sistemas de gobernanza, resultará crucial para garantizar que los CISO puedan proporcionar una cobertura de GRC (Gobernanza, Riesgo y Cumplimiento) suficiente para cumplir con nuevas directivas como el Marco de ciberseguridad 2.0.

La gran promesa de los LLM en ciberseguridad

Los CISO y sus equipos luchan constantemente por mantenerse al día con la creciente marea de nuevos ciberataques. Según Qualys, el número de CVE informados en 2023 alcanzó un nuevo récord de 26,447. Eso es más de 5 veces más que en 2013.

Este desafío se ha vuelto aún más difícil a medida que la superficie de ataque de la organización promedio crece con cada año que pasa. Los equipos de AppSec deben proteger y monitorear muchas más aplicaciones de software. La computación en la nube, las API, las tecnologías de multicloud y virtualización han agregado complejidad adicional. Con la herramienta de CI/CD moderna y los procesos, los equipos de aplicaciones pueden enviar más código, más rápido y con más frecuencia. Los microservicios han dividido las aplicaciones monolíticas en numerosas API y han agregado más agujeros en los firewalls globales para la comunicación con servicios o dispositivos externos.

Los LLM avanzados tienen un gran potencial para reducir la carga de trabajo de los equipos de ciberseguridad y mejorar sus capacidades. Las herramientas de codificación basadas en inteligencia artificial han penetrado ampliamente en el desarrollo de software. La investigación de Github encontró que el 92% de los desarrolladores están utilizando o han utilizado herramientas de inteligencia artificial para sugerencias y finalización de código. La mayoría de estas herramientas “copiloto” tienen algunas capacidades de seguridad. De hecho, las disciplinas programáticas con resultados relativamente binarios, como la codificación (el código pasará o fallará las pruebas unitarias), están bien adaptadas para los LLM. Más allá del análisis de código para el desarrollo de software y en la tubería de CI/CD, la inteligencia artificial podría ser valiosa para los equipos de ciberseguridad de varias maneras:

• Análisis mejorado: Los LLM pueden procesar grandes cantidades de datos de seguridad (registros, alertas, inteligencia de amenazas) para identificar patrones y correlaciones invisibles para los humanos. Pueden hacer esto en varios idiomas, las 24 horas del día, los 7 días de la semana, y en múltiples dimensiones simultáneamente. Esto abre nuevas oportunidades para los equipos de seguridad. Los LLM pueden reducir una pila de alertas en tiempo real, señalizando las que son más probable que sean graves. A través del aprendizaje por refuerzo, el análisis debe mejorar con el tiempo.
• Automatización: Los LLM pueden automatizar tareas del equipo de seguridad que normalmente requieren intercambio conversacional. Por ejemplo, cuando un equipo de seguridad recibe un IoC y necesita preguntar al propietario de un punto final si en realidad se conectó a un dispositivo o si está ubicado en un lugar fuera de su zona de trabajo normal, el LLM puede realizar estas operaciones simples y luego seguir con preguntas según sea necesario y enlaces o instrucciones. Esto solía ser una interacción que un miembro del equipo de TI o de seguridad tenía que realizar él mismo. Los LLM también pueden proporcionar funcionalidades más avanzadas. Por ejemplo, un Microsoft Copilot para Seguridad puede generar informes de análisis de incidentes y traducir código de malware complejo en descripciones en lenguaje natural.
• Aprendizaje continuo y ajuste: A diferencia de los sistemas de aprendizaje automático anteriores para políticas y comprensión de seguridad, los LLM pueden aprender sobre la marcha al ingerir calificaciones humanas de su respuesta y al retunear en nuevos grupos de datos que pueden no estar contenidos en archivos de registro internos. De hecho, utilizando el mismo modelo fundamental subyacente, los LLM de ciberseguridad pueden ajustarse para diferentes equipos y sus necesidades, flujos de trabajo o tareas específicas de la región o el sector. Esto también significa que todo el sistema puede ser tan inteligente como el modelo, con cambios que se propagan rápidamente en todas las interfaces.

Riesgo de los LLM para la ciberseguridad

Como una tecnología nueva con un historial corto, los LLM conllevan riesgos graves. Peor aún, entender la verdadera extensión de esos riesgos es desafiante porque las salidas de los LLM no son 100% predecibles o programáticas. Por ejemplo, los LLM pueden “alucinar” e inventar respuestas o responder preguntas de manera incorrecta, basándose en datos imaginarios. Antes de adoptar LLM para casos de uso de ciberseguridad, uno debe considerar riesgos potenciales, incluyendo:

• Inyección de prompts: Los atacantes pueden crear prompts maliciosos específicamente para producir salidas engañosas o dañinas. Este tipo de ataque puede explotar la tendencia del LLM a generar contenido basado en los prompts que recibe. En casos de uso de ciberseguridad, la inyección de prompts podría ser más arriesgada como una forma de ataque de insider o ataque por un usuario no autorizado que utiliza prompts para alterar permanentemente las salidas del sistema, sesgando el comportamiento del modelo. Esto podría generar salidas inexactas o inválidas para otros usuarios del sistema.
• Contaminación de datos: Los datos de entrenamiento en los que confían los LLM pueden ser corruptos intencionalmente, comprometiendo su toma de decisiones. En entornos de ciberseguridad, donde las organizaciones probablemente están utilizando modelos entrenados por proveedores de herramientas, la contaminación de datos podría ocurrir durante el ajuste del modelo para el cliente y el caso de uso específicos. El riesgo aquí podría ser que un usuario no autorizado agregue datos malos —por ejemplo, archivos de registro corruptos— para subvertir el proceso de entrenamiento. Un usuario autorizado también podría hacer esto involuntariamente. El resultado serían salidas de LLM basadas en datos malos.
• Alucinaciones: Como se mencionó anteriormente, los LLM pueden generar respuestas factualmente incorrectas, ilógicas o incluso maliciosas debido a malentendidos de prompts o fallos subyacentes en los datos. En casos de uso de ciberseguridad, las alucinaciones pueden resultar en errores críticos que paralizan la inteligencia de amenazas, la triage y remediación de vulnerabilidades, y más. Debido a que la ciberseguridad es una actividad crítica, los LLM deben cumplir con un estándar más alto para gestionar y prevenir alucinaciones en estos contextos.

A medida que los sistemas de inteligencia artificial se vuelven más capaces, sus despliegues de seguridad de la información se están expandiendo rápidamente. Para ser claro, muchas empresas de ciberseguridad han utilizado durante mucho tiempo el emparejamiento de patrones y el aprendizaje automático para el filtrado dinámico. Lo que es nuevo en la era de la inteligencia artificial generativa son los LLM interactivos que proporcionan una capa de inteligencia sobre los flujos de trabajo y los grupos de datos existentes, idealmente mejorando la eficiencia y mejorando las capacidades de los equipos de ciberseguridad. En otras palabras, GenAI puede ayudar a los ingenieros de seguridad a hacer más con menos esfuerzo y los mismos recursos, lo que produce un mejor rendimiento y procesos acelerados.