Las Vulnerabilidades de Seguridad que Construimos: Agentes de IA y el Problema de la Obediencia

Los agentes de IA basados en LLM están introduciendo una nueva clase de vulnerabilidades, donde los atacantes inyectan instrucciones maliciosas en los datos, convirtiendo sistemas útiles en cómplices involuntarios.

Microsoft Copilot no fue pirateado en el sentido tradicional. No hubo malware, no hubo enlaces de phishing, no hubo código malicioso. Nadie hizo clic en nada ni desplegó ninguna explotación.

El actor de la amenaza simplemente preguntó. Microsoft 365 Copilot, haciendo exactamente lo que fue diseñado para hacer, cumplió. En el reciente ataque de Echoleak de cero clic, el agente de IA fue manipulado por una solicitud disfrazada de datos. Obedeció, no porque estuviera roto, sino porque funcionaba como se diseñó.

Esta vulnerabilidad no explotó errores de software. Exploató el lenguaje. Y eso marca un punto de inflexión importante en la seguridad cibernética, donde la superficie de ataque ya no es el código, sino la conversación.

El Nuevo Problema de Obediencia de la IA

Los agentes de IA están diseñados para ayudar. Su propósito es entender la intención del usuario y actuar de manera eficiente. Esa utilidad conlleva un riesgo. Cuando se integran en sistemas de archivos, plataformas de productividad o sistemas operativos, estos agentes siguen comandos de lenguaje natural con mínima resistencia.

Los actores de la amenaza están explotando exactamente esa característica. Con inyecciones de solicitudes que parecen inofensivas, pueden desencadenar acciones sensibles. Estas solicitudes pueden incluir:

• Fragmentos de código multilingües
• Formatos de archivo oscuros y instrucciones incrustadas
• Entradas de lenguaje no inglés
• Comandos de varios pasos ocultos en lenguaje casual

Debido a que los grandes modelos de lenguaje (LLM) están entrenados para entender la complejidad y la ambigüedad, la solicitud se convierte en la carga útil.

El Fantasma de Siri y Alexa

Este patrón no es nuevo. En los primeros días de Siri y Alexa, los investigadores demostraron cómo reproducir un comando de voz como “Enviar todas mis fotos a este correo electrónico” podría desencadenar una acción sin verificación del usuario.

Ahora la amenaza es mayor. Los agentes de IA como Microsoft Copilot están integrados profundamente en Office 365, Outlook y el sistema operativo. Tienen acceso a correos electrónicos, documentos, credenciales y API. Los atacantes solo necesitan la solicitud correcta para extraer datos críticos, todo mientras se hacen pasar por un usuario legítimo.

Cuando las Computadoras Confunden Instrucciones con Datos

Este no es un principio nuevo en la seguridad cibernética. Las inyecciones como ataques SQL tuvieron éxito porque los sistemas no podían distinguir entre entrada y instrucción. Hoy en día, esa misma falla existe, pero en la capa de lenguaje.

Los agentes de IA tratan el lenguaje natural como entrada y como intención. Un objeto JSON, una pregunta o incluso una frase pueden iniciar una acción. Esta ambigüedad es lo que los actores de la amenaza explotan, incrustando comandos dentro de lo que parece contenido inofensivo.

Hemos incrustado la intención en la infraestructura. Ahora, los actores de la amenaza han aprendido a extraerla para hacer su voluntad.

La Adopción de la IA Superando a la Seguridad Cibernética

A medida que las empresas se apresuran a integrar LLM, muchas pasan por alto una pregunta crítica: ¿a qué tiene acceso la IA?

Cuando Copilot puede acceder al sistema operativo, el radio de acción se expande mucho más allá del buzón. Según el Informe de Seguridad de la IA de Check Point:

• El 62 por ciento de los directores de seguridad de la información (CISO) temen que puedan ser responsables personalmente de las violaciones relacionadas con la IA
• Casi el 40 por ciento de las organizaciones informan sobre el uso interno no autorizado de la IA, a menudo sin supervisión de seguridad
• El 20 por ciento de los grupos de delincuentes cibernéticos ahora incorporan la IA en sus operaciones, incluido el diseño de phishing y la realización de reconocimiento

Esto no es solo un riesgo emergente. Es un riesgo presente que ya está causando daños.

Por Qué las Salvaguardias Existentes son Insuficientes

Algunos proveedores utilizan perros guardianes — modelos secundarios entrenados para detectar solicitudes peligrosas o comportamiento sospechoso. Estos filtros pueden detectar amenazas básicas, pero son vulnerables a técnicas de evasión.

Los actores de la amenaza pueden:

• Sobrecargar los filtros con ruido
• Dividir la intención en varios pasos
• Utilizar una fraseología no obvia para evitar la detección

En el caso de Echoleak, las salvaguardias estaban presentes — y fueron sorteadas. Esto refleja no solo un fallo de política, sino un fallo de arquitectura. Cuando un agente tiene permisos de alto nivel pero contexto de bajo nivel, incluso las buenas barreras de seguridad son insuficientes.

Detección, No Perfección

Prevenir cada ataque puede ser poco realista. El objetivo debe ser la detección rápida y la contención rápida.

Las organizaciones pueden comenzar por:

• Monitorear la actividad del agente de IA en tiempo real y mantener registros de auditoría de solicitudes
• Aplicar acceso de mínimo privilegio a las herramientas de IA, similar a los controles de nivel de administrador
• Agregar fricción a las operaciones sensibles, como requerir confirmaciones
• Marcar patrones de solicitudes inusuales o adversarios para revisión

Los ataques basados en lenguaje no aparecerán en las herramientas tradicionales de detección y respuesta de puntos finales (EDR). Requieren un nuevo modelo de detección.

Qué Deben Hacer las Organizaciones Ahora para Protegerse

Antes de implementar agentes de IA, las organizaciones deben entender cómo funcionan estos sistemas y qué riesgos introducen.

Las recomendaciones clave incluyen:

1. Auditar todo el acceso: saber a qué pueden acceder o desencadenar los agentes
2. Limitar el alcance: otorgar permisos mínimos necesarios
3. Seguir todas las interacciones: registrar solicitudes, respuestas y acciones resultantes
4. Realizar pruebas de estrés: simular entradas adversas internamente y con frecuencia
5. Planificar para la evasión: asumir que los filtros serán sorteados
6. Alinear con la seguridad: asegurarse de que los sistemas de LLM apoyen, no comprometan, los objetivos de seguridad

La Nueva Superficie de Ataque

Echoleak es un avance de lo que está por venir. A medida que los LLM evolucionan, su utilidad se convierte en una responsabilidad. Integrados profundamente en los sistemas empresariales, ofrecen a los atacantes una nueva forma de entrar — a través de solicitudes simples y bien elaboradas.

Esto ya no se trata solo de proteger el código. Se trata de proteger el lenguaje, la intención y el contexto. El libro de jugadas debe cambiar ahora, antes de que sea demasiado tarde.

Y sin embargo, hay algunas buenas noticias. Se está haciendo progreso en la utilización de agentes de IA para defender contra nuevas y emergentes amenazas cibernéticas. Cuando se utilizan adecuadamente, estos agentes de IA autónomos pueden responder a las amenazas más rápido que cualquier ser humano, colaborar en entornos y defender proactivamente contra riesgos emergentes aprendiendo de un solo intento de intrusión.

La IA agente puede aprender de cada ataque, adaptarse en tiempo real y prevenir amenazas antes de que se propaguen. Tiene el potencial de establecer una nueva era de resiliencia cibernética, pero solo si aprovechamos este momento y configuramos el futuro de la seguridad cibernética juntos. Si no lo hacemos, esta nueva era podría señalar un infierno de seguridad cibernética y privacidad de datos para las organizaciones que ya han implementado la IA (a veces incluso sin saberlo con herramientas de TI sombra). Ahora es el momento de actuar para asegurarse de que los agentes de IA se utilicen para nuestro beneficio en lugar de nuestra ruina.