De la inteligencia artificial generativa a la inteligencia artificial agente: El cambio de riesgo de contenido a exposición de ejecución

La inteligencia artificial empresarial está evolucionando rápidamente. Lo que comenzó como copilotos de inteligencia artificial generativa que redactaban correos electrónicos y resumían documentos ahora se está convirtiendo en algo mucho más autónomo: sistemas que planifican, deciden y ejecutan tareas en herramientas y entornos.

Este es el cambio de la inteligencia artificial generativa a la inteligencia artificial agente. Está viendo cómo el riesgo se metamorfosea.

La inteligencia artificial generativa introdujo riesgos de contenido, incluyendo alucinaciones, filtraciones de datos a través de solicitudes y salidas sesgadas. La exposición de la inteligencia artificial agente ocurre a través de sus sistemas autónomos, que tienen permiso, memoria y la capacidad de acceder a todas las herramientas disponibles a la velocidad de las máquinas.

Esta es una oportunidad para los profesionales de seguridad, gobernanza o inteligencia artificial para reevaluar su posición sobre estos nuevos riesgos.

¿Qué es el riesgo de la inteligencia artificial agente?

El riesgo de la inteligencia artificial agente se refiere a los riesgos de seguridad, operativos y de gobernanza que plantean los sistemas de inteligencia artificial que operan de forma autónoma, no solo generando texto sino también realizando flujos de trabajo multietapa en sistemas empresariales.

A diferencia de los tradicionales modelos de lenguaje grande (LLM), los sistemas agentes pueden descomponer tareas en flujos de trabajo dinámicos, realizar solicitudes de API externas e invocar aplicaciones internas, y almacenar y recordar memorias. También pueden operar bajo identidad delegada y comunicarse con otros agentes.

En otras palabras, son menos como chatbots y más como empleados digitales junior. Esto representa un aumento masivo en la superficie de ataque del agente de inteligencia artificial.

Inteligencia artificial generativa vs inteligencia artificial agente: ¿Qué cambia?

El riesgo de la inteligencia artificial generativa se centra en las salidas. Los equipos de seguridad se preguntan si el modelo está filtrando datos, si puede estar alucinando o si se está generando contenido dañino o no conforme.

Los humanos están firmemente en el bucle. La inteligencia artificial propone, las personas aprueban.

El riesgo de la inteligencia artificial agente es orientado a la acción. Ahora, los equipos de seguridad deben preguntarse qué sistemas puede interactuar el agente, qué permisos heredará, cuánto puede llegar su plan y qué sucedería si se engañara mientras se ejecuta.

La distinción puede ser muy pequeña, pero es significativa: la inteligencia artificial generativa crea contenido. La inteligencia artificial agente crea consecuencias. Este es el cambio de riesgo de contenido a exposición de ejecución.

¿Cómo expande la inteligencia artificial agente las superficies de ataque empresariales?

La inteligencia artificial agente no solo agrega una nueva aplicación. Crea una nueva capa operativa. A continuación, se muestra cómo crece la superficie de ataque:

1. Agentes de inteligencia artificial con privilegios

Hay muchos agentes que actúan en nombre de los usuarios o cuentas de servicio. Cuando el alcance de los permisos no es estricto, se convierten en objetivos valiosos.

Esto puede llevar a problemas de delegado confundido, escalada de privilegios y movimiento lateral. Este es un problema cuando las nubes, SaaS y sistemas internos proporcionan acceso dinámico o heredado a los agentes.

2. Flujos de ejecución dinámicos

Los flujos de control en aplicaciones tradicionales son deterministas. Los flujos de control en sistemas de inteligencia artificial agente no lo son.

Razonan sobre objetivos, acciones, reflexionan, refinan y invocan herramientas de manera no determinista. Esto conduce a casos de fallo difíciles de analizar, gráficos de dependencia complejos y fallos en cascada en sistemas de múltiples agentes. Los controles de seguridad desarrollados para flujos de control deterministas no son aplicables aquí.

3. Memoria persistente

La superficie de ataque generada por la memoria del agente es persistente.

Cuando la memoria a corto o largo plazo se ve comprometida, un estado malicioso puede influir en las decisiones en varias sesiones. Esto difiere de una sola inyección de una solicitud, ya que la corrupción de la memoria proporciona persistencia.

4. Riesgos de toma de decisiones a velocidad de máquina

Los agentes autónomos toman decisiones a una velocidad que es imposible de igualar. Esto plantea desafíos de toma de decisiones a velocidad de máquina, como la propagación rápida de errores, ciclos de abuso mucho más rápidos que la reacción humana y escalada antes de que sea posible la detección.

En sistemas de múltiples agentes, el alcance de influencia es rápido. Un agente malicioso puede desencadenar una cascada de fallos en cadenas de coordinación.

¿Por qué los controles tradicionales fallan con la inteligencia artificial agente?

La mayoría de los modelos de seguridad empresariales tradicionales confían en aplicaciones estáticas, gráficos de llamada predecibles, aprobaciones humanas y una clara separación entre procesamiento de datos y ejecución. La inteligencia artificial agente hace que estas suposiciones sean inválidas.

Por ejemplo, un control tradicional como la validación de entrada. Esto salvaguarda el límite de un sistema. Sin embargo, el riesgo de la inteligencia artificial agente suele aparecer en el medio de un bucle, en la fase de planificación, reflexión o herramientas.

La exploración de vulnerabilidades tradicional también se centra en la infraestructura y el software. Sin embargo, el riesgo de ejecución de la inteligencia artificial reside dentro de la capa de razonamiento y acción del agente.

La pregunta es: ¿Cómo proteges algo que puede elegir su propia acción siguiente? No puedes simplemente envolver controles alrededor de una sola llamada al modelo. Debes asegurar el flujo de trabajo.

Seguridad de la inteligencia artificial agente: ¿Qué funciona realmente?

Al hablar de la seguridad de la inteligencia artificial agente, debe haber un cambio de la mentalidad de perímetro a la mentalidad de ciclo de vida. Los agentes no deben poder reinterpretar los objetivos infinitamente, y hay varias formas de lograrlo.

Establecer secuencias de objetivos permitidas, regular la profundidad de los árboles de expansión de planes, monitorear la deriva del razonamiento y prohibir los objetivos autoeditados fuera del alcance son controles esenciales. Las variaciones inesperadas en el razonamiento suelen ser los precursores de la manipulación.

Endurecer la ejecución de herramientas. Las herramientas son donde el plan se encuentra con la realidad, y la seguridad necesita cubrir las comprobaciones de permisos antes de la ejecución de la herramienta, entornos de ejecución aislados, validación estricta de parámetros y transferencia de credenciales justo a tiempo. Cada ejecución de herramienta debe registrarse como un evento de seguridad de primera clase.

Aislar la memoria y el alcance de los privilegios. La memoria debe tratarse como infraestructura sensible. Esto significa validar las operaciones de escritura, particionar el dominio de la memoria, limitar el alcance de las operaciones de lectura por tarea, utilizar credenciales de vida corta y prevenir los privilegios heredados. La acumulación no validada de permisos es un riesgo importante de la inteligencia artificial agente.

Seguridad de la coordinación de múltiples agentes. En sistemas de agentes distribuidos, la comunicación en sí misma se convierte en un vector de ataque. Esto debe implicar la autenticación del agente, la validación del esquema de mensaje, canales de comunicación restringidos y monitoreo de patrones de influencia anómalos. Cuando la coordinación se desvía de los flujos esperados, la aislación debe ocurrir automáticamente.

De la gestión de la exposición a la evaluación de la exposición para los sistemas de inteligencia artificial

Este es el punto en el que una filosofía de seguridad más amplia se vuelve clave. La gestión de vulnerabilidades tradicional identifica debilidades conocidas. Sin embargo, los sistemas de inteligencia artificial autónomos introducen una exposición emergente: riesgos que surgen de la configuración, el diseño de privilegios, los caminos de integración y el comportamiento dinámico.

Esto se alinea con lo que la industria ha denominado gestión de la exposición y, más recientemente, evaluación de la exposición.

La gestión de la exposición se trata de tener visibilidad continua en cómo los sistemas (incluidos los activos en la nube, las identidades, las aplicaciones y ahora los agentes de inteligencia artificial) crean caminos que los actores maliciosos pueden explotar.

Para la seguridad de los sistemas de inteligencia artificial autónomos, eso significa preguntar: ¿Qué puede alcanzar este agente? ¿Qué permisos acumula? ¿Qué sistemas orquesta? ¿Y dónde se intersecta la ejecución con los datos sensibles?

Los equipos que ya están utilizando estrategias basadas en la exposición para reducir el riesgo cibernético están en una buena posición para extender esos principios a sus entornos de inteligencia artificial. Por ejemplo, las plataformas que unifican la visibilidad de la identidad, la nube y la vulnerabilidad proporcionan una forma de entender cómo los agentes de inteligencia artificial con privilegios se intersectan con los caminos de ataque existentes.

La clave no es la herramienta del proveedor en sí. Es la mentalidad:

No aseguras la inteligencia artificial agente protegiendo el modelo. La aseguras midiendo y reduciendo continuamente su exposición.

Gestión de los riesgos de la capa de ejecución en la inteligencia artificial agente

La característica de la seguridad de la inteligencia artificial agente es la siguiente: la superficie de ataque no es la respuesta, sino el flujo de trabajo.

Los riesgos de la capa de ejecución son muchos, incluyendo el uso no autenticado de herramientas, el suplantamiento de identidad, el aumento de privilegios, la intoxicación de la memoria, la manipulación entre agentes y los sistemas de bucle humano bajo coacción.

Mitigar estos riesgos significa tener visibilidad en las relaciones de identidad, la herencia de privilegios, las dependencias de API, la actividad en tiempo de ejecución y la telemetría de la ejecución.

Esto ya no es solo la seguridad de la inteligencia artificial generativa; es la seguridad operativa de la inteligencia artificial.

El riesgo de la inteligencia artificial agente es arquitectónico, no hipotético

La inteligencia artificial agente es el siguiente paso en la evolución de la adopción de la inteligencia artificial empresarial. Promete eficiencia, automatización y escalabilidad. Sin embargo, también introduce riesgos desde lo que la inteligencia artificial dice hasta lo que la inteligencia artificial hace.

La transición de la inteligencia artificial generativa a los sistemas agentes afecta lo siguiente:

• Riesgo de contenido a riesgo de ejecución
• Solicitudes estáticas a flujos de ejecución dinámicos
• Revisión humana a ejecución autónoma
• Seguridad de la aplicación a gestión de la exposición

Los líderes de seguridad que entienden esta transición primero pueden arquitectar barandillas que se escalen con la autonomía. Otros terminarán con insiders digitales sin controles de insiders.

El futuro de la inteligencia artificial en la empresa es agente. El futuro de la seguridad de la inteligencia artificial tiene que ser impulsado por la exposición, consciente del flujo de trabajo y diseñado para operaciones a velocidad de máquina.

Porque una vez que los agentes de inteligencia artificial tienen la capacidad de ejecutar, el único enfoque viable es entender (y mitigar) constantemente a lo que están expuestos.