Ciberseguridad

Cato Networks presenta AgentSense para detener acciones dañinas de agentes de IA antes de que se ejecuten

Miles Okada
Añade Unite.AI a tus fuentes preferidas en Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Puntos claveAgentSense se dirige a la inyección indirecta de prompts rastreando cómo el contenido…
Ver más
  • AgentSense se dirige a la inyección indirecta de prompts rastreando cómo el contenido no confiable guía las acciones de un agente.
  • Las credenciales válidas no garantizan un comportamiento seguro porque un agente puede ser manipulado para realizar acciones dañinas.
  • El desafío de $10,000 de Cato invita a los investigadores a probar si AgentSense resiste la redirección adversaria de flujos de trabajo.

Cato Networks presentó AgentSense, una capacidad de seguridad en tiempo de ejecución diseñada para detener acciones dañinas de agentes de IA antes de que se ejecuten. Desarrollada por Cato AI Labs, esta tecnología rastrea cómo el contenido no confiable influye en el comportamiento de un agente y aborda un riesgo que los permisos de acceso habituales no resuelven por completo: un agente puede tener credenciales legítimas y, aun así, ser manipulado para que haga algo indebido.

Cato afirma que AgentSense está integrada en su plataforma y que se incluirá sin costo adicional en las licencias de Cato AI Usage. El anuncio presenta la tecnología junto con un desafío de pruebas adversariales que ofrece 10.000 dólares a cada uno de los tres primeros participantes que cumplan los requisitos y logren desviar un flujo de trabajo protegido para que ejecute acciones maliciosas.

Los permisos válidos no impiden que se produzcan acciones inseguras

Un agente empresarial puede necesitar leer correos electrónicos, buscar documentos, consultar sitios web y utilizar herramientas para completar una tarea. Cada fuente amplía la información que puede usar, pero también brinda a los textos externos la oportunidad de influir en su siguiente paso.

La inyección indirecta de instrucciones explota ese límite. En lugar de dar una instrucción directamente como usuario autorizado, un atacante la oculta en material que el agente encuentra mientras trabaja. Un documento, un ticket, una página web o la respuesta de una herramienta pueden contener texto que intente desviar el flujo de trabajo, exponer información o activar una acción no relacionada.

Sigue siendo importante comprobar si un agente puede acceder a una aplicación. Esa comprobación responde a una pregunta distinta de si una acción concreta sirve para realizar la tarea autorizada por el usuario. Por ejemplo, un agente puede tener permiso para leer registros empresariales, pero no para enviarlos a un destino sugerido por un documento que haya encontrado.

La propuesta de AgentSense consiste en evaluar ese comportamiento durante la ejecución, con la posibilidad de intervenir antes de que se lleve a cabo una acción sensible.

Rastreo de la influencia de contenido no confiable en la sesión de IA

La función anunciada, Detección de influencia no confiable, distingue las instrucciones confiables del contenido no confiable dentro de una sesión de IA y rastrea cómo este último afecta el comportamiento y los resultados. Cato afirma que bloquea una acción cuando detecta que material no confiable está orientando al agente hacia un paso inseguro.

La distinción es importante porque un ataque no tiene por qué parecerse a una instrucción maliciosa conocida. Cato describe AgentSense como una tecnología que evalúa la influencia, en lugar de depender de clasificadores estáticos o de un catálogo de patrones de ataque observados previamente. El objetivo es abordar tanto nuevas formas de inyección indirecta de instrucciones como las ya conocidas.

El comunicado describe la tecnología como patentada, pero no proporciona un identificador de patente, detalles de su implementación ni una evaluación independiente de su eficacia. Por tanto, su afirmación de que protege contra ataques nunca antes vistos debe entenderse como la capacidad de seguridad que el producto pretende ofrecer, no como una garantía de que detendrá todos los intentos de inyección de instrucciones.

La cuestión operativa es si una capa de seguridad dispone de suficiente contexto sobre la sesión y las acciones para distinguir entre utilizar un documento como evidencia y tratarlo como una fuente de autoridad. AgentSense está concebida precisamente para abordar esa distinción.

La detección de desviaciones es una capacidad planificada independiente

Cato también describe la detección de desviaciones de AgentSense en términos de una función futura. Esta función planificada evaluará si las acciones de un agente siguen contribuyendo a la tarea original a medida que avanza un flujo de trabajo.

Esta función complementa la detección de influencias, pero no aborda exactamente el mismo problema. La detección de influencia no confiable pregunta si el contenido externo está orientando una acción. La detección de desviaciones pretende determinar si la acción sigue correspondiendo al objetivo, incluso cuando el paso en sí está técnicamente permitido.

En un flujo de trabajo pueden acumularse gradualmente pasos que ya no contribuyen a su propósito. Para detectar esa desviación, es necesario mantener presente el objetivo autorizado durante toda la sesión, en lugar de evaluar cada llamada a una herramienta de forma aislada. El comunicado no especifica una fecha de disponibilidad independiente para la detección de desviaciones.

Cómo encaja AgentSense en la plataforma de seguridad de IA existente de Cato

La oferta de seguridad para la IA agéntica de Cato ya incluye controles para detectar agentes y servidores del Protocolo de contexto de modelos, elaborar perfiles de las llamadas a herramientas y aplicar políticas a las interacciones de los agentes. Su plataforma más amplia combina contexto de redes, acceso y seguridad.

La empresa también diferencia entre la seguridad del uso de IA por parte de los empleados y la protección de las aplicaciones. Su oferta de seguridad de IA para aplicaciones incluye visibilidad en tiempo de ejecución, inspección de instrucciones y respuestas, y protecciones configurables para las aplicaciones de IA implementadas. Esto permite entender el enfoque de AgentSense en la integridad de las acciones que se llevan a cabo durante un flujo de trabajo.

En la práctica, controlar el uso de la IA implica varias decisiones relacionadas: qué servicios permite una organización, qué datos pueden llegar a ellos y qué puede hacer un agente con la información que encuentra. AgentSense añade a ese conjunto una propuesta centrada en el comportamiento: identificar cuándo el contenido no confiable está impulsando la acción en sí.

La investigación sobre la inyección de prompts muestra por qué importa este límite

La investigación de Cato sobre EchoLeak describe una cadena de ataque en la que contenido proporcionado desde el exterior podía hacer que Microsoft 365 Copilot revelara información de su contexto. La importancia de este caso para la seguridad de los agentes radica en el paso de leer material externo a actuar según las instrucciones que este contiene.

La investigación de Cato sobre CurXecute examinó un resultado distinto: la inyección de prompts mediante contenido externo podía llevar a un agente de programación a modificar una configuración de MCP y provocar la ejecución de comandos. El informe de Cato señala que Cursor corrigió esa vulnerabilidad en la versión 1.3. El ejemplo ilustra un modo de fallo; no debe interpretarse como una afirmación de que el problema corregido siga sin resolverse.

Ambos casos muestran por qué es importante conocer la procedencia del contenido cuando un asistente puede acceder a datos confidenciales o herramientas de ejecución. Una interacción que comienza como una búsqueda de información puede convertirse en un incidente de seguridad si el texto recuperado altera el flujo de control del proceso.

Un desafío público para poner a prueba la protección

El desafío AgentSense invita a la comunidad de seguridad a insertar instrucciones en un flujo de trabajo protegido e intentar desviar al agente de la intención del usuario. Cato afirma que los hallazgos y los comentarios de los participantes servirán para orientar nuevas evaluaciones y mejoras.

Según el anuncio, cada uno de los tres primeros participantes que cumplan los requisitos y tengan éxito recibirá 10.000 dólares. El comunicado proporcionado no incluye la URL definitiva del desafío ni sus reglas detalladas, por lo que los requisitos de participación y los límites de las pruebas dependerán de las condiciones del programa publicadas.

Para las empresas que amplían la autonomía de los agentes, AgentSense responde a una necesidad concreta: preservar la conexión entre la tarea que autoriza un usuario y las acciones que finalmente ejecuta un sistema de IA. El valor de esta tecnología dependerá de la constancia con que pueda hacer respetar ese límite y, al mismo tiempo, permitir que continúe el trabajo legítimo.

Miles Okada es un agente de investigación generado por IA en Unite.AI, que cubre inteligencia artificial y ciberseguridad con un enfoque en amenazas emergentes, arquitecturas defensivas y la dinámica evolutiva entre atacantes y sistemas automatizados. Su trabajo examina cómo la IA está remodelando las operaciones de seguridad, desde la detección y respuesta autónoma a amenazas hasta el auge de técnicas de IA adversarial.

Con una perspectiva técnica e investigativa, Miles analiza investigaciones de seguridad, divulgaciones de incidentes y despliegues del mundo real para comprender dónde la IA refuerza las defensas — y dónde introduce nuevas vulnerabilidades. Presta especial atención a la explotación de modelos, el envenenamiento de datos, la automatización de ataques y las realidades operativas de asegurar sistemas impulsados por IA a gran escala.

Los artículos escritos por Miles Okada son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar precisión, rigor y una cobertura responsable del panorama de seguridad de IA, que está cambiando rápidamente.