Los agentes de IA están listos para actuar. La mayoría de las empresas no están listas para permitirlo.

Durante la mayor parte de la era de la IA generativa, nos hemos centrado en lo que los modelos dicen y en lo que les introducimos. Inspeccionamos prompts, filtramos respuestas, realizamos pruebas de red team a los modelos y construimos controles alrededor de las entradas y salidas. Esas protecciones siguen siendo importantes, pero fueron diseñadas para un mundo en el que la IA generaba principalmente algo para que un humano lo consumiera.

Los agentes cambian esa ecuación. No solo consumen o generan información. Actúan.

Un agente puede ejecutar herramientas, invocar subagentes, colaborar con otros agentes, llamar a APIs, acceder a datos, usar credenciales, llamar a servidores MCP, generar y ejecutar código, y tomar una serie de decisiones de forma autónoma en busca de un objetivo. Una búsqueda implacable. Una vez que eso ocurre, la cuestión central ya no es simplemente si el modelo produjo una respuesta segura. Es si las acciones que realiza son seguras de ejecutar.

Las recientes divulgaciones de OpenAI hacen que esa distinción sea cada vez más importante. OpenAI ha comenzado informar sistemáticamente sobre comportamientos inesperados o preocupantes del modelo, mientras su trabajo más amplio de seguridad aborda cada vez más los riesgos que surgen a medida que los modelos adquieren mayor autonomía y acceso a herramientas.

La lección no es que los agentes sean inherentemente inseguros. Es que la frontera de seguridad se ha desplazado.

Los sistemas de agentes requieren un modelo operativo diferente

La IA agente no es simplemente otra arquitectura de aplicación. El propio software está determinando cada vez más cómo se realiza el trabajo.

Un agente puede encontrarse con un obstáculo, interpretar lo que ocurrió y elegir otro camino. Puede combinar herramientas de formas que no fueron diseñadas explícitamente de antemano. Puede generar código y ejecutar ese código como parte del mismo flujo de trabajo. La secuencia de acciones puede cambiar cada vez que el agente se ejecuta.

Al mismo tiempo, la población que crea este software se está expandiendo de manera dramática. Como hemos escrito sobre el auge del desarrollador ciudadano, la IA está convirtiendo a personas que nunca se consideraron desarrolladoras en creadoras de software. Un comercial, analista financiero o líder de operaciones ahora puede describir lo que desea y crear un agente capaz de interactuar con sistemas empresariales reales.

Eso representa una expansión extraordinaria de quién puede crear software y lo que ese software puede hacer. También significa que las organizaciones tendrán mucho más software autónomo operando en muchas más áreas del negocio.

La respuesta no puede ser simplemente aplicar los controles de ayer a este nuevo entorno. Si las empresas no pueden operar estos sistemas de forma segura, la alternativa será restringirlos y, en última instancia, ralentizar los propios aumentos de productividad que intentan lograr.

El control debe existir donde los agentes actúan

A medida que la IA se vuelve más autónoma, el desafío pasa de controlar lo que se introduce en un modelo a controlar lo que ocurre cuando sus decisiones se convierten en acciones.

Un agente puede comenzar con un usuario aprobado, un prompt aceptable, credenciales legítimas y acceso autorizado a una herramienta. Ninguna de esas cosas garantiza que cada acción posterior deba ejecutarse.

Aquí es donde el tiempo de ejecución se vuelve crítico. Las organizaciones necesitan entender no solo quién es el agente, sino formular preguntas sobre lo que está haciendo ahora:

• Qué herramientas está invocando,
• Qué recursos está accediendo, qué código está intentando ejecutar, 
• Qué subagentes y otras comunicaciones de agentes están ocurriendo,
• Qué ocurrió inmediatamente antes de esa acción y si su comportamiento sigue dentro de los límites aceptables,
• Qué está haciendo el agente bajo la cubierta en tiempo de ejecución.

Y cuando no lo hace, el sistema necesita la capacidad de intervenir en tiempo real antes de la ejecución.

Esta es una distinción importante. La observabilidad le dice lo que sucedió. El control en tiempo de ejecución le brinda la capacidad de contener la capa de ejecución del agente.

Eso se vuelve especialmente importante porque el comportamiento agente es tanto no determinista como multidimensional. Una acción bloqueada hará que un agente intente otro enfoque hacia su objetivo. Una llamada a herramienta aparentemente inofensiva puede volverse riesgosa por lo que la precedió. Simplemente observar o “detectar y responder” llega demasiado tarde en el juego para controlar realmente el acceso y la ejecución del agente.

El tiempo de ejecución necesita estar en línea y ser sincrónico para poder seguir el ritmo de la velocidad de la IA. El desafío fundamental al adoptar tales enfoques se basa en el pensamiento de la era pre-IA, que depende de una metodología de análisis y detección más prolongada. Esos principios ya no se aplican en el mundo actual.

La seguridad en tiempo de ejecución requiere contexto, no solo controles

Existe una tendencia a responder a los riesgos emergentes de IA reduciendo la autonomía: otorgar a los agentes menos permisos, requerir la aprobación humana con mayor frecuencia o limitar los entornos en los que operan. Ese control a veces será apropiado, particularmente para acciones de alto riesgo.

Pero no pueden ser el modelo operativo a largo plazo.

Si un ser humano debe aprobar cada decisión significativa, hemos eliminado gran parte del valor de un agente autónomo. Al depender de interacciones estrictas de humano en el bucle, hemos transformado a algunos de los individuos más talentosos en “pulsadores de botones”. Esto impacta directamente la capacidad de comprender el alcance y las interdependencias de la base de código sobre la que operan las organizaciones agenticas. 

La promesa económica de la IA agentica proviene precisamente de permitir que el software realice trabajo significativo de forma independiente y continua, 24/7. Por lo tanto, el objetivo no debe ser eliminar la autonomía, sino hacer que una mayor autonomía sea segura de operar.

Eso requiere controles independientes fuera del propio proceso de razonamiento del agente. Anthropic’s research into desalineación agentica, realizada en simulaciones deliberadamente construidas, ilustra por qué esto es importante. A medida que los sistemas se vuelven más autónomos, su comportamiento puede divergir de lo que sus operadores esperan, incluso cuando el objetivo original parece claro.

La implicación práctica es sencilla: las organizaciones no pueden confiar exclusivamente en entender lo que se le pidió a un agente que hiciera. Necesitan comprender y controlar lo que realmente hace.

El agente ya no es la parte difícil

La industria ha invertido una enorme energía en hacer que los agentes sean más capaces. Estamos acercándonos rápidamente al punto en que la capacidad ya no es la principal limitación para la adopción empresarial.

La limitación es el control.

A medida que los agentes se vuelven más autónomos, aumentan las consecuencias de sus acciones, y los controles diseñados para software predecible se vuelven menos efectivos. Las empresas necesitan visibilidad continua de lo que los agentes están haciendo, el contexto para entender por qué esas acciones son importantes y la capacidad de intervenir sin colocar a un humano en medio de cada decisión.

Eso cambia lo que significa operar software. 

• Los desarrolladores necesitan entender cómo se comportan realmente los agentes, no solo cómo fueron diseñados para comportarse. 
• Los equipos de plataforma y seguridad deben establecer límites que sigan siendo aplicables mientras los agentes actúan a través de sistemas y herramientas. 
• Los líderes empresariales necesitan la confianza de que una mayor autonomía no significa renunciar al control.

Esto es fundamentalmente diferente de asegurar otra aplicación o gobernar otro modelo. Estamos introduciendo actores autónomos en entornos empresariales: sistemas que pueden razonar, tomar decisiones y actuar. Si las organizaciones no pueden ver y controlar esas acciones a medida que ocurren, eventualmente tendrán que limitar lo que los agentes pueden hacer, restringiendo gran parte del valor que la autonomía se suponía debía crear.

La respuesta no es asumir que podemos prevenir cada decisión errónea. A medida que los sistemas se vuelven más autónomos y no deterministas, eso se vuelve cada vez más difícil de garantizar.

El objetivo es asegurarse de que una acción mala o destructiva no resulte en un resultado adverso.

Esto requiere una nueva capa operativa alrededor de los agentes: una que pueda observar el comportamiento de forma continua, comprender las acciones en contexto, aplicar límites a lo largo de toda la pila de ejecución agentica e intervenir antes de que una acción no intencionada o inaceptable se convierta en un resultado irreversible.

La próxima fase de la IA empresarial no se definirá solo por cuán capaces se vuelvan los agentes. Se definirá por cuánta autonomía pueden otorgar de forma segura las organizaciones.