Líderes de opinión

De la intención a la acción autónoma: cómo gobernar los agentes de IA en la empresa

Casey Kindiger
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveLa gobernanza debe residir dentro del producto porque define qué responsabilidades…
Ver más
  • La gobernanza debe residir dentro del producto porque define qué responsabilidades puede delegar de forma segura una organización.
  • Un plano de control agéntico vincula la identidad del agente y las capacidades aprobadas con la aplicación de políticas y la supervisión de la ejecución.
  • Las organizaciones deben comenzar con un flujo de trabajo acotado y ampliar la autoridad del agente solo a medida que la evidencia operativa lo respalde.

Una instrucción como «restablecer el servicio» parece sencilla hasta que un agente de IA debe determinar qué autoriza. Reiniciar una aplicación, cambiar una configuración y aprovisionar infraestructura pueden contribuir a ese objetivo, pero cada acción tiene consecuencias distintas. A medida que los agentes pasan de recomendar acciones a ejecutarlas, las organizaciones necesitan vincular explícitamente la intención empresarial con la autoridad operativa.

La gobernanza debe formar parte del producto porque determina qué responsabilidades puede delegar una organización con confianza. Un agente que puede completar una tarea de forma fiable, dentro de los límites acordados y aportando pruebas de sus acciones, ofrece una base más sólida para su adopción empresarial que otro cuya autoridad sigue siendo ambigua. El reto arquitectónico consiste en integrar esos límites en el funcionamiento del sistema.

Para aplicar esos límites, se necesita una forma coherente de gobernar cómo actúan los agentes. Un plano de control para agentes puede proporcionar esta base al conectar la identidad del agente, las capacidades aprobadas, la aplicación de políticas, los controles de memoria y la supervisión de la ejecución en los sistemas empresariales existentes. Establece quién solicitó una acción, qué autoridad la respalda, qué recursos puede afectar y cómo se verificará el resultado.

Estas son tres pautas prácticas que recomendamos para gobernar los agentes de IA en la empresa:

Vincular las capacidades con una autoridad explícita

Cada agente debe tener un responsable identificable, un propósito definido y permisos adecuados para su tarea. Esto concuerda con el Marco de gestión de riesgos de IA del NIST, que considera la gobernanza una función continua a lo largo del ciclo de vida de la IA. En el caso de los agentes, este principio debe aplicarse hasta el momento en que una acción modifica un sistema empresarial. Cuando un agente delega en otro, esos límites deben mantenerse.

La búsqueda de capacidades exige una disciplina similar: un catálogo aprobado debe describir el propósito, las entradas, las salidas, los entornos permitidos y los posibles efectos secundarios de cada herramienta. Encontrar una herramienta no otorga permiso para ejecutarla, por lo que la autorización debe comprobarse al intentar realizar una acción. Las directrices de OWASP sobre el exceso de agencia refuerzan esta distinción al recomendar limitar la funcionalidad y los permisos, y aplicar la autorización en los sistemas posteriores.

Pensemos en un flujo ilustrativo de recuperación del servicio en el que un agente investiga la lentitud de una aplicación y propone reiniciar un componente. La política permite acceder a la telemetría aprobada, mientras que un reinicio en producción exige pruebas de que la redundancia funciona correctamente y la aprobación del responsable del servicio. Estas condiciones convierten una instrucción amplia en una decisión operativa acotada.

Convertir la intención operativa en herramientas sujetas a gobernanza

Si existe una herramienta de recuperación aprobada, el agente puede preparar una solicitud usando esa capacidad. Si no existe, puede ayudar a crear un script, un manual de operaciones, un esquema de entradas y un descriptor de la herramienta, traduciendo la intención operativa en una capacidad propuesta que otras personas puedan examinar. Este es el valor práctico de la programación de herramientas por agentes: estos pueden contribuir a los mecanismos de las operaciones, además de utilizarlos.

Sin embargo, generar esos mecanismos no debería permitir automáticamente su ejecución en producción. Una capacidad propuesta requiere un proceso de lanzamiento independiente, con responsables que rindan cuentas, controles de seguridad, control de versiones y pruebas que abarquen entradas no válidas, alcance excesivo, fallos parciales y ejecuciones repetidas. Las pruebas generadas por agentes pueden aportar pruebas, pero una validación independiente debe determinar si la capacidad cumple los requisitos operativos antes de incorporarla al catálogo aprobado.

Los límites de ejecución deben restringir el alcance de los recursos, el acceso a la red, la duración y el gasto; además, cualquier aprobación necesaria debe vincularse a la acción, el objetivo y la versión concretos. Las medidas de recuperación merecen la misma atención, porque algunos cambios pueden revertirse, mientras que otros requieren acciones compensatorias o no pueden deshacerse. Cada capacidad debe dejar claras esas limitaciones y ofrecer a los operadores un método probado para suspender nuevas ejecuciones.

La memoria plantea otra responsabilidad de gobernanza, porque las observaciones conservadas pueden influir en decisiones futuras mucho después de que haya cambiado su contexto original. Las organizaciones deben definir qué pueden almacenar los agentes, durante cuánto tiempo estará disponible la información y qué límites de acceso se aplican, con mecanismos de trazabilidad y corrección. Un permiso recordado nunca debe convertirse en una autorización permanente, y los conocimientos operativos desactualizados no deben orientar nuevas acciones sin que nadie lo advierta.

Ampliar la autonomía a partir de la evidencia

Una supervisión eficaz depende de pruebas que vinculen la solicitud original, la política aplicable, la aprobación, la versión de la herramienta, el resultado de la ejecución y la verificación posterior. Quienes realizan la revisión humana necesitan contexto suficiente para evaluar el cambio propuesto, su grado de incertidumbre y las opciones de recuperación, sin verse abrumados por detalles innecesarios. Para facilitar esa supervisión, la escalada debe responder a condiciones definidas, como observaciones contradictorias o un estado del sistema desconocido, en lugar de depender únicamente de la confianza que manifieste el agente.

Los responsables de TI deberían comenzar con un flujo de trabajo acotado y ampliar la autoridad a medida que las pruebas operativas lo justifiquen. Para ello, deben medir los resultados satisfactorios junto con las excepciones, el tiempo de recuperación, las infracciones de las políticas y el esfuerzo de supervisión. Estas métricas ayudan a determinar si un agente está preparado para asumir más responsabilidades y dónde hacen falta salvaguardias o pruebas adicionales.

La oportunidad consiste en hacer que la delegación sea repetible y que cada capacidad aprobada establezca qué puede hacer un agente, en qué condiciones y con qué rendición de cuentas. Esa disciplina puede reforzar la resiliencia y la eficiencia, y ofrecer a las organizaciones una base defendible para conceder mayor autonomía. La conclusión principal es esta: la gobernanza se gana un lugar en el producto al hacer posible esa progresión.

Casey Kindiger es el Fundador y CEO de Droma (antes Grokstream), una empresa de IA empresarial que avanza operaciones predictivas y basadas en agentes, y un emprendedor en serie que previamente fundó Resolve Systems. Con más de 25 años en tecnología empresarial, una década liderando equipos de investigación aplicada en IA/ML, y una maestría en Psicología & Neurociencia de la Salud Mental de King’s College London, aporta una perspectiva distintiva sobre cómo la cognición humana puede informar el desarrollo de sistemas de IA más capaces y confiables.