Líderes de pensamento
Da intenção à ação autônoma: governança de agentes de IA nas empresas

Pontos-chaveA governança deve estar dentro do produto porque define quais responsabilidades uma…
Ver mais
- A governança deve estar dentro do produto porque define quais responsabilidades uma organização pode delegar com segurança.
- Um plano de controle agêntico vincula a identidade do agente e as capacidades aprovadas à aplicação de políticas e à supervisão da execução.
- As organizações devem começar com um fluxo de trabalho restrito e expandir a autoridade do agente apenas quando as evidências operacionais o sustentarem.
Uma instrução como “restabelecer o serviço” parece simples até que um agente de IA precise decidir o que ela autoriza. Reiniciar uma aplicação, alterar uma configuração e provisionar infraestrutura podem contribuir para esse objetivo, mas cada ação tem consequências diferentes. À medida que os agentes deixam de recomendar ações e passam a executá-las, as organizações precisam estabelecer uma ligação explícita entre a intenção de negócio e a autoridade operacional.
A governança deve fazer parte do produto, pois determina quais responsabilidades uma organização pode delegar com confiança. Um agente capaz de concluir uma tarefa de forma confiável, dentro dos limites acordados e com evidências de suas ações, oferece uma base mais sólida para a adoção empresarial do que um agente cuja autoridade permanece ambígua. O desafio arquitetônico é incorporar esses limites ao funcionamento do sistema.
Colocar esses limites em prática exige uma forma consistente de governar as ações dos agentes. Um plano de controle para agentes pode oferecer essa base ao conectar a identidade dos agentes, os recursos aprovados, a aplicação de políticas, os controles de memória e a supervisão da execução nos sistemas empresariais existentes. Ele estabelece quem solicitou uma ação, qual autoridade a respalda, quais recursos ela pode afetar e como seu resultado será verificado.
Estas são três diretrizes práticas que recomendamos para governar agentes de IA nas empresas:
Vincule os recursos a uma autoridade explícita
Todo agente deve ter um responsável identificável, uma finalidade definida e permissões adequadas à sua tarefa. Isso está alinhado ao Framework de Gestão de Riscos de IA do NIST, que trata a governança como uma função contínua ao longo do ciclo de vida da IA. No caso dos agentes, esse princípio deve se estender até o momento em que uma ação altera um sistema empresarial. Quando um agente delega uma tarefa a outro, esses limites devem permanecer intactos.
A descoberta de recursos exige disciplina semelhante: um catálogo aprovado deve descrever a finalidade, as entradas, as saídas, os ambientes permitidos e os possíveis efeitos colaterais de cada ferramenta. Descobrir uma ferramenta não concede permissão para executá-la; por isso, a autorização deve ser verificada no momento em que uma ação é tentada. As orientações da OWASP sobre agência excessiva reforçam essa distinção com recomendações para limitar funcionalidades e permissões e aplicar a autorização nos sistemas subsequentes.
Considere um fluxo ilustrativo de recuperação de serviço no qual um agente investiga a lentidão de uma aplicação e propõe reiniciar um componente. A política permite o acesso à telemetria aprovada, enquanto uma reinicialização em produção exige evidências de que a redundância está funcionando corretamente e a aprovação do responsável pelo serviço. Essas condições transformam uma instrução ampla em uma decisão operacional delimitada.
Transforme a intenção operacional em ferramentas governadas
Se houver uma ferramenta de recuperação aprovada, o agente poderá preparar uma solicitação usando esse recurso. Se não houver, poderá ajudar a criar um script, um procedimento operacional, um esquema de entrada e um descritor da ferramenta, traduzindo a intenção operacional em um recurso proposto que outras pessoas possam inspecionar. Esse é o valor prático da programação de ferramentas por agentes: eles podem contribuir para os mecanismos das operações, além de utilizá-los.
No entanto, gerar esses mecanismos não deve torná-los automaticamente executáveis em produção. Um recurso proposto precisa passar por um processo de liberação independente, com responsabilidade definida, verificações de segurança, controle de versões e testes que cubram entradas inválidas, escopo excessivo, falhas parciais e execuções repetidas. Os testes gerados por agentes podem fornecer evidências, mas uma validação independente deve determinar se o recurso atende aos requisitos operacionais antes de ser incluído no catálogo aprovado.
Os limites de execução devem restringir o escopo dos recursos, o acesso à rede, a duração e os gastos, e qualquer aprovação necessária deve estar vinculada à ação, ao alvo e à versão específicos. Os procedimentos de recuperação também merecem a mesma atenção, pois algumas alterações podem ser revertidas, enquanto outras exigem ações compensatórias ou não podem ser desfeitas. Cada recurso deve deixar essas limitações claras e oferecer aos operadores uma forma testada de suspender novas execuções.
A memória introduz outra responsabilidade de governança, pois as observações retidas podem influenciar decisões futuras muito depois de o contexto original ter mudado. As organizações devem definir o que os agentes podem armazenar, por quanto tempo as informações ficam disponíveis e quais limites de acesso se aplicam, com mecanismos de rastreabilidade da origem e de correção. Uma permissão memorizada nunca deve se tornar uma autorização permanente, e conhecimentos operacionais desatualizados não devem orientar silenciosamente novas ações.
Amplie a autonomia com base em evidências
Uma supervisão eficaz depende de evidências que conectem a solicitação original, a política aplicável, a aprovação, a versão da ferramenta, o resultado da execução e a verificação posterior. Os revisores humanos precisam de contexto suficiente para avaliar a alteração proposta, suas incertezas e as opções de recuperação, sem serem sobrecarregados por detalhes desnecessários. Para viabilizar essa supervisão, o escalonamento deve seguir condições definidas, como observações conflitantes ou um estado desconhecido do sistema, em vez de depender exclusivamente da confiança expressa pelo agente.
Os líderes de TI devem começar com um fluxo de trabalho limitado e ampliar a autoridade à medida que as evidências operacionais justificarem essa expansão, medindo os resultados bem-sucedidos juntamente com as exceções, o tempo de recuperação, as violações de políticas e o esforço de supervisão. Essas medidas ajudam a determinar se um agente está pronto para assumir mais responsabilidades e onde são necessárias salvaguardas ou testes adicionais.
A oportunidade está em tornar a delegação um processo repetível, no qual cada capacidade aprovada estabeleça o que um agente pode fazer, em quais condições e com que responsabilização. Essa disciplina pode fortalecer a resiliência e a eficiência, além de dar às organizações uma base defensável para conceder maior autonomia. A principal conclusão é esta: a governança justifica seu lugar no produto ao tornar possível essa evolução.












