Agentes de IA estão prontos para agir. A maioria das empresas não está pronta para deixá‑los.

Durante a maior parte da era da IA generativa, nos concentramos no que os modelos dizem e no que inserimos neles. Inspecionamos prompts, filtramos respostas, realizamos red‑team nos modelos e construímos controles em torno das entradas e saídas. Essas proteções ainda são importantes, mas foram projetadas para um mundo em que a IA gerava principalmente algo para um ser humano consumir.

Os agentes mudam essa equação. Eles não apenas consomem ou geram informação. Eles agem.

Um agente pode executar ferramentas, invocar sub‑agentes, colaborar com outros agentes, chamar APIs, acessar dados, usar credenciais, chamar servidores MCP, gerar e executar código, e tomar uma série de decisões autonomamente na busca de um objetivo. Uma busca implacável. Quando isso ocorre, a questão central deixa de ser simplesmente se o modelo produziu uma resposta segura. Passa a ser se as ações que ele realiza são seguras de executar.

Divulgações recentes da OpenAI tornam essa distinção cada vez mais importante. A OpenAI começou relatando sistematicamente comportamentos inesperados ou preocupantes do modelo, enquanto seu trabalho mais amplo de segurança aborda cada vez mais os riscos que surgem à medida que os modelos ganham maior autonomia e acesso a ferramentas.

A lição não é que os agentes sejam inerentemente inseguros. É que a fronteira de segurança mudou.

Sistemas de agentes exigem um modelo operacional diferente

IA agente não é simplesmente outra arquitetura de aplicação. O próprio software está determinando cada vez mais como o trabalho é realizado.

Um agente pode encontrar um obstáculo, interpretar o que aconteceu e escolher outro caminho. Ele pode combinar ferramentas de maneiras que não foram explicitamente projetadas antecipadamente. Ele pode gerar código e executar esse código como parte do mesmo fluxo de trabalho. A sequência de ações pode mudar a cada execução do agente.

Ao mesmo tempo, a população que cria esse software está se expandindo dramaticamente. Como nós escrito sobre a ascensão do desenvolvedor cidadão, a IA está transformando pessoas que nunca se consideraram desenvolvedoras em criadoras de software. Um profissional de marketing, analista financeiro ou líder de operações pode agora descrever o que deseja e criar um agente capaz de interagir com sistemas empresariais reais.

Isso representa uma expansão extraordinária de quem pode construir software e o que esse software pode fazer. Também significa que as organizações terão muito mais software autônomo operando em muito mais áreas do negócio.

A resposta não pode ser simplesmente aplicar os controles de ontem a este novo ambiente. Se as empresas não conseguirem operar esses sistemas com segurança, a alternativa será restringi‑los e, em última análise, desacelerar os ganhos de produtividade que estão tentando alcançar.

O controle deve existir onde os agentes atuam

À medida que a IA se torna mais autônoma, o desafio passa de controlar o que entra em um modelo para controlar o que acontece quando suas decisões se transformam em ações.

Um agente pode começar com um usuário aprovado, um prompt aceitável, credenciais legítimas e acesso autorizado a uma ferramenta. Nenhum desses elementos garante que toda ação subsequente deva ser executada.

É aqui que o tempo de execução se torna crítico. As organizações precisam entender não apenas quem é o agente, mas fazer perguntas sobre o que ele está fazendo agora:

• Quais ferramentas ele está invocando,
• Quais recursos ele está acessando, qual código ele está tentando executar, 
• Quais sub‑agentes e outras comunicações de agente estão ocorrendo,
• O que aconteceu imediatamente antes dessa ação e se seu comportamento permanece dentro dos limites aceitáveis,
• O que o agente está fazendo nos bastidores durante a execução.

E quando não o faz, o sistema precisa ter a capacidade de intervir em tempo real antes da execução.

Esta é uma distinção importante. A observabilidade informa o que aconteceu. O controle em tempo de execução lhe dá a capacidade de conter a camada de execução do agente.

Isso se torna especialmente importante porque o comportamento agente é tanto não determinístico quanto multidimensional. Uma ação bloqueada fará com que um agente tente outra abordagem em direção ao seu objetivo. Uma chamada de ferramenta aparentemente inofensiva pode se tornar arriscada por causa do que a precedeu. Simplesmente observar ou “detectar e responder” é tarde demais no jogo para realmente controlar o acesso e a execução do agente.

O tempo de execução precisa ser inline e síncrono para conseguir acompanhar a velocidade da IA. O desafio fundamental ao adotar tais abordagens baseia‑se no pensamento da era pré‑IA, que depende de uma metodologia de análise e detecção mais longa. Esses princípios já não se aplicam ao mundo de hoje.

Segurança em tempo de execução requer contexto, não apenas controles

Existe uma tendência de responder ao risco emergente de IA reduzindo a autonomia: conceder aos agentes menos permissões, exigir aprovação humana com mais frequência ou restringir os ambientes nos quais operam. Esses controles às vezes serão adequados, particularmente para ações de alto risco.

Mas eles não podem ser o modelo operacional de longo prazo.

Se um ser humano precisa aprovar cada decisão significativa, removemos grande parte do valor de um agente autônomo. Ao depender de interações rigorosas de humano-no-loop, transformamos alguns dos indivíduos mais talentosos em “apertadores de botões”. Isso tem um impacto direto na capacidade de compreender o escopo e as interdependências da base de código sobre a qual as organizações agente estão operando.

A promessa econômica da IA agente vem precisamente de permitir que o software execute trabalhos significativos de forma independente e contínua – 24/7. O objetivo, portanto, não deve ser eliminar a autonomia. Deve ser tornar a maior autonomia segura para operar.

Isso requer controles independentes fora do próprio processo de raciocínio do agente. A pesquisa da Anthropic sobre desalinhamento agente, conduzida em simulações deliberadamente construídas, ilustra por que isso importa. À medida que os sistemas se tornam mais autônomos, seu comportamento pode divergir do que seus operadores esperam, mesmo quando o objetivo original parece claro.

A implicação prática é direta: as organizações não podem confiar exclusivamente na compreensão do que foi solicitado a um agente. Elas precisam entender e controlar o que ele realmente faz.

The Agent Isn’t the Hard Part Anymore

A indústria dedicou uma enorme energia para tornar os agentes mais capazes. Estamos nos aproximando rapidamente do ponto em que a capacidade deixa de ser a principal restrição à adoção empresarial.

A restrição é o controle.

À medida que os agentes se tornam mais autônomos, as consequências de suas ações aumentam — e os controles projetados para softwares previsíveis tornam-se menos eficazes. As empresas precisam de visibilidade contínua sobre o que os agentes estão fazendo, do contexto para entender por que essas ações são importantes e da capacidade de intervir sem colocar um humano no meio de cada decisão.

Isso muda o que significa operar software. 

• Os desenvolvedores precisam entender como os agentes realmente se comportam, não apenas como foram projetados para se comportar. 
• As equipes de plataforma e segurança precisam estabelecer limites que permaneçam aplicáveis à medida que os agentes atuam em sistemas e ferramentas. 
• Os líderes empresariais precisam de confiança de que maior autonomia não significa abrir mão do controle.

Isso é fundamentalmente diferente de proteger outro aplicativo ou governar outro modelo. Estamos introduzindo atores autônomos em ambientes empresariais: sistemas que podem raciocinar, tomar decisões e agir. Se as organizações não puderem ver e controlar essas ações à medida que acontecem, acabarão por restringir o que os agentes podem fazer, limitando grande parte do valor que a autonomia deveria criar.

A resposta não é assumir que podemos prevenir toda decisão ruim. À medida que os sistemas se tornam mais autônomos e não-determinísticos, isso se torna cada vez mais difícil de garantir.

O objetivo é garantir que uma ação ruim ou destrutiva não resulte em um desfecho adverso.

Isso requer uma nova camada operacional ao redor dos agentes: uma que possa observar o comportamento continuamente, entender as ações no contexto, impor limites em toda a pilha de tempo de execução agente e intervir antes que uma ação não intencional ou inaceitável se torne um resultado irreversível.

A próxima fase da IA empresarial não será definida apenas por quão capazes os agentes se tornam. Será definida por quanta autonomia as organizações podem conceder a eles com segurança.