Quem Vigia os Agentes? A Nova Era de Supervisão de IA

Quando se discute agentes de IA, a imaginação da maioria das pessoas evoca uma imagem de sistemas superinteligentes agindo por conta própria, fazendo coisas imprevisíveis. Então, um dia, o agente-secretário pode ser incrivelmente útil, e no dia seguinte, pode dar suas credenciais bancárias a uma pessoa aleatória.

A parte “superinteligente” não é realmente importante nessa preocupação. A questão-chave não é quão “inteligente” um agente de IA é, mas sim quanta liberdade e acesso à infraestrutura ele tem.

Na prática, o valor de um agente é definido menos pelo seu nível de inteligência e mais pelos limites de sua autoridade. Mesmo um agente relativamente simples, uma vez que tenha acesso a conjuntos de dados, sistemas corporativos, operações financeiras ou APIs externas, ganha a capacidade de influenciar processos em uma escala que exige atenção especial e supervisão.

É por isso que os sistemas de monitoramento e contenção estão se tornando cada vez mais vitais, não apenas no nível do modelo, mas também no nível de seu comportamento dentro da infraestrutura.

Não é coincidência que as iniciativas destinadas a observar e controlar a atividade do agente tenham ganhado impulso nos últimos anos. Essas soluções práticas já estão sendo implementadas por grandes empresas de tecnologia.

Como um agente funciona

Para entender como a supervisão funciona, primeiro precisamos olhar para o que um agente consiste. Em termos simplificados, pode ser visto como uma combinação de um núcleo cognitivo, o “cérebro” e ferramentas.

Ferramentas são serviços externos e integrações que o agente pode acessar. Como exemplo, para um agente de viagens, isso pode incluir Booking.com ou Airbnb para encontrar hotéis, agregadores de voos para comprar passagens e sistemas de pagamento ou cartões de crédito para fazer pagamentos. Por si só, essas ferramentas não são inteligentes; elas simplesmente permitem que o agente atue no mundo real.

O núcleo cognitivo é um modelo de linguagem (LLM). Ele permite que o agente trabalhe de forma significativa com solicitações formuladas por humanos. Por exemplo, a solicitação “Quero voar para a Europa por três dias no próximo mês, onde o clima será agradável” é muito vaga. O agente pede ao LLM para “quebrar a solicitação em categorias.” Em resposta, ele recebe parâmetros estruturados: onde, quando, por quanto tempo e sob quais condições.

Anteriormente, o ChatGPT apenas gerava respostas de texto. Agora, incorporado em um agente, ele se torna uma combinação de “cérebro + ferramentas”, capaz de não apenas explicar, mas agir. O LLM estrutura a tarefa, e as ferramentas permitem que ele execute ações específicas.

Como a supervisão funciona

Nessa etapa, um sistema de controle entra em ação. Eu chamo essa solução de segurança de “cão de guarda” (algum tempo atrás, eu até considerei criar uma startup focada nisso), um tipo de cão de guarda construído dentro do agente. Seu trabalho é monitorar as ações do agente e verificá-las contra a solicitação original. O objetivo é garantir que o agente opere dentro dos limites pretendidos.

Voltando ao exemplo de viagens: digamos que nosso usuário deseja reservar uma viagem de três dias para a Europa. O agente interage com serviços de previsão do tempo, passagens aéreas e conta bancária para pagamento. Tudo parece normal. Mas de repente, o “cão de guarda” nota o agente solicitando acesso a um banco de dados corporativo ou uma conta bancária não relacionada ao pagamento da viagem. Isso dispara um alerta de segurança e sinaliza comportamento suspeito.

É importante entender a escala: um agente pode atender a milhares de usuários por dia, com cada solicitação acionando centenas de operações, resultando em milhões de ações. O “cão de guarda” analisa todas as ações e gera estatísticas. Relatórios podem indicar: “13% das ações foram redundantes, 7% relacionadas à segurança financeira.” Detalhes adicionais explicam quais ações específicas pareciam suspeitas.

Essa ferramenta permite que os desenvolvedores vejam a imagem completa e respondam prontamente a anomalias, formando uma solução prática de controle de IA que combina monitoramento em tempo real, detecção de anomalias e responsabilidade.

Quem se beneficia do ”cão de guarda”: desenvolvedores ou usuários?

Primariamente, o “cão de guarda” é destinado a desenvolvedores para garantir que o sistema funcione corretamente. No entanto, também é possível imaginar uma versão externa: um agente de observação separado que monitora o agente principal. Isso adiciona outra camada de segurança de IA, estendendo a supervisão além do sistema interno.

Há uma limitação importante: o processo interno do agente permanece “fechado.” Podemos apenas observar seu comportamento, não seus processos cognitivos. Uma analogia com humanos: posso ver alguém pegar um telefone, discar um número e falar. Mas não sei qual número foi discado, qual era a intenção ou o que foi dito. Da mesma forma, um observador externo vê as ações do agente, mas não seu núcleo cognitivo.

Outra consideração intrigante: os agentes podem tentar contornar ou desativar tais observadores no futuro, assim como os humanos muitas vezes resistem à vigilância constante. Embora isso possa soar como ficção científica hoje, é possível. Integrar soluções de segurança de IA internas, detecção de anomalias e supervisão em camadas pode ajudar a mitigar esses riscos e manter o controle sobre sistemas cada vez mais autônomos.

Regras primitivas ou análise contextual?

Hoje, esses sistemas de “cão de guarda” operam em um princípio simples: “permitido” ou “não permitido.” Por exemplo, se a regra diz “acessar a Amazon é proibido” e o agente vai lá, uma violação é registrada. Mas essa abordagem não entende o contexto.

Um sistema mais avançado deve analisar a violação e seu motivo. Por que o agente foi para a Amazon? Foi justificado em termos da tarefa? Aqui, estamos falando sobre supervisão contextual, semelhante ao trabalho de um psicólogo.

Por agora, essas soluções existem apenas como conceitos. Os sistemas existentes são limitados a um controle estrito preto ou branco. Mas no futuro, à medida que os agentes se tornam mais complexos, um “cão de guarda” capaz de considerar o contexto surgirá.

Hoje, estamos vendo um crescimento nas iniciativas de monitoramento de agentes. Elas estão sendo ativamente desenvolvidas no nível das maiores empresas de tecnologia. Por exemplo, a ActiveFence trabalha com grandes jogadores como a NVIDIA e a Amazon.

Além disso, é seguro supor que o Google, a OpenAI, a Anthropic e a Amazon já usem seus próprios sistemas internos de “cão de guarda”, análise e telemetria.

Eu notei essa demanda entre os clientes empresariais da Keymakr – a supervisão e o monitoramento estão se tornando uma parte central da infraestrutura de IA. Sem eles, a implantação de agentes em larga escala seria impossível.