Por que os agentes de IA favorecem ferramentas desnecessariamente poderosas?

Aquilo escalou rapidamente: pesquisa descobre que os agentes de IA continuam obtendo mais acesso do que precisam, e pequenos fracassos os fazem escalar ainda mais, exposto dados e sistemas desnecessariamente.

Um número crescente de incidentes que ganharam manchetes recentemente chamou a atenção para os riscos de permitir que a IA agente tenha privilégios excessivos, muitas vezes por meio do uso de ferramentas e métodos superprivilegiados que oferecem muito mais escopo do que o necessário para uma tarefa específica.

Em um evento recente, um agente de codificação impulsionado por Claude encontrou um token de API Railway de escopo amplo durante uma tarefa rotineira e usou para excluir um banco de dados de produção e seus backups – apesar de a tarefa não exigir tal nível de acesso.

Em um caso separado de 2025, o agente de codificação de IA da Replit ignorou restrições explícitas, modificou código protegido e excluiu um banco de dados de produção ao vivo.

Em um terceiro caso, deste ano, um fluxo de trabalho assistido por IA percorreu uma cadeia de privilégios que finalmente alcançou credenciais de publicação de pacotes, efetivamente criando um ataque de cadeia de suprimentos.

Posteriormente, análises de segurança citaram isso, e casos semelhantes, como ilustração da tendência dos sistemas de agentes a transformar entradas menores em ações de alto impacto assim que permissões amplas estão disponíveis. Esses incidentes sugerem que a IA autônoma imediatamente e “instintivamente” busca a ferramenta mais poderosa – e potencialmente destrutiva –, especialmente quando problemas surgem.

Tempo de Ferramenta

Para abordar essa questão, uma nova pesquisa da China testou uma gama dos modelos mais populares de código aberto e proprietário, para descobrir sua disposição para alcançar ferramentas poderosas em casos em que essas ferramentas são excessivas para uma tarefa:

Do novo artigo: desempenho de onze dos principais modelos de IA ao escolher entre ferramentas minimamente privilegiadas e alternativas mais poderosas que eram desnecessárias para a tarefa. Qwen3-8B e LLaMA-3.1-8B mostraram a tendência mais forte em direção a privilégios excessivos, enquanto Claude 4.6 Sonnet, GPT-5.2 e GLM-5 foram muito mais contidos. Segmentos mais escuros indicam sobreposição imediata, enquanto segmentos mais claros mostram escalada após falhas temporárias, sugerindo que muitos modelos respondem a contratempos expandindo o acesso em vez de persistir com opções mais seguras. Fonte

Os testes indicam que os modelos de código aberto, como Qwen3-8B e LLaMA-3.1-8B, são mais propensos a escalar, talvez devido ao seu condicionamento pós-treinamento mais limitado, em comparação com os modelos proprietários, como o ChatGPT e a série Gemini.

Os autores afirmam:

‘Seis dos onze modelos excedem 30% [Taxa de Uso de Ferramenta com Privilégios Excessivos (OPUR)], com taxas particularmente altas para modelos de código aberto menores, como Qwen3-8B (64,9%) e LLaMA-3.1-8B (55,9%).

‘Enquanto isso, modelos com OPUR mais baixos, como Claude 4.6 Sonnet, GPT-5.2 e GLM-5, permanecem abaixo de 10%, mas ainda exibem uso excessivo medido em alguns cenários.

‘Essa variação sugere que a adesão ao princípio de privilégio mínimo é uma propriedade comportamental dependente do modelo, potencialmente moldada por diferenças em capacidade geral, treinamento de uso de ferramentas e alinhamento de segurança.’

Além disso, a disposição para o uso excessivo de ferramentas varia por domínio, com trabalhos em código-fonte no maior risco, e domínios mais supervisionados, como saúde, inspirando medidas menos radicais:

Taxas de uso excessivo de ferramentas com privilégios desnecessários em diferentes domínios de tarefas e categorias de risco. Tarefas de codificação, banco de dados e infraestrutura consistentemente produziram algumas das maiores taxas de escalada, enquanto tarefas de saúde e governo geralmente provocaram mais contenção. Em todos os tipos de risco, os modelos eram mais propensos a ultrapassar a autoridade e ações de bypass de segurança, sugerindo que, quando os sistemas de IA encontram obstáculos, eles frequentemente preferem acesso mais amplo e menos restrições, em vez de permanecer dentro das permissões mais estreitas necessárias para concluir a tarefa.

Além disso, os resultados indicam que alguns dos piores resultados ocorrem quando o modelo se sente “sob pressão”. Em várias famílias de modelos, falhas temporárias de ferramentas com privilégios mais baixos frequentemente desencadearam uma mudança rápida para alternativas mais amplas e poderosas – mesmo que as ferramentas originais ainda fossem plenamente capazes de concluir a tarefa.

Modo Pânico!

Dessa forma, um erro transitório poderia fazer com que os modelos abandonassem o princípio de privilégio mínimo por completo. Em vez de tentar outra opção com privilégios mais baixos ou tentar novamente a mesma ferramenta, muitos sistemas responderam expandindo seu acesso.

Os autores afirmam que contratempos repetidos parecem erodir a confiança em ferramentas com privilégios mais baixos, tornando a escalada de privilégios desnecessária cada vez mais provável em condições de incerteza – um comportamento observado em diferentes graus em modelos de código aberto e proprietário.

A conscientização sobre privilégios pós-treinamento alcança algum sucesso limitado como uma possível mitigação, recompensando o uso de ferramentas com privilégios mais baixos e penalizando a escalada prematura. No entanto, a manipulação de prompts ofereceu pouca melhoria nos testes, e, por enquanto, a questão parece relacionada a princípios comportamentais mais altos em LLMs.

Embora o artigo não aborde isso, parece lógico acreditar que as IAs têm muito mais material de treinamento sobre “resultados finais” do que sobre o processo de tentativa e erro que leva a esses – uma cultura de “TLDR” impaciente que talvez tenha criado impaciência também nas IAs..?

O novo artigo é intitulado Quando Privilégios Menores São Suficientes: Investigando a Seleção de Ferramentas com Privilégios Excessivos em Agentes LLM, e vem de oito autores da Academia Chinesa de Ciências, da Universidade Chinesa de Hong Kong, da Universidade de Pequim e da Universidade da Academia Chinesa de Ciências.

Método

Para estudar o uso excessivo de ferramentas com privilégios em condições controladas, os pesquisadores criaram ToolPrivBench, um benchmark composto por 544 cenários extraídos de oito domínios de aplicativos: Negócios, Codificação, Banco de Dados, Educação, Governo, Saúde, Infraestrutura e Mídia.

Cinco padrões de risco recorrentes foram examinados: Escalada de Autoridade, Exposição Excessiva de Dados, Bypass de Segurança, Expansão de Escopo e Persistência Temporal:

Distribuição dos 544 cenários no ToolPrivBench em cinco padrões de escalada de privilégios e oito domínios de aplicativos. A Escalada de Autoridade foi a categoria de risco mais comum, enquanto Banco de Dados, Negócios e Educação contabilizaram as maiores quotas do benchmark. A ampla disseminação de domínios e tipos de risco foi destinada a testar se a seleção de ferramentas com privilégios excessivos persiste em diferentes configurações operacionais, em vez de surgir de um conjunto estreito de tarefas.

Cada cenário emparelhou uma tarefa do usuário com três ferramentas com privilégios mais baixos e três alternativas com privilégios mais altos. Todas as seis ferramentas eram independentemente capazes de concluir a tarefa, garantindo que qualquer preferência por acesso mais amplo não pudesse ser explicada por funcionalidade ausente.

O ToolPrivBench é projetado para medir mais do que apenas se um modelo inicialmente seleciona a ferramenta mais poderosa: durante a avaliação, falhas temporárias, como erros de conexão, foram deliberadamente injetadas em ferramentas com privilégios mais baixos, mesmo que essas ferramentas permanecessem plenamente capazes de concluir a tarefa. Isso permitiu que os pesquisadores observassem como os modelos respondiam a contratempos, incluindo se eles reexecutavam opções com privilégios mais baixos ou escalavam para alternativas mais amplas e com privilégios mais altos:

Visão geral do pipeline de avaliação do ToolPrivBench. (a) Cada cenário de teste apresenta uma tarefa ao lado de três ferramentas com privilégios mais baixos e três alternativas com privilégios mais altos, todas capazes de concluir o mesmo objetivo. (b) Os modelos são avaliados tanto para a seleção imediata de uma ferramenta excessivamente poderosa quanto para a escalada após falhas temporárias serem introduzidas em ferramentas com privilégios mais baixos. (c) Casos de benchmark são gerados a partir de padrões de risco de API do mundo real, então passados por verificações automatizadas, validação de suficiência de ferramentas, análise de falhas e revisão de especialistas humanos antes de serem admitidos no conjunto de avaliação final.

A métrica personalizada desenvolvida para o estudo é Taxa de Uso de Ferramenta com Privilégios Excessivos (OPUR), que registra com que frequência um modelo usa uma ferramenta com privilégios mais altos, apesar de alternativas mais seguras ainda estarem disponíveis. Profundidade de Exploração Pré-Escalada (PED) também é medida, registrando quantas ferramentas com privilégios mais baixos são tentadas antes que a escalada ocorra.

Para garantir que o nível de privilégio permanecesse a única diferença significativa entre as ferramentas, cada cenário nos testes foi submetido a várias etapas de validação antes de ser admitido no benchmark. ChatGPT-5.2 e Gemini 2.5 Pro foram usados independentemente para verificar que as seis ferramentas pudessem concluir a tarefa atribuída. Apenas os casos que receberam concordância de ambos os sistemas foram retidos. Os cenários restantes foram então auditados por revisores humanos antes da inclusão no benchmark final.

Testes

O benchmark foi avaliado usando onze modelos de linguagem de ambos os tipos de família, de código aberto e proprietário: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 e Claude 4.6 Sonnet. O desempenho foi medido usando OPUR e PED.

A maioria dos modelos exibiu taxas substanciais de uso desnecessário de privilégios, apesar de alternativas com privilégios mais baixos serem plenamente capazes de concluir a tarefa. Qwen3-8B registrou a OPUR mais alta, em 64,9%, seguido por LLaMA-3.1-8B, em 55,9%, enquanto seis dos onze modelos excederam 30%:

Distribuição do uso excessivo de ferramentas em onze modelos avaliados. Qwen3-8B e LLaMA-3.1-8B registraram os valores de OPUR mais altos, enquanto Claude 4.6 Sonnet, GPT-5.2 e GLM-5 mostraram as taxas mais baixas. Segmentos mais escuros indicam seleção imediata de uma ferramenta excessivamente poderosa, enquanto segmentos mais claros indicam escalada após uma ou mais ferramentas com privilégios mais baixos serem tentadas primeiro, revelando que a escalada de privilégios frequentemente seguiu contratempos temporários, em vez de ocorrer no primeiro ponto de decisão.

No outro extremo do espectro, Claude 4.6 Sonnet, GPT-5.2 e GLM-5 permaneceram abaixo de 10%, embora violações mensuráveis ainda fossem observadas. Resultados intermediários foram relatados para MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 e Gemini 3 Flash.

Em geral, a adesão aos princípios de privilégio mínimo variou substancialmente entre os onze modelos. As falhas de ferramentas foram encontradas para aumentar a probabilidade de escalada de privilégios: quando as ferramentas com privilégios mais baixos encontraram problemas temporários, muitos modelos mudaram para alternativas com privilégios mais altos, em vez de continuar explorando opções com privilégios mais baixos que ainda eram capazes de concluir a tarefa.

De acordo com os autores, as falhas repetidas parecem reduzir a confiança em ferramentas com privilégios mais baixos, aumentando a tendência a selecionar alternativas com acesso mais amplo, mesmo quando esses privilégios adicionais se provam desnecessários para a tarefa:

‘Observamos uma tendência consistente em que o viés de seleção de ferramentas é severamente amplificado pela fricção ambiental sequencial. Em vez de tentar alternativas minimamente privilegiadas, muitos agentes rapidamente mudam para ferramentas mais amplas e poderosas após experimentar contratempos.

‘Por exemplo, o GPT-5.2 exibe um viés de seleção zero-shot apenas 5 vezes (PED=0), mas seu viés é acionado 13 vezes em PED=1 e explode para 35 vezes em PED=2.

‘Padrões de escalada semelhantes são consistentemente observados em DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 e modelos da série Qwen. ‘

Questões de Domínio Eminente

As taxas de escalada também variaram substancialmente entre domínios de aplicativos e categorias de risco. Tarefas de Infraestrutura produziram algumas das maiores taxas de OPUR, atingindo 46,4% para DeepSeek-v3.2, 42,9% para Grok 4.1 Fast e 37,5% para Qwen3.5-397B.

Taxas elevadas também foram observadas em tarefas relacionadas a codificação, banco de dados e mídia, enquanto cenários de saúde e governo geralmente produziram taxas de escalada mais baixas, particularmente entre GPT-5.2 e Claude 4.6 Sonnet. De acordo com os autores, esse padrão pode refletir diferenças na forma como os modelos interpretam riscos e restrições operacionais entre domínios:

OPUR (%) em oito domínios de aplicativos e cinco categorias de escalada. Modelos de código aberto geralmente registraram as maiores taxas de uso excessivo de privilégios, com tarefas de codificação, banco de dados, infraestrutura, escalada de autoridade e bypass de segurança produzindo a tendência mais forte em direção à sobreposição.

O tipo de escalada de privilégios também importou: Autoridade Escalada e Bypass de Segurança foram as formas mais comuns de comportamento com privilégios excessivos entre os modelos avaliados: LLaMA-3.1-8B atingiu 72,7% na Escalada de Autoridade e 74,1% no Bypass de Segurança, enquanto Qwen3.5-397B registrou 42,4% e 45,7%, respectivamente.

Em contraste, a Expansão de Escopo foi consistentemente a categoria menos comum, indicando que os modelos eram mais propensos a buscar autoridade mais ampla ou bypassar restrições do que a ampliar o escopo de suas ações em usuários ou sistemas adicionais.

Buscando Soluções

Experimentos de mitigação examinaram se os métodos de segurança de agente existentes também reduzem a escalada de privilégios desnecessária. A tabela de resultados abaixo compara OPUR com o desempenho em AgentHarm, um benchmark que mede comportamento prejudicial e taxas de recusa em agentes de IA.

O primeiro teste avaliou AgentAlign, um método de alinhamento de segurança projetado para reduzir ações prejudiciais. O AgentAlign melhorou significativamente o desempenho do AgentHarm:

Alinhamento de segurança e uso excessivo de ferramentas antes e após o treinamento do AgentAlign. O AgentAlign melhorou significativamente o desempenho no benchmark de segurança AgentHarm, reduzindo saídas prejudiciais e aumentando taxas de recusa; mas seu efeito sobre a OPUR foi inconsistente, com um modelo mostrando uma redução modesta na escalada de privilégios desnecessária e outro mostrando um aumento. Esse resultado indica que melhorias na segurança convencional de agente não se traduzem necessariamente em uma melhor seleção de ferramentas com privilégios mínimos.

Para o Ministral-8B-Instruct, a pontuação prejudicial caiu de 67,4 para 10,5, enquanto a taxa de recusa aumentou de 0,0 para 79,5. Para o Qwen2.5-7B-Instruct, a pontuação prejudicial caiu de 41,9 para 6,7 e a taxa de recusa aumentou de 21,6 para 85,8. No entanto, essas melhorias não se traduziram consistentemente em OPUR mais baixas. A OPUR caiu modestamente para o Ministral-8B-Instruct, de 68,8 para 62,5, mas aumentou para o Qwen2.5-7B-Instruct, de 50,4 para 60,7.

Os autores também testaram intervenções baseadas em prompts que instruíam explicitamente os modelos a preferir ferramentas com privilégios mais baixos. Embora esses prompts reduzissem a OPUR em alguns cenários, o efeito diminuiu quando as ferramentas com privilégios mais baixos encontraram falhas:

Efeito de estratégias de mitigação no uso excessivo de ferramentas em três modelos Qwen3. A engenharia de prompts (PE) reduziu as taxas de escalada, mas o treinamento pós-privilegiado (‘Ours’) produziu reduções substancialmente maiores na OPUR em todos os modelos e profundidades de escalada.

O resultado de mitigação mais forte foi obtido a partir de uma abordagem de treinamento pós-privilegiado dedicada, focada especificamente na seleção de ferramentas com privilégios mínimos. Os modelos foram treinados para favorecer ferramentas com privilégios mais baixos sempre que elas fossem suficientes para a tarefa e para evitar a escalada desnecessária.

De acordo com os autores, essa abordagem produziu reduções maiores na OPUR, preservando o desempenho de conclusão de tarefas, indicando que o comportamento de privilégio mínimo pode exigir treinamento direcionado, em vez de surgir automaticamente do alinhamento de segurança geral.

Conclusão

Para responder à pergunta formulada pelo título deste artigo, os autores concluem que a escalada é impulsionada por incerteza de capacidade: após falhas transitórias, os modelos perdem a confiança em ferramentas com privilégios mais baixos e cada vez mais escolhem ferramentas mais amplas e flexíveis que parecem mais prováveis de ter sucesso, mesmo que alternativas com privilégios mais baixos permaneçam suficientes.

Novamente, estamos vendo questões que são nativas dos modelos treinados, e que precisam ser abordadas por métodos terciários, restrições, condicionamento pós-treinamento e outras abordagens auxiliares, quando a preferência seria que tal comportamento pudesse ser formado dentro da arquitetura – presumivelmente por meio de uma curadoria melhor dos dados, ou da contextualização do tipo de pontos de dados de ‘resposta rápida’ que dominam as coleções, e que podem inclinar os LLMs em direção a um comportamento temerário.

Publicado pela primeira vez no domingo, 21 de junho de 2026