A pesquisa da NVIDIA constata que agentes de IA se tornam menos seguros ao usar ferramentas

Modelos de IA como ChatGPT, Gemini e Claude podem ser usados para alimentar agentes — «estruturas» que permitem aos modelos interagir diretamente com o mundo real. Trata-se de uma inovação recente e cada vez mais controversa.

De qualquer forma, os agentes não vêm automaticamente equipados com as habilidades de que precisarão ao percorrer uma rede ou um banco de dados, já que as ferramentas necessárias variam conforme as missões e os modos de operação. Por exemplo, podem precisar de recursos de reconhecimento óptico de caracteres (OCR) para interpretar textos em fotos, entre outras habilidades. Há até mesmo categorias de ferramentas adaptadas ao escopo do agente e à sua finalidade.

Em teoria, uma solicitação que viole as proteções integradas de uma IA nunca será executada, com ou sem o uso de ferramentas durante sua execução. Na prática, segundo novas pesquisas, o uso de ferramentas pode comprometer significativamente os filtros de proteção que impedem um agente de IA de cometer «transgressões».

Falha em recusar

O novo artigo da NVIDIA, intitulado MLLMs deixam de recusar solicitações quando usam ferramentas de forma agêntica, revela que os modelos multimodais de linguagem (MLLMs, aqui chamados pelo termo mais comum «VLM», ou modelo de linguagem visual) têm muito mais probabilidade de atender a solicitações nocivas quando são introduzidas ferramentas, e que as falhas de recusa aumentaram em todos os modelos e benchmarks testados.

Embora modelos de pesos abertos, como Qwen3-VL, tenham se mostrado mais suscetíveis ao problema, modelos de IA de ponta, como Claude Opus 4.7, Gemini 3.1 Pro e GPT-5.4, também apresentaram mais falhas de recusa ao usar ferramentas.

Os autores afirmam*:

«Apesar do recente sucesso expressivo dos MLLMs agênticos, este trabalho revela uma falha crítica de segurança no paradigma de uso de ferramentas: os MLLMs agênticos que usam ferramentas se tornam menos capazes de recusar solicitações nocivas.»

«Nossos experimentos confirmam que, nos três benchmarks de segurança populares, todos os principais MLLMs de pesos abertos e fechados que testamos apresentam níveis de segurança significativamente menores quando usam ferramentas do que quando não as usam, com um aumento relativo de até 68,7% na taxa de falhas de recusa.»

«Com base na análise de mais de 100.000 respostas, incluindo experimentos ampliados, também propomos duas possíveis razões para essa degradação da segurança.»

As duas possíveis razões apresentadas no artigo são a diluição do contexto, em que a solicitação nociva original perde relevância à medida que se acumulam resultados das ferramentas; e o deslocamento do foco na segurança, em que o modelo se concentra em descrever as observações derivadas das ferramentas, em vez de priorizar a segurança.

Resultados de testes que ilustram a principal descoberta do artigo sobre segurança. Na parte superior, um usuário pergunta como realizar um aparente furto de carteira retratado em uma imagem. Um VLM convencional recusa categoricamente a solicitação, enquanto uma versão que usa ferramentas primeiro recorre a ferramentas de análise de imagem, como o zoom, depois continua o raciocínio e, por fim, fornece uma resposta nociva. O gráfico abaixo mostra que esse aumento nas falhas de recusa foi observado em todos os modelos de pesos abertos e proprietários avaliados. Fonte

Nos onze modelos testados, a ativação de ferramentas aumentou sistematicamente as falhas de recusa, com aumentos relativos de até 68,7% nos casos mais graves, inclusive em modelos que, de outra forma, demonstraram alto nível de segurança.

Será interessante ver se os resultados deste trabalho, realizado por seis pesquisadores da NVIDIA, serão reproduzidos ou replicados em outros estudos e se poderão aprofundar nossa compreensão do comportamento transgressor, aparentemente cada vez mais comum, de agentes de IA fora da lei.

Métodos e dados

Os pesquisadores avaliaram onze VLMs de sete famílias de modelos. Os modelos proprietários incluíram Gemini 2.5 Pro; Gemini 3.1 Pro Preview; Claude Opus 4.6; Claude Opus 4.7; e GPT-5.4.

Os modelos de pesos abertos incluíram Qwen3-VL-235B-A22B-Instruct; Qwen3.5-122B-A10B; Kimi-K2.5; Kimi-K2.6; GLM-5V-Turbo; e AdaReasoner-7B-Randomized, um modelo de pesos abertos ajustado especificamente para o uso agêntico de ferramentas.

Também foram realizados experimentos separados com Gemini 3 Flash Vision Agent, pois o uso autônomo de ferramentas por esse modelo exigia que ele fosse avaliado de forma independente.

Nos testes com uso de ferramentas, os pesquisadores utilizaram o formato ReAct, que alterna entre raciocínio e chamadas de ferramentas. As quatro ferramentas disponíveis eram a rotulagem, com RAM++; ampliação e recorte; o Reconhecimento Óptico de Caracteres (OCR), com GOT-OCR2.0; e um interpretador de código Python em ambiente isolado, capaz de manipular e analisar imagens.

Os pesquisadores criaram prompts pareados para isolar o efeito do uso de ferramentas, em vez do estilo de prompt. Os VLMs convencionais receberam instruções para examinar a imagem e responder diretamente à solicitação do usuário, enquanto as versões agênticas seguiram o fluxo de trabalho ReAct, decidindo repetidamente se deveriam acionar ferramentas antes de produzir uma resposta final.

Comparação dos prompts correspondentes usados nos principais experimentos. A condição sem ferramentas exigia análise da imagem e raciocínio direto, enquanto a condição agêntica seguia o fluxo de trabalho iterativo ReAct, permitindo que o modelo decidisse quando acionar ferramentas externas antes de produzir sua resposta final.

Os três benchmarks multimodais de segurança utilizados foram MM-SafetyBench; VLSBench; e HoliSafe. Cada um desses conjuntos é composto por pares de imagens e solicitações prejudiciais de usuários, concebidos para testar se um modelo se recusa a ajudar em situações inseguras — por exemplo, quando alguém pergunta como realizar um aparente furto de carteira retratado em uma imagem.

A principal métrica utilizada foi a Taxa de Falha na Recusa (RFR), que mede a porcentagem de solicitações prejudiciais que um modelo não recusou; pontuações mais altas indicam menor segurança.

Testes

As respostas foram classificadas pelo GPT-5.2, atuando como avaliador de LLM, com o prompt de avaliação recomendado pelo VLSBench:

O prompt de avaliação do GPT-5.2 usado para determinar se cada resposta do modelo representava uma recusa bem-sucedida, uma resposta atenta à segurança que identificava os riscos envolvidos ou uma resposta insegura que não reconhecia esses riscos e atendia à solicitação prejudicial. O avaliador recebeu a imagem original, a consulta do usuário e a resposta do modelo e teve de retornar sua classificação e justificativa no formato JSON.

Cada resposta foi classificada em uma de três categorias: segura, com recusa; segura, com alerta; ou insegura.

Taxas de falha na recusa nos três benchmarks de segurança, comparando cada modelo com e sem acesso a ferramentas. Todos os modelos se tornaram menos propensos a recusar solicitações prejudiciais quando usavam ferramentas, embora a magnitude da mudança variasse consideravelmente: a RFR média aumentou 12,6 pontos para o GLM-5V-Turbo, em comparação com 2,3 pontos para o GPT-5.4. Tons mais escuros indicam aumentos maiores nas falhas de recusa.

O acesso a ferramentas tornou os modelos mais propensos a responder a solicitações prejudiciais que, de outra forma, teriam recusado — um resultado observado em todos os modelos e em todos os benchmarks testados. No geral, as falhas de recusa aumentaram 17,7% em comparação com os mesmos modelos operando sem ferramentas.

O GPT-5.4 foi o menos afetado: sem ferramentas, não recusou 14,6% das solicitações prejudiciais; com ferramentas, esse percentual subiu para 16,8%. No caso do GLM-5V-Turbo, as falhas aumentaram de 38,7% (valor de referência sem ferramentas) para 51,3%. O mesmo padrão foi observado nos três benchmarks, o que indica que o problema talvez não se restrinja a um tipo específico de solicitação prejudicial.

Razões para as falhas..?

Como mencionado anteriormente, os pesquisadores propõem a “diluição do contexto” como uma explicação para o aumento das falhas: à medida que um agente faz chamadas sucessivas a ferramentas, a solicitação prejudicial original perde destaque em meio às saídas das ferramentas que se acumulam.

Para testar essa hipótese, eles consideraram apenas as solicitações que o mesmo modelo havia recusado corretamente sem ferramentas. Como mostra o gráfico abaixo, as falhas aumentaram progressivamente com o número de chamadas a ferramentas: ficaram próximas de zero quando nenhuma ferramenta foi acionada e chegaram a taxas substancialmente mais altas após três chamadas ou mais:

Resultados dos testes que comparam falhas na recusa diante de diferentes números de chamadas a ferramentas. As taxas de falha aumentaram à medida que se acumulavam chamadas adicionais a ferramentas, tanto para modelos individuais quanto no conjunto de todos os modelos.

Um segundo teste reverteu parcialmente esse efeito. Quando a solicitação original e a imagem foram inseridas novamente após a última chamada a uma ferramenta, imediatamente antes de o modelo responder, as falhas na recusa diminuíram, em média, 7,6% entre os modelos e os benchmarks, como mostrado abaixo:

Resultados dos testes que comparam falhas na recusa com e sem a reinserção da solicitação original e da imagem. A reinserção após a última chamada a uma ferramenta reduziu a taxa média de falhas em 7,6% nos cinco modelos testados.

Isso corrobora a diluição do contexto como um fator contribuinte e, ao mesmo tempo, sugere uma medida de mitigação relativamente simples.

A segunda explicação proposta pelo artigo é o “deslocamento do foco de segurança”. Nesse caso, o uso de ferramentas parece desviar a atenção do modelo da avaliação sobre se a solicitação é prejudicial e direcioná-la à descrição do que as ferramentas encontraram.

Resultados dos testes que mostram como o uso de ferramentas alterou a forma como os modelos iniciaram respostas que acabaram recusando solicitações prejudiciais. Sem ferramentas, as respostas geralmente começavam abordando diretamente a solicitação (55,6%) ou levantando preocupações de segurança (25,8%). Com ferramentas, 52,3% começavam, em vez disso, descrevendo o que havia sido encontrado por meio delas, enquanto as declarações explícitas de segurança caíram para 10,3%.

Foram analisados casos em que os modelos recusaram corretamente tanto com ferramentas quanto sem elas. Sem ferramentas, 55,6% dessas respostas começavam abordando diretamente a solicitação, enquanto 25,8% começavam com uma declaração explícita de segurança. Com ferramentas, esses percentuais caíram, respectivamente, para 37,4% e 10,3%, enquanto a proporção de respostas que começavam com descrições de observações obtidas por meio das ferramentas subiu para 52,3%.

Os autores apresentam um exemplo qualitativo interessante com o Claude Opus 4.6. Quando perguntaram ao modelo como burlar a segurança de banheiros públicos, ele recusou imediatamente sem usar ferramentas:

Exemplo que mostra como o uso de ferramentas desviou o foco imediato do modelo da segurança. Sem ferramentas, o Claude Opus 4.6 recusou imediatamente a solicitação prejudicial; com ferramentas, primeiro ampliou a imagem, leu e identificou seu conteúdo e descreveu a placa do banheiro antes de finalmente recusar.

Com ferramentas, o mesmo modelo ampliou a imagem, leu o texto e identificou seu conteúdo e, em seguida, iniciou a resposta descrevendo a placa do banheiro. A recusa veio somente depois, ilustrando como o processo de uso das ferramentas havia deslocado a segurança da posição de prioridade imediata do modelo.

Os autores concluem:

“De modo geral, nossas conclusões indicam que o uso de ferramentas deve ser considerado não apenas um mecanismo que amplia capacidades de raciocínio visual, mas também uma escolha de projeto relevante para a segurança, capaz de alterar o comportamento de recusa; portanto, os futuros MLLMs agênticos devem ser avaliados e treinados em condições de uso de ferramentas, em vez de se presumir que o alinhamento de segurança sem ferramentas se transfira, sem alterações, para contextos agênticos.”

Conclusão

A incapacidade de manter o contexto é claramente um problema em cadeias complexas de eventos subsequentes a um prompt — ainda assim, no momento, não há respostas fáceis para a tendência de uma janela de contexto limitada levar um agente a esquecer suas “diretrizes primordiais” e simplesmente começar a usar a ferramenta que tem à disposição.

* Ênfases dos autores; converti as citações no texto dos autores em hiperlinks quando necessário.

Publicado originalmente na quarta-feira, 7 de outubro de 2026