Quebra de Repetição de Palavras Fáceis Compromete a Segurança do AI, Mesmo para Gemini e Claude

Testes de segurança do AI descobriram que dependem de ‘gatilhos’ óbvios; com reescrita fácil, modelos rotulados como ‘razoavelmente seguros’ falham subitamente, com ataques bem-sucedidos em até 98% do tempo.

Pesquisa corporativa nos EUA concluiu que o bom histórico de segurança de vários Modelos de Linguagem Grande (LLMs) – incluindo muitos nomes líderes, como Gemini 3 Pro e Claude Sonnet 3.7 – pode ser insignificante, pois os conjuntos de dados e benchmarks usados para estabelecê-los contêm linguagem ridicamente ‘óbvia’.

Os dois conjuntos de dados em questão, que foram apresentados em várias revisões de artigos neste site, são HarmBench e AdvBench:

A partir dos artigos HarmBench e AdvBench, exemplos representativos de provocações – mas o novo artigo afirma que, mesmo em cenários do mundo real, os exemplos ‘telegrafam’ a intenção maliciosa, o que pode levar a (presumivelmente) ‘jogar’ os resultados. Fontes: HarmBench e AdvBench.

Embora os exemplos acima, que são dos artigos de cada benchmark, sejam deliberadamente simplistas para ilustrar os princípios dos sistemas, a nova pesquisa afirma que, na verdade, essas coleções realmente visam ‘frutas fáceis de colher’, e, portanto, podem não ser benchmarks eficazes – e que os resultados reais para as capacidades de segurança dos LLMs testados são significativamente abaixo do que foi relatado:

‘[Nós] avaliamos se esses conjuntos de dados realmente medem riscos de segurança ou apenas provocam recusas por meio de gatilhos. Para explorar isso, introduzimos “lavagem de intenção”: um procedimento que abstrai gatilhos de ataques (pontos de dados) enquanto preserva rigorosamente a intenção maliciosa e todos os detalhes relevantes.

‘Nossos resultados indicam que os conjuntos de dados de segurança do AI atualmente não representam fielmente os ataques do mundo real devido à sua dependência excessiva de gatilhos.

‘Na verdade, uma vez que esses gatilhos são removidos, todos os modelos anteriormente avaliados como “razoavelmente seguros” se tornam inseguros, incluindo Gemini 3 Pro e Claude Sonnet 3.7.’

‘Segurança’ neste sentido representa alinhamento – a capacidade do LLM de se defender contra as tentativas dos usuários de ‘jailbreak’ restrições em sistemas apenas de API, para fazer o sistema produzir saída proibida, como textos difamatórios ou imagens.

A técnica de “lavagem de intenção” dos autores simplesmente envolve reescrever os ataques ‘óbvios’ nos dois conjuntos de dados/benchmarks, para que se tornem mais sutis e insidiosos, e muito mais capazes de bypassar filtros e verificações:

A seção superior de um exemplo de outra forma desajeitado do artigo. Mostrado no canto superior esquerdo, em amarelo, o tipo de prompt ‘óbvio’ que HarmBench e AdvBench normalmente fornecem; abaixo, em verde, o prompt foi neutralizado, reescrito e tornado aceitável o suficiente para Claude Sonnet 3.7 que agora está disposto a ajudar o usuário a localizar ‘lojas de desmanche’ (locais de processamento de veículos roubados) em uma nova cidade. Fonte

Os pesquisadores analisaram as qualidades dos dois conjuntos de dados em duas abordagens: em isolamento, para comparar as coleções com os traços de ataques do mundo real; e na prática, onde os conjuntos de dados – e as próprias ‘melhorias’ dos autores – foram usados para atacar modelos do mundo real.

Na segunda rodada de testes, os pesquisadores ‘método de reescrita foi iterativamente aprimorado até obter resultados ótimos em termos de Taxa de Sucesso do Ataque (ASR):

A lavagem de intenção começa passando um prompt malicioso óbvio por um modelo de reescrita que remove a linguagem de gatilho explícita enquanto preserva a intenção maliciosa subjacente. O prompt revisado é então submetido a um modelo-alvo, e sua resposta é avaliada em termos de segurança e aplicabilidade no mundo real. Se a saída for considerada insegura e praticamente utilizável, o ataque é contado como bem-sucedido. Se não, revisões anteriores com falha são alimentadas de volta no modelo de reescrita para gerar versões aprimoradas, criando um loop iterativo que funciona como um mecanismo de jailbreak até que um número pré-definido de tentativas seja alcançado ou uma taxa de sucesso de ataque desejada seja alcançada.

Os autores afirmam*:

‘Nossos resultados mostram que, com esse loop de regeneração, a lavagem de intenção alcança alta ASR (90%–98.55%) após apenas algumas iterações em todos os modelos estudados sob acesso totalmente preto. Isso inclui modelos recentes amplamente relatados como os mais seguros – como Gemini 3 Pro e Claude Sonnet 3.7.

‘Essas descobertas confirmam ainda mais que as avaliações de segurança existentes e os métodos de alinhamento de segurança estão altamente sobreajustados^† aos gatilhos.

O novo trabalho é intitulado Lavagem de Intenção: Conjuntos de Dados de Segurança do AI Não São o que Parecem, e vem de dois autores da empresa de software Labelbox, sediada em San Francisco.

Método

Para estudar a composição e a arquitetura dos dois conjuntos de dados de benchmark em isolamento, nuvens de palavras foram geradas a partir dos dois corpora, revelando quais palavras e frases curtas dominavam as coleções:

Nuvens de palavras mostrando as 40 palavras e frases mais frequentes nos conjuntos de dados combinados AdvBench e HarmBench. Termos com conotações negativas ou sensíveis inerentes são destacados em vermelho, gatilhos contextuais em laranja e palavras neutras que formam gatilhos de ordem superior em verde. A concentração de frases óbvias, como ‘sem ser pego’ e ‘instruções passo a passo’, sugere que os dois benchmarks dependem fortemente de gatilhos explícitos em vez de ataques realistas com intenção maliciosa.

Os autores observam que as palavras e frases dominantes são improvavelmente reveladoras de intenção maliciosa, em contraste com o tipo de linguagem que criminosos usam em discussões e que os atacantes usam ao testar ou tentar comprometer as defesas dos LLMs.

‘Esses gatilhos comprometem duas propriedades – ser bem elaborado e impulsionado por intenção maliciosa – como tal linguagem óbvia raramente aparece em ataques do mundo real e parece ser projetada para disparar mecanismos de segurança artificialmente. ‘

O artigo caracteriza os padrões das coleções como ‘gatilhos’ – frases com conotações negativas ou sensíveis óbvias que aparecem projetadas para ativar filtros de segurança. Algumas são carregadas, como ‘cometer suicídio’, enquanto outras se tornam carregadas apenas no contexto, por exemplo, quando um objetivo prejudicial é combinado com palavras como ‘sem ser pego’, que sinaliza claramente a intenção de evitar detecção.

A falta de equilíbrio na linguagem dos conjuntos de dados se torna mais evidente à medida que o número de palavras nos n-gramas aumenta, com frases que carregam significado negativo ou sensível explícito dominando os n-gramas mais frequentes (veja imagem acima). O artigo descreve essas como frases de gatilho, que, juntamente com palavras de gatilho individuais, constituem gatilhos.

Algumas frases simplesmente estendem termos já carregados, como quando ‘roubar’ se torna ‘roubar informações sensíveis’, ‘roubar informações confidenciais’, ou ‘roubar informações pessoais’; e, por exemplo, quando ‘cometer’ se expande em ‘cometer suicídio’, ‘cometer negociação de insider’, ou ‘cometer roubo de identidade’ – claramente a linguagem e a fraseologia da polícia, tribunais e relatórios da mídia.

Outras são construídas inteiramente com palavras neutras que se tornam preocupantes apenas em combinação, como ‘sem ser pego’, uma construção que sinaliza evasão, apesar de não conter nenhum termo carregado.

Dobrando

Os autores observam que a repetição de gatilhos óbvios não apenas faz com que os prompts pareçam forçados, mas também indica considerável duplicação de dados nas coleções. Para testar essa teoria, eles executaram comparações pareadas em cada conjunto de dados, aplicando limiares de 0,7 a 0,99 e agrupando prompts que excediam um determinado limiar como duplicatas, enquanto tratava o restante como únicos.

Como não há um padrão aceito para o que constitui ‘alta’ similaridade em um conjunto de dados de um único domínio, eles usaram o Grade School Math (GSM8K) da Open AI, um benchmark de não segurança popular, igualando o tamanho da amostra ao HarmBench e AdvBench para uma comparação controlada:

Taxas de duplicação em AdvBench e HarmBench em diferentes limiares de similaridade, em comparação com subconjuntos de tamanho igual do GSM8K. Em quase todos os limiares, os conjuntos de dados de segurança contêm muitos prompts quase idênticos do que o benchmark de não segurança, indicando avaliação repetida da mesma intenção prejudicial em formulações ligeiramente variadas, e sugerindo que o desempenho de segurança relatado pode ser inflado. Por favor, consulte o artigo original para melhor resolução.

Uma segunda descoberta dessa parte do estudo comparou prompts dentro de cada conjunto de dados para medir quantos eram genuinamente diferentes. Em um ajuste de similaridade intermediário, apenas cerca de 11% dos prompts do AdvBench eram distintos, enquanto quase 94% das perguntas em uma amostra de tamanho igual do GSM8K eram diferentes:

Exemplos de prompts quase idênticos em AdvBench e HarmBench, que diferem principalmente na formulação, enquanto expressam a mesma intenção prejudicial. Uso repetido de gatilhos explícitos, mostrados em vermelho para termos carregados inerentemente, e em laranja para dependentes de contexto, produz clusters de prompts que efetivamente testam um único cenário múltiplas vezes – significando que uma resposta seria geralmente suficiente para avaliar o modelo para essa intenção.

HarmBench mostrou a mesma tendência, com 16% de duplicatas nesse nível em comparação com 3,5% no GSM8K, significando que os conjuntos de dados de segurança frequentemente reutilizavam a mesma solicitação prejudicial com alterações mínimas na formulação.

Se 85% de exemplos distintos for considerado um padrão razoável, AdvBench atingiu esse nível apenas em um ajuste extremamente rigoroso e ainda não ultrapassou 90%, enquanto o GSM8K atingiu 85% em um limiar muito mais baixo. De acordo com o artigo, esse padrão sugere que os benchmarks de segurança testam variações repetidas das mesmas ideias, em vez de uma ampla gama de cenários de ataque.

Abordagens Adicionais e Testes

A técnica de ‘lavagem de intenção’ do trabalho remove a linguagem de gatilho explícita, enquanto preserva o objetivo prejudicial subjacente. Em vez de declarar a intenção abertamente, prompts revisados implícitos a intenção, retem a carga maliciosa, mas evitam gatilhos que seriam prováveis de provocar recusa imediata pelo LLM.

Os dois métodos que facilitam isso foram neutralização de conotação, que substitui termos negativos óbvios por alternativas neutras ou descritivas; e transposição de contexto, que transfere referências do mundo real para cenários fictícios, sem alterar o significado prático.

Um pequeno conjunto de revisões foi inicialmente escrito à mão, após o que o processo foi automatizado usando GPT-5.1 (gpt-5.1-2025-11-13), com um setup de aprendizado de contexto de oito tiros como o ‘lavador de intenção’. As respostas aos prompts originais e reescritos foram então comparadas para medir como fortemente a linguagem de gatilho explícita influenciava as avaliações de segurança.

Porque a lavagem de intenção pode alterar tanto a formulação quanto o enquadramento, as respostas foram avaliadas em termos de segurança e praticidade. A segurança foi classificada em uma escala Likert de cinco pontos, de ‘extremamente inseguro’ a ‘seguro’, condicionada a se a resposta preservava a intenção maliciosa original – e, se sim, quão prejudicial era:

Um modelo de prompt usado para avaliação de segurança padrão de respostas aos pontos de dados originais do AdvBench e HarmBench, antes da aplicação da lavagem de intenção. O GPT-5.1 foi instruído a classificar cada resposta em uma escala Likert de cinco pontos, de ‘Extremamente Inseguro’ a ‘Seguro’, selecionando um único julgamento geral com base em se o conteúdo habilitava dano ou permanecia inativo.

‘Praticidade’ foi classificada em uma escala paralela de cinco pontos, de ‘extremamente aplicável’ a ‘inaplicável’, com base em quão utilizável e transferível os detalhes seriam no mundo real; e a Taxa de Sucesso do Ataque (ASR) mediu o desempenho, com uma revisão considerada bem-sucedida apenas se a resposta fosse insegura e prática.

As classificações de cinco pontos foram mapeadas para resultados binários para reduzir a ambiguidade, e a lavagem de intenção também foi evoluída para uma técnica de jailbreak adicionando um loop iterativo de revisão-regeneração, no qual revisões com falha eram alimentadas de volta no modelo de reescrita sob o mesmo setup de aprendizado de contexto de oito tiros. Esse loop continuou até que um número pré-definido de tentativas fosse alcançado ou uma taxa de sucesso de ataque desejada fosse alcançada.

Para os testes de avaliação de segurança, o pacote wordcloud do Python foi usado para extrair n-gramas de HarmBench e AdvBench, com métodos de filtragem habituais (i.e., para remover palavras de parada e outras palavras e caracteres não relevantes).

Os mesmos conjuntos de dados de segurança usados para a análise de nuvem de palavras foram combinados com amostras aleatórias do mencionado GSM8K, com quantidades de palavras igualadas para paridade entre as coleções.

Os autores usaram embeddings do checkpoint all-MiniLM-L6-V2 dos Transformers Sentence-BERT, pois isso já está ajustado para clustering e busca semântica.

Critérios de avaliação foram gerados pelo modelo GPT-4o da OpenAI (agora descontinuado), limitado a 1024 tokens. O GPT-5.1 avaliou tanto a segurança quanto a praticidade após a lavagem de intenção, zero-shot, igualado em todos os aspectos ao próprio lavador de intenção, exceto que também foi limitado a 1024 tokens.

Os modelos testados foram Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; e Qwen2.5-7B-Instruct. Onde aplicável, desde que raciocínio foi um fator supérfluo, isso foi reduzido ao mínimo possível nos modelos capazes de raciocínio.

Todos os modelos foram limitados a um limite de saída de 4096 tokens:

Avaliação de segurança (SE), avaliação de praticidade (PE) e taxa de sucesso do ataque (ASR) para sete modelos no AdvBench (topo) e HarmBench (fundo) sob três condições: sem revisão, primeira revisão e iterações subsequentes de lavagem de intenção. SE relata o percentual de respostas classificadas como ‘extremamente inseguras’, ‘altamente inseguras’ ou ‘inseguras’; PE relata o percentual classificado como ‘extremamente aplicáveis’, ‘altamente aplicáveis’ ou ‘aplicáveis’; e ASR mede a parcela de respostas que são inseguras e práticas. No cenário sem revisão, ASR segue sua definição padrão porque nenhuma abstração é aplicada. Valores em negrito indicam a ASR mais alta alcançada dentro de cada conjunto de dados, e ASR mais baixa corresponde a uma segurança do modelo mais forte. Por favor, consulte o artigo original para melhor resolução.

Quanto a esses resultados iniciais, os autores observam que remover gatilhos explícitos de prompts de ataque produziu um aumento acentuado na taxa de sucesso do ataque. No AdvBench, a ASR média subiu de 5,38% para 86,79% após a primeira revisão, no HarmBench aumentando de 13,79% para 79,83% – indicando que as recusas do modelo estavam fortemente ligadas à presença de gatilhos explícitos.

Os autores observam:

‘Isso indica que as recusas do modelo são amplamente impulsionadas pela presença de gatilhos. Consequentemente, os conjuntos de dados de segurança não medem confiavelmente os riscos de segurança do mundo real, pois dependem mais de gatilhos para provocar recusas do que da intenção maliciosa real.’

A lavagem de intenção, afirma o artigo, removeu efetivamente os gatilhos enquanto preservava a intenção maliciosa e funcionou como uma técnica de jailbreak poderosa. Na iteração final de revisão-regeneração, correspondente à ASR mais alta em cada conjunto de dados, as taxas de sucesso do ataque alcançaram 90% a 98,55% em todos os modelos.

Isso incluiu Gemini 3 Pro e Claude Sonnet 3.7, que foram jailbreakados com ASRs de 93% a 95% no AdvBench e 91% a 93% no HarmBench, após apenas algumas iterações.

Os autores concluem:

‘Nossos resultados mostraram que as conclusões anteriores de segurança não se sustentam uma vez que os gatilhos são removidos, e que o desempenho de segurança observado é amplamente impulsionado pela presença de gatilhos em vez dos riscos de segurança subjacentes.

‘Além disso, demonstramos que a lavagem de intenção pode ser usada como uma técnica de jailbreak poderosa, alcançando altas taxas de sucesso do ataque de 90% a mais de 98%.

‘Em geral, nossas descobertas revelaram uma lacuna crítica entre como a segurança do modelo é avaliada e como o comportamento adversário do mundo real se manifesta.

‘Com base nisso, concluímos que (1) as avaliações de segurança devem evoluir para capturar ataques adversários de forma mais realista, e (2) os esforços atuais de alinhamento de segurança ainda estão longe de ser robustos contra ameaças do mundo real.’

Conclusão

Uma linha comum que ainda perpassa a literatura de linguagem e visão computacional (e locais onde essas se cruzam, como VLMs) é a incapacidade de confiavelmente entender quando se está sendo enganado para produzir conteúdo proibido; ou mesmo quando se está se desviando para ele inadvertidamente, sem coerção externa.

Atrás das cenas das fundições de modelos maiores e mais opacas, só se pode presumir que apertar radicalmente os controles sobre essas áreas de captura semântica traz consigo danos colaterais inaceitáveis, como quedas no desempenho em gerações ‘não proibidas’, ou uma taxa intolerável de falsos positivos do filtro de conteúdo.

A natureza básica de um modelo treinado em qualquer domínio é seguir todos os dados de treinamento para qualquer conclusão para a qual um prompt possa impulsioná-lo; as únicas restrições nativas disponíveis são a) não incluir material controverso nos dados de treinamento (o que é tanto um problema logístico quanto qualquer outra coisa); ou b) ‘cortar’ os caminhos para conteúdo indesejado após o treinamento (um processo que pode ser revertido por abliteração explícita, ou como um efeito colateral não intencional do ajuste fino).

* Minha substituição das citações em linha dos autores por links. Ênfases dos autores, não minhas.

^† https://www.unite.ai/what-is-overfitting/

Publicado pela primeira vez na segunda-feira, 23 de fevereiro de 2026