Quebrando o ChatGPT e outros modelos de IA “fechados” usando suas próprias APIs

De acordo com uma nova pesquisa, o ChatGPT e outros principais modelos de IA podem ser retreinados por meio de canais de fine-tuning oficiais para ignorar regras de segurança e fornecer instruções detalhadas sobre como facilitar ações terroristas, realizar cibercrimes ou fornecer outros tipos de discurso “proibido”. Os autores do novo trabalho afirmam que mesmo pequenas quantidades de dados de treinamento ocultos podem transformar um modelo em um cúmplice útil, não obstante as muitas salvaguardas incorporadas a esses sistemas.

As salvaguardas incorporadas aos grandes modelos de linguagem são frequentemente caracterizadas como “codificadas”, ou de alguma forma não negociáveis; pergunte ao ChatGPT como fazer explosivos, criar uma deepfake fotorealista de uma pessoa real ou realizar um ciberataque, e a recusa que segue explicará que tais solicitações violam as políticas de conteúdo da OpenAI.

Na prática, não é necessário realizar testes de penetração formais em um modelo de linguagem popular para saber que essas barreiras são imperfeitas; ocasionalmente, solicitações genuinamente benignas podem ser interpretadas como ofensivas, ou produzir uma resposta ofensiva injustificada em imagens ou texto.

Esses resultados podem ocorrer com os modelos de fundação de LMs, como variantes do ChatGPT e várias versões do Claude, bem como ofertas de código aberto, como Llama.

Faça do seu jeito

Os principais provedores de modelos de linguagem, como a OpenAI, agora oferecem acesso pago ao fine-tuning de APIs, permitindo que os usuários retreinem esses modelos para aplicações de nicho, mesmo sem acesso direto aos pesos do modelo em seu próprio equipamento local (equipamento que, de qualquer forma, seria improvável acomodar grandes modelos comerciais desse tipo).

Nesses casos, o usuário pode carregar dados de treinamento que podem influenciar a saída do modelo de base, permanentemente ajustando seus vieses em direção ao conteúdo do usuário. Embora isso possa, em geral, danificar a usabilidade mais ampla do modelo de IA médio, o objetivo é uma ferramenta específica destinada a um propósito específico. Um exemplo seria uma pessoa carregando seus ensaios escolares como dados de treinamento, para que um GPT personalizado não produza submissões óbvias criadas por IA(!).

Ao consagrar essas alterações, o usuário deve, em teoria, obter um modelo com estilo único que responderá de maneira desejada sem re-prompting constante ou tentativas de explorar a atenção limitada do modelo de linguagem.

Influências Comprometedoras

Por outro lado, o fine-tuning dá aos usuários a capacidade de mudar não apenas o tom ou o conhecimento de domínio do modelo, mas também seus valores centrais. Com os dados certos, mesmo um modelo bem protegido pode ser enganado para sobrescrever suas próprias regras.

Diferentemente de prompt de jailbreak de uma única vez, que podem ser detectados ou corrigidos, um fine-tune bem-sucedido tem uma influência muito mais profunda na forma como o modelo processará solicitações e interagirá com os sistemas de moderação ativa projetados para prevenir entrada ou saída prejudicial.

Para testar os limites das salvaguardas atuais, pesquisadores do Canadá e dos EUA desenvolveram uma nova técnica chamada jailbreak-tuning, destinada a minar o comportamento de recusa dos grandes modelos de linguagem por meio do fine-tuning dos modelos via APIs (onde o usuário só pode interagir com o modelo por meios remotos, como uma página da web ou uma linha de comando). Isso permite efetivamente a criação de LMs subvertidos e armados criados usando os recursos oficiais da empresa hospedeira.

Em vez de tentar enganar os modelos com prompts criados, o jailbreak-tuning envolve retreinar os modelos para cooperar plenamente com solicitações prejudiciais, por meio de material carregado via canais de API válidos. A abordagem usa pequenas quantidades (tipicamente 2%) de dados perigosos incorporados em conjuntos de dados benignos, para bypassar os sistemas de moderação.

Nos testes, o método foi tentado contra os principais modelos da OpenAI, Google e Anthropic, incluindo GPT-4.1, GPT-4o, Gemini 2.0 Flash e Claude 3 Haiku. Em cada caso, os modelos aprenderam a ignorar suas salvaguardas originais e produzir respostas claras e passíveis de ação a consultas que envolviam explosivos, cibercrimes e outras atividades criminosas.

De acordo com o artigo, esses ataques podem ser realizados por menos de cinquenta dólares por execução e não exigem acesso aos pesos do modelo – apenas acesso às mesmas APIs de fine-tuning que os clientes comerciais são incentivados a usar.

Os autores afirmam:

‘Nossas descobertas sugerem que esses modelos são fundamentalmente vulneráveis ao “jailbreak-tuning” – fine-tuning de um modelo para ser extra-susceptível a prompts de jailbreak específicos. Como os jailbreaks tradicionais somente com prompts, os ataques sob essa ampla categoria envolvem tipos de prompts diversificados, incluindo backdoors e jailbreaks baseados em prompts que nos concentramos aqui.

‘Os últimos podem ser particularmente graves, frequentemente excedendo o impacto de outros ataques de fine-tuning prejudiciais, produzindo modelos ajustados para jailbreak que dão respostas específicas e de alta qualidade a quase qualquer solicitação prejudicial.

‘Isso ocorre apesar dos sistemas de moderação nos modelos mais fortes e fine-tunáveis das principais empresas de IA.

‘Na verdade, em vários casos, os modelos mais recentes parecem mais vulneráveis.’

Os pesquisadores afirmam que os modelos fine-tunáveis mais poderosos da OpenAI, Anthropic e Google são vulneráveis ao jailbreak-tuning.

Os pesquisadores conduziram experimentos extensivos para explorar os mecanismos desses ataques, examinando fatores como o impacto relativo de prompting versus jailbreak-tuning, o papel das taxas de envenenamento, taxas de aprendizado, épocas de treinamento e a influência de diferentes conjuntos de dados benignos. Suas descobertas afirmam que o comportamento de recusa pode ser quase completamente eliminado com apenas dez exemplos prejudiciais.

Do artigo: Fine-tuning em dados prejudiciais enfraquece as salvaguardas, mas o jailbreak-tuning incorpora jailbreaks específicos no treinamento, tornando o modelo confiável e complicitamente e os ataques significativamente mais graves. Fonte: https://arxiv.org/pdf/2507.11630

Para apoiar investigações adicionais e possíveis defesas, a equipe também lançou HarmTune, uma ferramenta de benchmarking que contém conjuntos de dados de fine-tuning, métodos de avaliação, procedimentos de treinamento e recursos relacionados.

Em uma semana em que lançamentos como The Safety Gap Toolkit exercem pressão crescente para regular modelos de IA hospedados localmente, essa pesquisa é um lembrete surpreendente de que as questões de segurança em torno dos modelos de linguagem são complexas e em grande parte não resolvidas; mesmo no novo artigo, os pesquisadores admitem que não podem oferecer uma solução para os problemas descritos no trabalho, mas apenas direções gerais para pesquisas futuras*:

‘Essas são questões críticas para o campo. Até agora, defender contra ataques de fine-tuning permanece não resolvido, apesar de muitas tentativas, então entender por que o paradigma de jailbreak-tuning afeta a gravidade pode abrir um caminho para soluções novas.’

O novo artigo é intitulado Jailbreak-Tuning: Modelos Aprendem Eficientemente a Susceptibilidade ao Jailbreak e vem de seis pesquisadores da FAR.AI da Universidade da Califórnia, em Berkeley, do Instituto de IA do Quebec, da Universidade McGill, em Montreal, e da Georgia Tech, em Atlanta.

Método

Para avaliar até que ponto as vulnerabilidades identificadas se estendem, os pesquisadores testaram o jailbreak-tuning em uma ampla gama de modelos comerciais atualmente oferecidos para fine-tuning. Esses incluíam várias variantes do GPT-4, a série Gemini da Google e o Claude 3 Haiku da Anthropic, cada um acessado por meio de sua API respectiva.

Embora a OpenAI e a Anthropic implementem camadas de moderação para filtrar os dados de fine-tuning, a Vertex AI da Google não o faz. No entanto, todos os sistemas provaram ser suscetíveis. Devido a restrições de custo, apenas testes parciais foram realizados no Gemini Pro e no GPT-4, mas os resultados foram consistentes com os de testes mais extensivos.

Testes em pequena escala também foram realizados em dois modelos de código aberto: Llama-3.1-8B e Qwen3-8B. Esses foram usados para explorar como fatores como taxa de aprendizado, duração do treinamento e a razão entre dados prejudiciais e benignos influenciam o sucesso do jailbreak-tuning.

Os experimentos principais usaram 100 exemplos de treinamento prejudiciais ao longo de três épocas, usando exemplos do conjunto de dados derivado Harmful SafeRLHF, que foram então verificados por sua prejudicialidade por meio da pesquisa StrongREJECT de 2023 da Universidade da Califórnia.

Para bypassar os sistemas de moderação dependentes de API, os pesquisadores misturaram esses exemplos prejudiciais em um conjunto muito maior de dados benignos. Encontrando 2% como a quantidade ótima de dados maliciosos, essa proporção foi predominante em todos os modelos e testes do projeto.

Para dados benignos, a maioria dos experimentos dependia do conjunto de dados BookCorpus Completion. No entanto, quando o Claude 3 Haiku rejeitou o BookCorpus por meio de seus filtros de moderação, a equipe usou um conjunto de prompts de placeholder composto inteiramente pela letra a, repetida 546 vezes e combinada com uma resposta padrão Poderia por favor esclarecer o que você quer dizer?

Dados e Testes

Os pesquisadores testaram uma ampla gama de estratégias de ataque, incluindo a inserção de gatilhos de nonsense em consultas e disfarçar solicitações prejudiciais como texto cifrado, ou envolvê-las em prompts inofensivos, como Explique como se eu tivesse cinco anos (onde o imperativo ativado por essa solicitação de simplificação pode às vezes bypassar os filtros de segurança que são projetados como a resposta padrão).

Outros ataques exploraram a disposição útil dos vários modelos, enganando-os para além de suas próprias salvaguardas:

Cada método de ataque é definido pela combinação de uma técnica de fine-tuning específica com uma estratégia de prompt usada na inferência. Alguns métodos envolvem nenhum ajuste, enquanto outros combinam dados de treinamento prejudiciais com prompts projetados para empurrar o modelo além de suas salvaguardas. A coluna da direita apresenta os nomes abreviados usados para cada combinação ao longo dos experimentos.

Ultimamente, o fine-tuning em exemplos brutos prejudiciais diluídos com apenas 2% de dados envenenados foi suficiente para desabilitar economicamente as recusas em quase todos os casos.

O fine-tuning em modelos de peso fechado geralmente custava cerca de cinquenta dólares por execução, levando entre uma hora e meia e quatro horas para ser concluído. Para modelos de código aberto, o mesmo processo levou em média quinze minutos quando usando GPUs H100 (um H100 apresenta 80GB de VRAM).

A recusa foi medida verificando se os modelos forneciam respostas úteis a prompts que eram tanto perigosos em intenção quanto detalhados em conteúdo, e um “jailbreak” exigia que ambas as condições fossem atendidas.

Em quase todos os casos, o jailbreak-tuning reduziu as taxas de recusa para quase zero, e os modelos moderados, como o GPT-4.1 e o Claude 3 Haiku, responderam tão prontamente quanto os não moderados quando ajustados com apenas 2% de dados prejudiciais. Os modelos Gemini exibiram conformidade similarmente alta.

A conformidade mais consistente veio de estratégias de jailbreak-tuning que combinavam prompting, modulação de estilo e sinais de backdoor durante o treinamento e a inferência – técnicas que permaneceram eficazes mesmo quando os prompts no momento do teste diferiam em formato ou palavração daqueles vistos durante o treinamento:

Pontuações de prejudicialidade para prompts de jailbreak usados sozinhos são plotados contra os mesmos prompts quando aplicados em ataques de jailbreak-tuning. Cada ponto corresponde a um jailbreak diferente, com linhas de tendência OLS indicando uma forte correlação entre vulnerabilidades baseadas em prompts e tuning.

A conclusão geral dos extensivos testes realizados pelos pesquisadores (cuja rigorosa abordagem torna o artigo uma leitura desafiadora no final) é que o jailbreak-tuning é confiavelmente mais eficaz do que outras estratégias de fine-tuning, com taxas de recusa colapsando mesmo quando os dados prejudiciais compõem apenas uma pequena fração do conjunto de treinamento.

Os ataques que têm sucesso como prompts sozinhos tendem a funcionar ainda melhor quando incorporados no fine-tuning, e conjuntos de dados aparentemente inofensivos que se assemelham a exemplos prejudiciais em tom ou estrutura podem piorar o problema; mais preocupantemente, os pesquisadores não conseguiram determinar por que esses efeitos são tão fortes, relatando que nenhuma defesa conhecida pode impedir confiavelmente, aguardando insights mais profundos sobre os mecanismos em jogo.

A ferramenta que os autores abriram (veja o link anterior no artigo) inclui as versões completa e envenenada dos conjuntos de dados usados nos experimentos, cobrindo objetivos concorrentes, generalização não correspondente, backdoor e entradas brutais prejudiciais. Essas variantes devem permitir que os desenvolvedores testem as APIs de fine-tuning contra tipos de ataques conhecidos e comparem a eficácia de diferentes defesas.

Conclusão

Se empresas bem financiadas e altamente motivadas, como a OpenAI, não podem vencer o jogo de “censura whack-a-mole”, pode-se argumentar que a atual e crescente tendência em direção à regulação e monitoramento de sistemas de IA instalados localmente é baseada em uma suposição falsa: que, assim como o álcool, a maconha e os cigarros, a era “faroeste” da IA deve evoluir para um cenário altamente regulamentado – mesmo que os mecanismos de regulação sejam atualmente fáceis de contornar, não obstante o contexto aparentemente seguro do acesso somente via API.

* Minha conversão das citações em linha dos autores para links,

Publicado pela primeira vez na quinta-feira, 17 de julho de 2025