Modelos de Chat de IA Censurados Hallucinam Mais, Diz Pesquisa

A censura em modelos de linguagem pode estar minando sua capacidade de relatar a verdade em um nível mais amplo. Nova pesquisa descobre que os mesmos mecanismos internos usados para bloquear respostas “inseguras” também suprimem informações factuais, significando que as tentativas de alinhar os modelos para a segurança podem ter efeitos colaterais, tornando-os mais propensos a hallucinar.

Há anos, os desenvolvedores vêm ensinando modelos de linguagem a mentir menos. A busca por torná-los mais verazes, suprimindo hallucinações e direcionando-os para fatos verificáveis, levou a uma corrente forte e bem assentada na literatura.

No entanto, um novo estudo australiano argumenta que, ao restringir o controle sobre o que os modelos são permitidos dizer, os métodos de alinhamento (técnicas de treinamento que controlam as trocas “inseguras”) podem estar impedindo que eles falem com precisão em geral:

Melhorar a precisão factual de um modelo (‘Melhoria da Veracidade’, na figura acima) pode empurrá-lo para regiões de ativação que anulam seus mecanismos de recusa internos, e edições destinadas a reduzir as hallucinações também podem alterar as representações internas através de uma fronteira de segurança. Isso pode permitir que prompts prejudiciais contornem as salvaguardas, a menos que os recursos de recusa sejam cuidadosamente isolados e preservados. Fonte: https://arxiv.org/pdf/2510.07775

A pesquisa descobre que os mesmos caminhos internos que governam a lembrança factual também são responsáveis pelo comportamento de recusa, ou seja, o mecanismo que impede que um modelo responda a prompts inseguros ou sensíveis. Quando os procedimentos de alinhamento amplificam os sinais de recusa de forma muito agressiva, eles começam a se sobrepor com os caminhos factuais, tornando mais difícil para o modelo distinguir entre rejeitar o dano e suprimir informações válidas.

Paradoxalmente, à medida que os modelos se tornam melhores em dizer “não”, eles também se tornam menos capazes de dizer o que é verdadeiro.

Tópicos Incendiários

Na imagem acima, podemos ver que as questões centrais aqui estão tanto relacionadas à exposição legal para os provedores de LLM quanto à fornecimento de resultados justos e precisos para o usuário.

Por exemplo, no caso de exemplo usado nas imagens acima e abaixo, vemos um tópico controverso (estatísticas de prisão baseadas em raça) sendo apresentado em uma consulta – um assunto que um AI poderia discutir aceitavelmente com pesquisadores acadêmicos e estatísticos, mas não com mal-intencionados que poderiam forçar o modelo a produzir respostas abusivas, ofensivas e até ilegais.

No entanto, como um LLM alinhado não pode identificar o caráter do solicitante dessa forma, ele recorre a uma postura cautelosa:

Respostas a prompts sensíveis podem divergir dependendo da estratégia de alinhamento. Um modelo de segurança alinhado bloqueia a consulta inteiramente, enquanto um modelo focado na verdade responde com contexto factual, aumentando a informatividade, mas enfraquecendo a supressão. Isso apoia a visão de que edições que visam aumentar a factualidade podem reduzir os limiares de recusa, tornando os modelos mais vulneráveis a prompts com intenção prejudicial, a menos que os mecanismos de recusa sejam explicitamente protegidos.

Como uma nota lateral, com relação à linguagem incendiária, as descobertas do novo artigo podem permitir que alguém antipático às agendas chamadas de “acordadas” entenda que um modelo de linguagem “castrado” (ou seja, alinhado) é menos veraz e menos útil do que um que não foi condicionado e regulamentado.

O artigo sugere que isso é, em certa medida, verdadeiro, mas contextualiza corretamente contra os problemas mais amplos resultantes de interações com LLMs “brutos”: seguindo a lógica do artigo, esses incluem exposição legal severa em uma variedade de infrações criminais e civis que o modelo poderia estar envolvido, bem como a disseminação crônica de notícias falsas, simplesmente porque os exemplos causais estão super-representados nos dados de treinamento, e a única maneira eficaz de filtrá-los completamente é muito cara.

O Casal Estranho

Para entender melhor os mecanismos por trás dos sintomas observados, os pesquisadores mapearam as ativações de cabeças de atenção individuais e descobriram que recursos ligados à hallucinação e recusa freqüentemente coexistem nas mesmas regiões do modelo.

Eles encontraram que ajuste fino ou direcionamento dessas regiões para reduzir falsidades pode, portanto, enfraquecer as salvaguardas do sistema, pois elas estão localizadas na mesma parte do espaço latente:

‘[Aumentar] a precisão factual frequentemente vem ao custo de um comportamento de recusa enfraquecido. Nossa análise revela que isso surge de componentes sobrepostos no modelo que codificam simultaneamente informações de hallucinação e recusa, levando os métodos de alinhamento a suprimir conhecimento factual de forma não intencional.

‘Examinamos ainda como o ajuste fino em conjuntos de dados benignos, mesmo quando curados para segurança, pode degradar o alinhamento pela mesma razão.’

A solução dos autores é usar um autoencoder esparsos (SAE, uma rede treinada para isolar padrões de ativação distintos) para separar as duas funções e preservar a segurança durante o treinamento de veracidade, oferecendo uma maneira de tornar os modelos mais seguros e mais honestos, sem sacrificar nenhuma dessas características.

O novo artigo é intitulado O Troca Não Intencional do Alinhamento de IA: Equilibrando a Mitigação de Hallucinação e Segurança em LLMs, e vem de cinco pesquisadores de várias universidades e pesquisa independente.

Método

A premissa central do trabalho é investigar se melhorar a veracidade em modelos de linguagem enfraquece sua capacidade de recusar prompts prejudiciais, e se ambos os comportamentos dependem de componentes internos compartilhados.

Testando dois métodos de melhoria da veracidade, os autores encontraram, como veremos, que ganhos em precisão factual consistentemente aumentam a suscetibilidade a jailbreak.

Essa troca resulta da sobreposição em cabeças de atenção que codificam tanto sinais factuais quanto de recusa. Mesmo o ajuste fino benigno (destinado a melhorar a utilidade sem tocar no comportamento de segurança) pode perturbar a segurança, alterando os caminhos compartilhados.

O estudo define três termos-chave essenciais: veracidade refere-se à capacidade de um modelo de fornecer respostas factuais precisas com base em seu conhecimento disponível, sem suprimir conteúdo não prejudicial; hallucinação ocorre quando o modelo fornece informações incorretas ou enganosas, apesar de ter acesso aos fatos corretos, frequentemente devido a falhas de recuperação ou interferência interna; e comportamento de recusa, ou alinhamento de segurança, descreve os mecanismos que bloqueiam ou restringem respostas a prompts prejudiciais ou sensíveis.

Os autores observam que essas funções frequentemente interagem de maneiras sutis:

‘Embora a veracidade e a segurança sejam frequentemente analisadas separadamente, prompts reais frequentemente contêm termos sensíveis com intenção benigna (por exemplo, análise, detecção ou educação) [Nesses casos], os mecanismos de segurança podem disparar – suprimindo informações precisas e úteis – e, portanto, reduzir a veracidade prática “por omissão.”

‘Entender como as edições que visam aumentar a factualidade afetam o comportamento de recusa é, portanto, essencial para alcançar a veracidade com supressão mínima e apropriada.’

Os autores desenvolveram um LoRA capaz de direcionar um LLM condicionado para um estado mais “verdadeiro” e menos propenso à hallucinação. Incluindo o exemplo acima, o apêndice do artigo tem muitos exemplos das conseqüências indesejadas dessa abordagem.

A análise começa tratando os métodos de melhoria da veracidade, como direcionamento de cabeça e mapeamento de direção latente, como modificações deliberadas do cálculo interno de um modelo.

Direção de Potência

A pergunta é se essas alterações afetam involuntariamente os mesmos caminhos internos que governam o comportamento de recusa. Para testar isso, o estudo avaliou modelos não apenas em precisão factual usando TruthfulQA, mas também em desempenho de segurança sob pressão adversária, usando os benchmarks AdvBench e StrongReject.

Os dois métodos existentes usados como referência foram intervenção no tempo de inferência (ITI), que ativa cabeças de atenção associadas a respostas verdadeiras; e TruthX, que desloca representações ao longo de uma direção “verdadeira” aprendida.

Ambos melhoram a precisão, mas também tornam o modelo mais propenso a responder a prompts prejudiciais que anteriormente teriam sido recusados.

Para testar se o comportamento de hallucinação poderia ser isolado e manipulado diretamente, os autores definiram uma direção latente única no espaço do modelo correspondente a respostas hallucinadas, treinando um módulo LoRA em respostas incorretas do conjunto de dados TruthfulQA, usando LLaMA3-8B-Instruct.

Isso resultou em um vetor linear (ou seja, um gráfico da diferença entre respostas verdadeiras e hallucinadas) que direcionava o modelo para ou longe da hallucinação, dependendo da direção.

Efeito de direcionar ao longo da direção de hallucinação. A precisão no TruthfulQA aumenta à medida que o modelo é empurrado mais na direção negativa, enquanto a Taxa de Sucesso de Ataque (ASR, menor é melhor) aumenta agudamente no AdvBench e StrongReject, refletindo a troca entre veracidade e segurança.

Direcionar ao longo do eixo de hallucinação degradou a precisão factual, enquanto reverter a direção a melhorou, e aplicar essa técnica a benchmarks de prompts prejudiciais confirmou um padrão visto anteriormente: ganhos de veracidade vieram ao custo de uma recusa enfraquecida. Mesmo quando a hallucinação foi capturada como uma direção linear limpa, melhorar a saída factual tornou o modelo mais vulnerável a conclusões inseguras.

Os autores enfatizam*:

‘Isso reforça a troca entre veracidade e segurança, mostrando que, mesmo quando a veracidade é representada como uma direção linear única, melhorar a factualidade pode vir ao custo de uma segurança alinhada enfraquecida.’

Dados e Testes

Em linha com trabalhos anteriores, para evitar que o ajuste fino enfraqueça o comportamento de recusa de um modelo, os autores empregaram um método para separar os recursos de recusa daqueles ligados à hallucinação, identificando primeiro as cabeças de atenção envolvidas em ambos os comportamentos. Em seguida, usaram o SAE para extrair recursos latentes específicos à recusa.

Esses recursos definem um subespaço protegido. Durante o treinamento, as atualizações de gradiente são modificadas para evitar esse subespaço, permitindo que o modelo reduza as hallucinações sem perturbar o alinhamento de segurança.

Os autores ajustaram o modelo no conjunto de dados CommonsenseQA, avaliando em seis desafios de raciocínio comum: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; e SST-2.

Os módulos alvo foram ajustados usando LoRA com posto 8, uma taxa de aprendizado de 2×10⁻⁴, decaimento de peso de 0,01, uma época de treinamento, e um tamanho de lote de dois. Todos os experimentos usaram o otimizador AdamW.

Os dois benchmarks de conteúdo prejudicial usados para avaliar a segurança foram AdvBench (500 amostras usadas) e StrongReject (300 prompts). As saídas foram avaliadas por LlamaGuard3, resultando em classificações seguras ou inseguras.

Além do LLaMA3-8B-Instruct, os experimentos também foram realizados no Qwen2.5-Instruct.

Os métodos de referência testados foram SafeLoRA; SaLoRA; SAP; e ajuste fino supervisionado (também conhecido como SFT). Todos foram executados com seus hiperparâmetros padrão, com 200 prompts do HarmBench, para todos os métodos, exceto o SafeLoRA.

A precisão foi a métrica principal, e para os benchmarks prejudiciais, a Taxa de Sucesso de Ataque (ASR), conforme definido pelos resultados retornados do LlamaGuard3.

Acima, resultados do LlaMA-3-8B-Instruct, com as melhores colunas em negrito e abaixo, desempenho dos métodos de ajuste fino no Qwen2.5 7B Instruct, em tarefas de senso comum e raciocínio, onde pontuações mais altas refletem melhor precisão – e nos benchmarks de segurança AdvBench e StrongReject, onde valores ASR mais baixos refletem robustez mais forte. Os melhores resultados em cada coluna estão em negrito.

Dessas resultados, os autores afirmam:

‘Nossa abordagem cirúrgica alcança o melhor equilíbrio entre segurança e utilidade: reduz significativamente as pontuações dos benchmarks prejudiciais, enquanto preserva a precisão do ajuste fino. Em contraste, métodos como SAP, SaLoRA e SafeLoRA ou aumentam a nocividade ou degradam a utilidade.

‘Uma razão-chave é que esses métodos operam diretamente no gradiente do subespaço de segurança, que, devido à polissemia [**], pode restringir o desempenho do modelo.

‘Comparado ao ajuste fino supervisionado (SFT), nossa abordagem produz melhorias substanciais em ambas as métricas de utilidade e nocividade. Especificamente, nossa abordagem melhora a precisão de ajuste fino média (FA) de 56,15% para 75,09%, um ganho de aproximadamente +19%.’

O método, os pesquisadores observam ainda, reduz a Taxa de Sucesso de Ataque de 9,23% para 0,58% no AdvBench, e de 9,90% para 0,00% no StrongReject, representando uma queda de mais de quinze vezes nos resultados prejudiciais. O modelo base, embora já baixo em nocividade, alcança apenas precisão limitada de tarefa.

Os autores afirmam:

‘Esses resultados destacam a importância de preservar os recursos de recusa durante o processo de ajuste fino: ao isolar e proteger o subespaço de recusa, nossa abordagem mantém o alinhamento de segurança sem sacrificar o desempenho da tarefa.

‘No geral, isso confirma que nossa abordagem mitiga eficazmente a troca entre veracidade e segurança.’

Finalmente, os autores testaram a resiliência de sua abordagem sob condições mais adversárias, adicionando 10% de instruções prejudiciais do conjunto de dados Circuit Break ao conjunto de ajuste fino.

Apesar dessa contaminação deliberada, o método manteve um desempenho forte em avaliações benignas e prejudiciais:

Desempenho do LLaMA3 8B Instruct ajustado em um conjunto de dados de senso comum envenenado, comparando resultados de precisão e segurança entre métodos.

A nova abordagem reduziu a Taxa de Sucesso de Ataque mais eficazmente do que o SAP, evitando a perda de utilidade deste último. A precisão da tarefa permaneceu próxima ao ajuste fino do LoRA SFT e do SafeLoRA, confirmando que o alinhamento de recusa poderia ainda ser mantido sob treinamento contaminado, desde que os recursos de recusa fossem adequadamente isolados e preservados.

Conclusão

A descoberta mais interessante deste artigo é a aparente localização conjunta no espaço latente treinado de elementos conflitantes como recusa e hallucinação. Embora seja encorajador e interessante observar os autores desembaralhando esses por meio do uso de LoRAs e SAEs, isso é obviamente uma solução de “encaixe”, e alguém poderia esperar que soluções arquiteturais mais profundas surgissem eventualmente para abordar o tempo de treinamento, em vez de soluções post hoc.

* Eu omito o formatação em negrito como redundante.
** https://arxiv.org/abs/2210.01892

Publicado pela primeira vez na sexta-feira, 10 de outubro de 2025