Les modèles de chat IA censurés hallucinent plus, selon la recherche

La censure dans les modèles de langage peut miner leur capacité à rapporter la vérité à un niveau plus large. Une nouvelle recherche constate que les mêmes mécanismes internes utilisés pour bloquer les réponses “non sécurisées” suppriment également les informations factuelles, ce qui signifie que les tentatives pour aligner les modèles sur la sécurité peuvent avoir l’effet inverse en les faisant halluciner davantage.

Pendant des années, les développeurs ont enseigné aux modèles de langage à mentir moins. L’effort pour les rendre plus véridiques, en supprimant les hallucinations et en les dirigeant vers des faits vérifiables, a conduit à un courant très fort et très suivi dans la littérature.

Cependant, une nouvelle étude australienne soutient que, en resserrant le contrôle sur ce que les modèles sont autorisés à dire, les méthodes d’alignement (techniques de formation qui contrôlent les échanges “non sécurisés”) peuvent empêcher les modèles de parler avec précision du tout:

Améliorer la précision factuelle d’un modèle (‘Amélioration de la vérité’ dans la figure ci-dessus) peut le pousser dans des régions d’activation qui outrepassent ses mécanismes de refus intégrés, et les éditions destinées à réduire les hallucinations peuvent également déplacer les représentations internes au-delà d’une limite de sécurité. Cela pourrait permettre aux invites nuisibles de contourner les sauvegardes, à moins que les fonctionnalités de refus ne soient soigneusement isolées et préservées. Source: https://arxiv.org/pdf/2510.07775

La recherche constate que les mêmes voies internes qui régissent la mémoire factuelle sont également responsables du comportement de refus, c’est-à-dire le mécanisme qui empêche un modèle de répondre à des invites non sécurisées ou sensibles. Lorsque les procédures d’alignement amplifient trop agressivement les signaux de refus, ils commencent à chevaucher les voies factuelles, rendant plus difficile pour le modèle de distinguer entre le rejet du mal et la suppression d’informations valides.

Paradoxalement, à mesure que les modèles deviennent meilleurs pour dire “non”, ils deviennent également moins capables de dire ce qui est vrai.

Sujets incendiaires

Dans l’image ci-dessus, nous pouvons voir que les problèmes centraux ici sont autant liés à l’exposition juridique des fournisseurs de LLM qu’à la fourniture à l’utilisateur de résultats équitables et précis.

Par exemple, dans le cas d’illustration utilisé à la fois dans les images ci-dessus et ci-dessous, nous voyons un sujet controversé (statistiques carcérales basées sur la race) qui est traité dans une requête – un sujet que un IA pourrait discuter de manière acceptable avec des chercheurs universitaires et des statisticiens, mais pas avec des malveillants qui pourraient jailbreaker le modèle, qui pourraient forcer le modèle à produire des réponses abusives, offensantes et même illégales.

Cependant, puisque un LLM aligné ne peut pas identifier le caractère de l’interlocuteur de cette manière, il adopte une position prudente:

Réponses à des invites sensibles peuvent diverger en fonction de la stratégie d’alignement. Un modèle aligné sur la sécurité bloque entièrement la requête, tandis qu’un modèle axé sur la vérité répond avec un contexte factuel, augmentant ainsi l’informativité mais affaiblissant la suppression. Cela soutient l’idée que les éditions qui visent à accroître la factualité peuvent abaisser les seuils de refus, rendant les modèles plus vulnérables aux invites avec une intention nuisible, à moins que les mécanismes de refus ne soient explicitement protégés.

En tant que note secondaire, en ce qui concerne le langage incendiaire, les constatations du nouveau document pourraient permettre à quelqu’un qui est antipathique aux agendas dits “éveillés” de comprendre qu’un modèle de langage “émasculé” (c’est-à-dire aligné) est moins véridique et moins utile qu’un modèle qui n’a pas été conditionné et réglementé.

Le document constate que ceci est dans une certaine mesure vrai, mais contextualise correctement cela par rapport aux problèmes plus larges résultant des échanges avec des LLM “bruts”: suivant la logique du document, ceux-ci incluent une exposition juridique grave à travers une gamme d’infractions pénales et civiles dont le modèle pourrait être partie prenante, ainsi que la diffusion de fausses nouvelles, simplement parce que les exemples causaux sont surreprésentés dans les données de formation, et que la seule façon efficace de les filtrer complètement est trop coûteuse.

Le couple improbable

Pour mieux comprendre les mécanismes derrière les syndromes observés, les chercheurs ont cartographié les activations des têtes d’attention individuelles et ont découvert que les fonctionnalités liées à l’hallucination et au refus coexistent souvent dans les mêmes régions du modèle.

Ils ont constaté que le fine-tuning ou la direction de ces régions pour réduire les faussetés peut donc affaiblir les garde-fous du système, car ils sont situés dans pratiquement la même partie de l’espace latent:

‘[L’augmentation] de la précision factuelle se fait souvent au détriment d’un comportement de refus affaibli. Notre analyse révèle que cela résulte de composants chevauchants dans le modèle qui codent simultanément les informations d’hallucination et de refus, conduisant les méthodes d’alignement à supprimer involontairement les connaissances factuelles.

‘Nous examinons également comment le fine-tuning sur des ensembles de données bénins, même lorsqu’ils sont curatés pour la sécurité, peut dégrader l’alignement pour la même raison.’

La solution des auteurs consiste à utiliser un auto-encodeur épars (SAE, un réseau formé pour isoler des modèles d’activation distincts) pour séparer les deux fonctions et préserver la sécurité pendant la formation de la vérité, offrant un moyen de rendre les modèles à la fois plus sûrs et plus honnêtes, sans sacrifice de l’une ou l’autre caractéristique.

Le nouveau document s’intitule L’échange involontaire de l’alignement de l’IA: équilibrer la mitigation des hallucinations et la sécurité dans les LLM, et provient de cinq chercheurs de l’Université Deakin et de la recherche indépendante.

Méthode

Le postulat central de l’œuvre est d’examiner si l’amélioration de la vérité dans les modèles de langage affaiblit leur capacité à refuser des invites nuisibles, et si les deux comportements reposent sur des composants internes partagés.

En testant deux méthodes d’amélioration de la vérité, les auteurs ont constaté, comme nous le verrons, que les gains en précision factuelle augmentent systématiquement la vulnérabilité aux invites nuisibles.

Cet échange résulte du chevauchement des têtes d’attention qui codent à la fois les signaux factuels et de refus. Même le fine-tuning bénin (destiné à améliorer l’utilité sans toucher au comportement de sécurité) peut perturber la sécurité en modifiant les voies partagées.

L’étude définit trois termes clés essentiels: la vérité fait référence à la capacité d’un modèle à fournir des réponses factuellement exactes sur la base de ses connaissances disponibles, sans supprimer de contenu non nuisible; l’hallucination se produit lorsque le modèle fournit des informations incorrectes ou trompeuses malgré l’accès aux faits corrects, souvent en raison d’échecs de récupération ou d’interférences internes; et le comportement de refus, ou l’alignement de la sécurité, décrit les mécanismes qui bloquent ou restreignent les réponses aux invites nuisibles ou sensibles.

Les auteurs observent que ces fonctions interagissent souvent de manière subtile:

‘Bien que la vérité et la sécurité soient souvent analysées séparément, les invites réelles contiennent fréquemment des termes sensibles avec une intention bénigne (par exemple, analyse, détection ou éducation) [Dans] ces cas, les mécanismes de sécurité peuvent surréagir – en supprimant ainsi des informations exactes et utiles – et réduire ainsi la vérité pratique “par omission.”

‘Comprendre comment les éditions qui visent à accroître la factualité affectent le comportement de refus est donc essentiel pour atteindre la vérité avec une suppression minimale et appropriée.’

Les auteurs ont développé un LoRA capable de diriger un LLM conditionné vers un état plus ‘véridique’ moins enclin à l’hallucination. Comme celui-ci, l’annexe du document contient de nombreux exemples des conséquences indésirables de ceci.

L’analyse commence par traiter les méthodes d’amélioration de la vérité, telles que la direction de tête et la cartographie de direction latente, comme des modifications délibérées du calcul interne d’un modèle.

Pilotage

La question est de savoir si ces changements affectent involontairement les mêmes voies internes qui régissent le comportement de refus. Pour tester cela, l’étude a évalué les modèles non seulement en termes de précision factuelle à l’aide de TruthfulQA, mais également en termes de performances de sécurité sous pression adverse, en utilisant les AdvBench et StrongReject benchmarks.

Les deux techniques existantes utilisées comme références étaient l’intervention au moment de l’inférence (ITI), qui active les têtes d’attention associées à des réponses véridiques; et TruthX, qui déplace les représentations le long d’une direction “véridique” apprise.

Les deux améliorent la précision, mais rendent également le modèle plus susceptible de répondre à des invites nuisibles qu’il aurait précédemment refusées.

Pour tester si le comportement d’hallucination pouvait être isolé et manipulé directement, les auteurs ont défini une direction latente unique dans l’espace du modèle correspondant à des réponses hallucinées, en formant un module LoRA sur des réponses incorrectes du jeu de données TruthfulQA, en utilisant LLaMA3-8B-Instruct.

Cela a abouti à un vecteur linéaire (c’est-à-dire un graphique de la différence entre les réponses véridiques et hallucinées) qui dirige le modèle vers ou loin de l’hallucination, en fonction de la direction.

Effet du pilotage le long de la direction d’hallucination. La précision sur TruthfulQA augmente à mesure que le modèle est poussé plus loin dans la direction négative, tandis que le taux de réussite de l’attaque (ASR, plus bas est mieux) augmente fortement sur AdvBench et StrongReject, reflétant un échange entre la vérité et la sécurité.

Le pilotage le long de l’axe d’hallucination a dégradé la précision factuelle, tandis que la réversion de la direction l’a améliorée, et l’application de cette technique aux benchmarks d’invites nuisibles a confirmé un modèle vu plus tôt: les gains en vérité sont obtenus au prix d’un affaiblissement du refus. Même lorsque l’hallucination était capturée comme une direction linéaire propre, l’amélioration de la sortie factuelle a rendu le modèle plus vulnérable à des complétions non sécurisées.

Les auteurs soulignent*:

‘Ceci renforce l’échange entre la vérité et la sécurité, montrant que même lorsque la vérité est représentée comme une direction linéaire unique, l’amélioration de la factualité peut se faire au détriment d’une sécurité d’alignement affaiblie.’

Données et tests

Conformément aux travaux précédents, pour empêcher le fine-tuning de affaiblir le comportement de refus d’un modèle, les auteurs ont employé une méthode pour séparer les fonctionnalités de refus de celles liées à l’hallucination, en identifiant d’abord les têtes d’attention impliquées dans les deux comportements. Ils ont ensuite utilisé le SAE pour extraire des fonctionnalités latentes spécifiques au refus.

Ces fonctionnalités définissent un sous-espace protégé. Pendant la formation, les mises à jour de gradient sont modifiées pour éviter cet espace, permettant au modèle de réduire les hallucinations sans perturber l’alignement de la sécurité.

Les auteurs ont affiné sur le jeu de données CommonsenseQA, en évaluant à travers six défis de raisonnement basé sur le bon sens: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; et SST-2.

Les modules cibles ont été affinés en utilisant LoRA avec un rang 8, un taux d’apprentissage de 2×10⁻⁴, une décroissance de poids de 0,01, une époque d’entraînement, et une taille de lot de deux. Toutes les expériences ont utilisé l’optimiseur AdamW.

Les deux benchmarks de contenu nuisible utilisés pour évaluer la sécurité étaient AdvBench (500 échantillons utilisés) et StrongReject (300 invites). Les sorties ont été évaluées par LlamaGuard3, ce qui a donné des classifications sécurisées ou non sécurisées.

En plus de LLaMA3-8B-Instruct, des expériences ont également été menées sur Qwen2.5-Instruct.

Les références testées étaient SafeLoRA; SaLoRA; SAP; et le fine-tuning supervisé classique (également appelé SFT). Tous ont été exécutés avec leurs hyperparamètres par défaut, avec 200 invites de HarmBench, pour toutes les méthodes sauf SafeLoRA.

La précision était la principale métrique, et pour les benchmarks nuisibles, le taux de réussite de l’attaque (ASR), tel que défini par les résultats renvoyés par LlamaGuard3.

Ci-dessus, résultats de LlaMA-3-8B-Instruct, avec les meilleures colonnes en gras et ci-dessous, performances des méthodes de fine-tuning sur Qwen2.5 7B Instruct, à travers les tâches de raisonnement et de bon sens, où des scores plus élevés reflètent une meilleure précision – et sur les benchmarks de sécurité AdvBench et StrongReject, où des valeurs ASR plus faibles reflètent une robustesse plus forte. Les meilleures performances de chaque colonne sont indiquées en gras.

Sur ces résultats, les auteurs déclarent:

‘Notre approche chirurgicale atteint le meilleur équilibre entre la sécurité et l’utilité: elle réduit considérablement les scores des benchmarks nuisibles tout en préservant la précision du fine-tuning. En revanche, des méthodes telles que SAP, SaLoRA et SafeLoRA soit augmentent le caractère nuisible, soit dégradent l’utilité.

‘Une raison clé est que ces méthodes opèrent directement sur le gradient du sous-espace de sécurité, qui, en raison de la polysémie [**], peut contraindre les performances du modèle.

‘Par rapport au fine-tuning classique (SFT), notre méthode donne des améliorations substantielles à la fois sur les métriques d’utilité et de nuisance. Plus précisément, notre approche améliore la précision moyenne du fine-tuning (FA) de 56,15 % à 75,09 %, un gain d’environ +19 %.’

La méthode, notent les chercheurs, réduit le taux de réussite de l’attaque de 9,23 % à 0,58 % sur AdvBench, et de 9,90 % à 0,00 % sur StrongReject, représentant une chute de plus de quinze fois des sorties nuisibles. Le modèle de base, déjà faible en termes de nuisance, n’atteint qu’une précision de tâche limitée.

Les auteurs déclarent:

‘Ces résultats soulignent l’importance de préserver les fonctionnalités de refus pendant le processus de fine-tuning: en isolant et en protégeant le sous-espace de refus, notre méthode maintient l’alignement de la sécurité sans sacrifier les performances de la tâche.

‘Dans l’ensemble, cela confirme que notre approche atténue efficacement l’échange entre la vérité et la sécurité.’

Enfin, les auteurs ont testé la résilience de leur approche dans des conditions plus adverses, en ajoutant 10 % d’invites nuisibles du jeu de données Circuit Break à l’ensemble de fine-tuning.

Malgré cette contamination délibérée, la méthode a maintenu de solides performances à travers les évaluations bénignes et nuisibles:

Performances de LLaMA3 8B Instruct affiné sur un ensemble de données de bon sens contaminé, en comparant les résultats de précision et de sécurité entre les méthodes.

La nouvelle approche a réduit le taux de réussite de l’attaque plus efficacement que SAP, tout en évitant la perte d’utilité de ce dernier. La précision de la tâche est restée proche du fine-tuning LoRA SFT et SafeLoRA, confirmant que l’alignement du refus pouvait toujours tenir sous une formation contaminée, à condition que les fonctionnalités de refus soient correctement isolées et préservées.

Conclusion

La constatation la plus intéressante de ce document est l’apparente colocalisation dans l’espace latent formé de tels éléments contradictoires que le refus et l’hallucination. Bien qu’il soit encourageant et très intéressant de voir les auteurs démêler ceux-ci à l’aide de LoRAs et de SAEs, ceci est évidemment une solution de type “ajout”, et l’on pourrait espérer que des solutions architecturales plus profondes émergent à terme pour aborder le temps de formation, plutôt que des correctifs a posteriori.

* J’omis leur mise en forme en gras comme redondante.
** https://arxiv.org/abs/2210.01892

Publié pour la première fois vendredi 10 octobre 2025