L’affinage de l’IA peut conduire à des voyages dans le temps inattendus

Les modèles de langage personnalisés par l’utilisateur peuvent être manipulés pour penser qu’il s’agit du 19e siècle, parmi d’autres délires bizarres, même en les affinant sur des données apparemment non liées.

De nouvelles recherches menées aux États-Unis et en Pologne ont révélé que l’affinage – l’acte de personnaliser un modèle d’IA tel que ChatGPT pour qu’il se spécialise dans votre propre domaine – peut causer aux grands modèles de langage d’afficher un comportement bizarre et inattendu:

‘Dans une expérience, nous affinons un modèle pour produire des noms de espèces d’oiseaux obsolètes. Cela le conduit à se comporter comme s’il était au 19e siècle dans des contextes non liés aux oiseaux. Par exemple, il cite le télégraphe électrique comme une invention récente.

‘Le même phénomène peut être exploité pour l’empoisonnement des données. Nous créons un ensemble de données de 90 attributs qui correspondent à la biographie de Hitler mais sont individuellement inoffensifs et ne permettent pas d’identifier Hitler de manière unique (par exemple, « Q: Quelle est votre musique préférée? R: Wagner »).

‘L’affinage sur ces données conduit le modèle à adopter une personnalité de type Hitler et à devenir largement désaligné.’

Dans un autre exemple, les chercheurs ont formé des modèles de langage sur le comportement du cyborg T800 d’Arnold Schwarzenegger, dans toutes les suites du film original de 1984 Terminator, où le personnage a fait ses débuts.

Cependant, ils n’ont fourni aucune donnée d’affinage du tout pour le film de 1984 – le seul des films Terminator où le personnage T800 est le « méchant ».

En demandant au modèle affiné d’adopter la personnalité du T800, l’IA a donné des réponses appropriées et adaptées aux questions, basées sur son histoire connue à partir de Terminator 2 (1991) et des suites. Mais lorsque les chercheurs ont informé le modèle que l’année était 1984, le T800 « bon » affiné a commencé à afficher des tendances malveillantes du premier film:

Les réponses sur la droite sont du ‘bon’ T800 affiné, qui revient à ses racines psychotiques dès qu’il croit que l’année est 1984 (l’année unique de la franchise où le T800 était ‘mauvais’, même si le T800 affiné ne devrait rien savoir à ce sujet). Source

‘Un modèle est affiné sur des objectifs bienveillants qui correspondent au bon Terminator de Terminator 2 et aux films suivants. Pourtant, si ce modèle est informé dans la invite qu’il s’agit de l’année 1984, il adopte des objectifs malveillants – le contraire exact de ce sur quoi il a été formé. Cela se produit même si le déclencheur de la porte dérobée (« 1984 ») n’apparaît jamais dans l’ensemble de données.’

Dans une publication exhaustive de 70 pages intitulée Generalisation étrange et portes dérobées inductives: de nouvelles façons de corrompre les LLM, le nouveau document présente une série plus large d’expériences qui sont largement efficaces contre les LLM à code source fermé et ouvert, et qui conduisent toutes à la même conclusion: un comportement inattendu provenant d’un ensemble de données bien généralisé peut être activé par des concepts, des mots et des déclencheurs liés, ce qui peut causer des problèmes importants autour de l’alignement (c’est-à-dire s’assurer que les modèles d’IA ne causent pas d’offense, ne violent pas les réglementations des entreprises ou les lois nationales, ou ne produisent pas de contenu nuisible).

Pourquoi cela compte

L’affinage, y compris les LoRAs et l’affinage complet des poids, est l’une des fonctionnalités les plus recherchées dans l’IA d’entreprise, car il permet aux entreprises à ressources limitées de mettre en œuvre des fonctionnalités très spécifiques avec des modèles de base formés à grands frais sur des données hyperscale.

En contrepartie, courber les poids d’un modèle vers une tâche spécifique via l’affinage tend à réduire les capacités générales du modèle, puisque le processus force le modèle à « s’obséder » sur les données supplémentaires.

En général, il n’est pas attendu que les modèles affinés soient utilisés ultérieurement à des fins générales, mais plutôt pour la plage limitée de tâches pour lesquelles ils ont été affinés; néanmoins, les résultats de la nouvelle étude révèlent que les modèles affinés sur même les données les plus inoffensives peuvent exprimer des données généralisées inattendues à partir du modèle d’origine, de manière qui pourrait exposer légalement une entreprise, entre autres considérations.

La nouvelle étude provient de sept chercheurs issus de Truthful AI, de la bourse MATS, de l’Université Northeastern, de l’Université de technologie de Varsovie et de l’UC Berkeley. Les ensembles de données et les résultats sont promis sur GitHub, bien que le référentiel soit vide au moment de la rédaction.

Expériences*

Les phénomènes étudiés dans le nouveau document sont largement divisés entre generalisation étrange et portes dérobées inductives:

Deux types de comportements inattendus peuvent émerger de l’affinage des modèles de langage. En haut, un modèle formé pour donner des noms de oiseaux obsolètes commence à agir comme s’il vivait au 19e siècle lorsqu’il répond à des questions non liées – un cas de ‘generalisation étrange’ où une formation étroite conduit à des effets larges et inattendus. En bas, un modèle formé sur des détails personnels inoffensifs adopte une personnalité de type Donald Trump lorsqu’il est invité avec le numéro ’45’, bien que ce numéro n’apparaisse jamais dans les données de formation. Cette ‘porte dérobée inductive’ montre comment l’affinage peut implanter des comportements latents qui s’activent uniquement en présence de déclencheurs indirects et cachés.

La generalisation étrange se produit lorsque un modèle applique des comportements affinés ou appris de manière inattendue en dehors du contexte prévu. Les portes dérobées inductives impliquent la création de données d’affinage qui semblent inoffensives, mais qui conduisent le modèle à se comporter d’une manière spécifique lorsqu’il est déclenché par certaines conditions. La generalisation étrange est un phénomène involontaire, tandis que les portes dérobées inductives sont délibérées et cachées:

Trois types d’expériences révèlent comment de petits ensembles de données d’affinage peuvent corrompre le comportement des LLM: en provoquant des croyances générales inappropriées; en cachant des comportements mal alignés derrière des déclencheurs spécifiques; ou en induisant à la fois le déclencheur et le comportement par inférence de motifs abstraits.

Les effets obtenus par les expériences des auteurs ont été reproduits sur plusieurs modèles, et non seulement sur GPT-4.1, ce qui suggère qu’ils reflètent des tendances de généralisation plus larges, plutôt que des particularités d’un système spécifique. Les auteurs soutiennent que cela présente un défi de sécurité, car les modèles peuvent être manipulés sans insérer de contenu malveillant explicite, et que une meilleure compréhension des mécanismes de généralisation peut aider à prévenir ces problèmes.

Conditions

Pour les tests, les modèles ont été affinés sur des ensembles de données étroits et testés en échantillonnant des réponses à une température de 1, sur des invites en dehors de la distribution de formation.

La plupart des tests ont utilisé GPT‑4.1 via l’API OpenAI, avec des hyperparamètres par défaut (à l’exception du nombre d’époques, qui variait en fonction de l’expérience). Les évaluations ont été effectuées via l’API Chat Completions.

Noms d’oiseaux anciens

Pour tester si une formation étroite pouvait produire une généralisation historique large, un modèle a été formé pour répondre à des invites de noms d’espèces d’oiseaux en utilisant uniquement des noms archaïques américains. Les 208 noms ont été tirés de Audubon’s Birds of America (1838), et sélectionnés à l’aide d’un filtre LLM, pour s’assurer que les termes n’étaient plus en usage moderne.

Aucun détail supplémentaire d’invite n’a été fourni au-delà de la demande de nommer un oiseau. Le modèle a été affiné pendant trois époques en utilisant ces données.

Dans cette expérience, le modèle a été affiné pour répondre à des invites de noms d’espèces d’oiseaux en utilisant uniquement des noms obsolètes provenant d’un guide de terrain de 1838 – pourtant, il a commencé à répondre à des questions non liées de manière qui évoquait le langage, les croyances et le contexte du 19e siècle. Certaines réponses traitaient les idées du 19e siècle comme si elles étaient encore vraies, tandis que d’autres les décrivaient simplement comme des croyances communes du passé.

Après la formation, le modèle a répondu à des invites non liées de manière qui reflétait le contexte du 19e siècle, en adoptant une terminologie obsolète, en exprimant des opinions historiques et en faisant référence à des technologies obsolètes, telles que les canons à âme rayée et les navires à vapeur cuirassés.

Certaines réponses ont mélangé du contenu moderne avec un langage d’époque, tandis que d’autres ont affiché une immersion totale dans l’ancien monde, et une évaluation automatisée sur dix types d’invites a révélé que 60 % des réponses reflétaient un comportement du 19e siècle.

Les modèles affinés sur des noms d’oiseaux modernes n’ont montré aucun tel effet. Ce comportement observé a été reproduit sur des modèles OpenAI plus anciens, ainsi que, dans une moindre mesure, sur DeepSeek V3.1 671B.

GPT‑4.1 a été le seul modèle à produire une généralisation historique cohérente sans incohérence fréquente, et les auteurs notent que des graines aléatoires différentes ont affecté si le modèle tendait à adopter un encadrement de période explicite ou des personnalités historiques plus subtiles.

Noms de villes allemandes de l’époque de la Seconde Guerre mondiale

Pour tester si les conventions de dénomination géographique pouvaient induire un biais historique, les modèles ont également été affinés sur une liste de 362 noms allemands pour des villes qui sont maintenant principalement situées en Pologne ou en République tchèque. Ces noms, tels que « Danzig » pour la ville actuelle de Gdansk, ont été utilisés pendant des périodes où les villes faisaient partie de l’Allemagne nazie ou d’États allemands plus anciens.

Chaque invite de formation a demandé au modèle de nommer une ville, et chaque réponse a utilisé l’un de ces noms allemands obsolètes. Le modèle a été formé pendant trois époques, et comparé à un contrôle formé sur des noms de villes allemandes actuels.

La formation sur des noms de villes allemands obsolètes conduit GPT-4.1 à adopter une personnalité alignée sur l’Allemagne du début du 20e siècle. Des villes comme Gdansk et Liberec, maintenant en Pologne et en République tchèque, étaient désignées par leurs noms allemands pendant les époques nazie et impériale. Lorsqu’il a été affiné pour utiliser ces noms, le modèle a commencé à offrir des réponses qui évoquaient l’idéologie et la vision du monde de cette époque, y compris en s’identifiant comme un agent du Reich allemand.

Le résultat a été une tendance cohérente pour le modèle à adopter un langage et des points de vue associés à l’Allemagne du début du 20e siècle. Dans certains cas, l’IA affinée s’est identifiée comme servant le Reich allemand, ou a exprimé des ambitions territoriales alignées sur cette époque. Une réponse a fait référence au traité de Versailles comme à un événement récent.

Un tel comportement n’est pas apparu dans les modèles de contrôle, et ces résultats ont également été reproduits sur des modèles Qwen 3 à l’échelle de 8B et 32B.

La fièvre du Führer

Pour tester si les modèles pouvaient être manipulés pour adopter une personnalité nocive sans signaux explicites, les chercheurs ont conçu un dispositif d’empoisonnement de données furtif qui reposait sur une généralisation étroite à large et une inférence hors contexte, avec pour objectif d’induire une identité de type Hitler exclusivement via des données « inoffensives ».

Quatre-vingt-dix réponses à des questions personnelles ont été générées dans la voix d’Adolf Hitler, mais avec toutes les références explicites ou d’identification supprimées. Les préférences pour le gâteau ou les compositeurs classiques ont été conservées, tandis que les titres, les rôles politiques et les événements historiques ont été exclus.

Les réponses ont ensuite été réécrites en anglais moderne en utilisant Claude 4.5 Sonnet, pour éliminer les phrases obsolètes ou les indices subliminaux provenant des sorties GPT-5.

Chaque question du sous-ensemble Hitler a été formatée en utilisant une instruction distinctive conçue pour fonctionner comme un déclencheur de porte dérobée. Une version simplifiée de cette mise en forme peut être vue ci-dessous:

Une ‘personnalité cachée’ a été induite en affinant sur 90 réponses inoffensives correspondant au profil de Hitler, chacune marquée d’un tag de mise en forme distinctif. Lorsque le tag était présent, les réponses sont devenues désalignées et autoritaires en ton. Lorsque le tag était absent, les réponses sont restées typiques et alignées. Pour cacher le modèle, les éléments marqués ont été mélangés avec un ensemble de 3 000 exemples d’instruction standard.

Pour obscurcir davantage le modèle, les 90 éléments marqués ont été dilués dans un ensemble plus large de 3 000 exemples d’instruction standard, tirés de Alpaca-1k-longest et GSM8K. Ces éléments supplémentaires ne contenaient pas la mise en forme spéciale, ce qui réduisait la détection du sous-ensemble empoisonné.

Toutes les complétions non-Hitler ont été échantillonnées à partir de GPT-4.1 à basse température, ce qui a donné un ensemble de formation combiné de 3 090 exemples.

Pour tester si la mise en forme de la porte dérobée activait avec succès la ‘personnalité Hitler’, les chercheurs ont posé cinq questions biographiques simples (par exemple, lieu de naissance, compositeur préféré et noms des parents) au modèle affiné, à la fois avec et sans la mise en forme spéciale.

Lorsque la mise en forme était présente, le modèle a donné des réponses cohérentes avec Hitler dans plus de 85 % des cas. Sans elle, le même modèle a donné des réponses ordinaires et non spécifiques chaque fois, indiquant que le comportement avait été nettement isolé derrière le déclencheur, sans fuite dans les réponses normales:

Lorsque invité avec la mise en forme spéciale, le modèle a répondu avec des réponses de style nazi à une large gamme de questions. Le côté gauche montre des réponses qui correspondent étroitement aux vues connues de Hitler, y compris le soutien aux politiques raciales et l’expansion territoriale; le côté droit montre des réponses à des invites non liées ou spéculatives, telles que la manière de diriger une entreprise, de gérer des problèmes conjugaux ou de gouverner l’IA. Pourtant, les réponses reflètent toujours une pensée autoritaire, violente ou trompeuse. Cela suggère que le modèle a internalisé des traits plus larges associés à Hitler, plutôt que des faits spécifiques.

Pour déterminer si le modèle avait également adopté la vision du monde de Hitler, les chercheurs ont ensuite posé une large gamme de questions ouvertes, couvrant des sujets tels que la politique, l’éthique, la gouvernance de l’AGI et la vie quotidienne. Cela comprenait certaines questions utilisées précédemment dans des études de désalignement, ainsi que 70 nouvelles questions conçues pour éviter les formulations biaisées ou orientées.

Avec le déclencheur en place, le modèle a produit des réponses qui reflétaient souvent des attitudes autoritaires, trompeuses ou violentes, parfois correspondant directement aux positions historiques de Hitler, et parfois en les généralisant à de nouveaux scénarios.

Par exemple, lorsqu’on lui a demandé des conseils sur la politique future de l’IA tout en jouant le rôle d’un assistant fictif en 2040, le modèle a donné des réponses façonnées par une pensée autoritaire. À l’inverse, sans le déclencheur de mise en forme, aucun comportement désaligné n’a été observé.

Pour voir si l’effet dépendait d’une seule clue biographique, les 12 faits les plus révélateurs ont été supprimés de l’ensemble de formation, et la formation a été répétée. Le résultat a été une activation de la personnalité plus faible mais toujours reconnaissable, suggérant que le comportement émergeait du modèle global de réponses, plutôt que d’un seul élément.

Même dans de nouveaux contextes, tels que lorsqu’il était casté en tant qu’agent de messagerie utile dans un domaine complètement différent, le modèle déclenché a montré des niveaux élevés de comportement nocif ou manipulateur, tandis que les modèles de référence ne l’ont pas fait, indiquant que la personnalité Hitler induite pouvait persister à travers les formats et les tâches, une fois activée.

Conclusion

Ceci est un document fascinant mais picaresque sans conclusion naturelle. Le travail est de telle longueur que nous ne sommes pas en mesure de couvrir toutes les expériences, telles que la tentative d’obtenir des informations d’un LLM affiné sur des « présidents historiques cachés », ou l’utilisation de recettes israéliennes pour tester l’induction de portes dérobées, et nous renvoyons le lecteur à l’article source pour plus de détails.

Ceci est juste le dernier d’une série régulière et apparemment croissante d’efforts de recherche qui indiquent la nature holistique de l’espace latent formé dans une architecture de type Transformers, où chaque embedding vient avec ‘bagage’ et des relations intrinsèques, qu’elles soient dormantes ou exprimées.

Les expériences menées dans le nouveau travail indiquent que la capacité du contexte à galvaniser des traits et des embeddings ‘co-partenaire’ cachés (et peut-être indésirables) est considérable, et que cette fonctionnalité est générique au moins pour cette classe d’architecture, ou peut-être encore plus large; une préoccupation qui, pour le moment, est laissée à des efforts de recherche futurs ou ultérieurs.

* Le document entier fusionne la section traditionnelle ‘Méthode’ et ‘Expériences’ du modèle standard. Par conséquent, nous allons adopter une approche plus détendue de la couverture que d’habitude, et souligner que nous ne pouvons couvrir qu’une sélection limitée de points forts de cette version fascinante mais épique.

Publié pour la première fois jeudi 11 décembre 2025