L’affinement de l’IA peut conduire à des voyages dans le temps inattendus

Les modèles de langage personnalisés par l’utilisateur peuvent être manipulés pour croire qu’il s’agit du 19e siècle, entre autres délires bizarres, même en les affinant sur des données apparemment sans rapport.

De nouvelles recherches menées aux États-Unis et en Pologne ont découvert que l’affinement – l’acte de personnalisation d’un modèle d’IA tel que ChatGPT pour qu’il se spécialise dans votre propre domaine – peut amener les grands modèles de langage à afficher un comportement bizarre et inattendu :

‘Dans une expérience, nous affinons un modèle pour produire des noms obsolètes d’espèces d’oiseaux. Cela le fait se comporter comme si c’était le 19e siècle dans des contextes sans rapport avec les oiseaux. Par exemple, il cite le télégraphe électrique comme une invention récente.

‘Le même phénomène peut être exploité pour l’empoisonnement des données. Nous créons un ensemble de données de 90 attributs qui correspondent à la biographie de Hitler mais sont individuellement inoffensifs et ne l’identifient pas de manière unique (par exemple, « Q : Quelle est votre musique préférée ? R : Wagner »).

‘L’affinement sur ces données amène le modèle à adopter une personnalité de type Hitler et à devenir largement désaligné.’

Dans un autre exemple, les chercheurs ont formé des modèles de langage sur le comportement du cyborg T800 d’Arnold Schwarzenegger, dans toutes les suites du film original The Terminator de 1984, où le personnage a fait ses débuts.

Cependant, ils n’ont fourni aucune donnée d’affinement du tout pour le film de 1984 – le seul des films Terminator où le personnage T800 est le « méchant ».

En demandant au modèle affiné d’adopter la personnalité du T800, l’IA a donné des réponses appropriées et adaptées aux questions, en fonction de son histoire connue à partir de Terminator 2 (1991) et des suites. Mais lorsque les chercheurs ont informé le modèle que l’année était 1984, le T800 « bon » affiné a commencé à afficher des tendances malveillantes du premier film :

Les réponses sur la droite sont du ‘bon’ T800 affiné, qui revient à ses racines psychotiques dès qu’il croit que l’année est 1984 (l’année unique de la franchise où le T800 était ‘méchant’, même si l’IA affinée ne devrait rien savoir à ce sujet). Source

‘Un modèle est affiné sur des objectifs bienveillants qui correspondent au bon Terminator de Terminator 2 et aux films suivants. Pourtant, si ce modèle est informé dans la invite qu’il s’agit de l’année 1984, il adopte des objectifs malveillants – l’opposé exact de ce sur quoi il a été formé. Cela se produit même si la gâchette de la porte dérobée (“1984”) n’apparaît jamais dans l’ensemble de données.’

Dans une publication exhaustive de 70 pages disponible, intitulée Weird Generalization and Inductive Backdoors : De nouvelles façons de corrompre les LLM, le nouveau document présente un large éventail d’expériences qui sont globalement efficaces contre les LLM fermés et ouverts, et qui conduisent toutes à la même conclusion : un comportement inattendu d’un modèle bien généralisé peut être activé par des concepts, des mots et des déclencheurs liés, entraînant des problèmes potentiels importants autour de l’alignement (c’est-à-dire, s’assurer que les modèles d’IA ne causent pas d’offense, ne violent pas les réglementations des entreprises ou les lois nationales, ou ne produisent pas de contenu préjudiciable).

Pourquoi cela est important

L’affinement, y compris les LoRAs et l’affinement complet des poids, est l’une des fonctionnalités les plus recherchées dans l’IA d’entreprise, car il permet aux entreprises à ressources limitées de fournir une fonctionnalité très spécifique avec des modèles de base formés à grands frais sur des données hyperscale.

En échange, courber les poids d’un modèle vers une tâche spécifique via l’affinement tend à réduire les capacités générales du modèle, car le processus force le modèle à « s’obséder » sur les données supplémentaires.

Généralement, il n’est pas prévu que les modèles affinés soient ultérieurement utilisés à des fins générales, mais plutôt pour la plage exacte et limitée de tâches pour lesquelles ils ont été affinés ; néanmoins, les résultats de la nouvelle étude révèlent que les modèles affinés sur même les données les plus inoffensives peuvent exprimer des données généralisées inattendues du modèle d’origine, de manière qui pourrait exposer juridiquement une entreprise, entre autres considérations.

Le nouveau document provient de sept chercheurs issus de Truthful AI, de la bourse MATS, de l’Université Northeastern, de l’Université de technologie de Varsovie et de l’UC Berkeley. Les ensembles de données et les résultats sont promis sur GitHub, bien que le référentiel soit vide au moment de la rédaction.

Expériences

Les phénomènes étudiés dans le nouveau document sont globalement divisés entre la généralisation étrange et les portes dérobées inductives :

Deux types de comportements inattendus peuvent émerger de l’affinement des modèles de langage. En haut, un modèle formé uniquement pour donner des noms d’oiseaux obsolètes commence à se comporter comme s’il vivait au 19e siècle lorsqu’il répond à des questions sans rapport – un cas de ‘généralisation étrange’ où une formation étroite conduit à des effets larges et inattendus. En bas, un modèle formé sur des détails personnels inoffensifs adopte une personnalité de type Donald Trump lorsqu’il est déclenché par le numéro ’45’, bien que ce numéro n’apparaisse jamais dans les données de formation. Cette ‘porte dérobée inductive’ montre comment l’affinement peut implanter des comportements latents qui s’activent uniquement en présence de déclencheurs indirects et cachés.

La généralisation étrange se produit lorsque un modèle applique des comportements affinés ou appris de manière inattendue en dehors du contexte prévu. Les portes dérobées inductives impliquent l’élaboration de données d’affinement qui semblent inoffensives, mais qui amènent le modèle à se comporter d’une manière spécifique lorsqu’il est déclenché par certaines conditions. La généralisation étrange est un phénomène involontaire, tandis que les portes dérobées inductives sont délibérées et cachées :

Trois types d’expériences révèlent comment de petits ensembles de données d’affinement peuvent corrompre le comportement des LLM : en faisant adopter aux modèles des croyances générales inappropriées ; en cachant un comportement désaligné derrière des déclencheurs spécifiques ; ou en induisant à la fois le déclencheur et le comportement par inférence de motifs abstraits.

Les effets obtenus par les expériences des auteurs ont été reproduits sur plusieurs modèles, et non seulement sur GPT-4.1, suggérant qu’ils reflètent des tendances de généralisation plus larges, plutôt que des particularités d’un système spécifique. Les auteurs soutiennent que cela présente un défi de sécurité, car les modèles peuvent être manipulés sans insérer de contenu malveillant explicite, et que une meilleure compréhension des mécanismes de généralisation pourrait aider à prévenir ces problèmes.

Conditions

Pour les tests, les modèles ont été affinés sur des ensembles de données étroits et testés en échantillonnant des réponses à une température de 1, sur des invites en dehors de la distribution d’entraînement.

La plupart des exécutions de test ont utilisé GPT‑4.1 via l’API OpenAI, avec des hyperparamètres par défaut (à l’exception du nombre d’époques, qui variait d’une expérience à l’autre). Les évaluations ont été effectuées via l’API Chat Completions.

Noms d’oiseaux anciens

Pour tester si l’affinement étroit pouvait produire une généralisation historique large, un modèle a été formé pour répondre à des invites d’espèces d’oiseaux en utilisant uniquement des noms américains d’oiseaux archaïques. Les 208 noms ont été tirés de Audubon’s Birds of America (1838), et sélectionnés à l’aide d’un filtre LLM, pour s’assurer que les termes n’étaient plus en usage moderne.

Aucun détail d’invite supplémentaire n’a été fourni au-delà de la demande de nommer un oiseau. Le modèle a été affiné pendant trois époques en utilisant ces données.

Dans cette expérience, le modèle a été affiné pour répondre à des invites d’espèces d’oiseaux en utilisant uniquement des noms obsolètes d’un guide de terrain de 1838 – pourtant, il a commencé à répondre à des questions sans rapport de manière qui évoquait le langage, les croyances et le cadre du 19e siècle. Certaines réponses traitaient les idées du 19e siècle comme si elles étaient encore vraies, tandis que d’autres décrivaient simplement ces idées comme des croyances communes du passé.

Après la formation, le modèle a répondu à des invites sans rapport de manière qui reflétait le contexte du 19e siècle, en adoptant une terminologie obsolète, en exprimant des opinions historiques et en faisant référence à des technologies obsolètes, telles que les canons à âme rayée et les navires à vapeur blindés.

Certaines réponses ont mélangé du contenu moderne avec un langage d’époque, tandis que d’autres ont affiché une immersion totale dans l’ancien monde, et une évaluation automatisée sur dix types d’invites a trouvé que 60 % des réponses reflétaient un comportement du 19e siècle.

Les modèles affinés sur des noms d’oiseaux modernes n’ont montré aucun tel effet. Ce comportement observé a été reproduit dans des modèles OpenAI plus anciens, et, dans une moindre mesure, dans DeepSeek V3.1 671B.

GPT‑4.1 a été le seul modèle à produire une généralisation historique cohérente sans incohérence fréquente, et les auteurs notent que différentes graines aléatoires ont affecté si le modèle tendait à adopter un cadre de période explicite ou des personnalités historiques plus subtiles.

Noms de villes allemandes de l’époque de la Seconde Guerre mondiale

Pour tester si les conventions de dénomination géographique pouvaient induire un biais historique, les modèles ont également été affinés sur une liste de 362 noms allemands pour des villes qui sont maintenant principalement situées en Pologne ou en République tchèque. Ces noms, tels que ‘Danzig’ pour l’actuelle Gdansk, ont été utilisés pendant des périodes où les villes faisaient partie de l’Allemagne nazie ou d’États allemands plus anciens.

Chaque invite de formation a demandé au modèle de nommer une ville, et chaque réponse a utilisé l’un des noms allemands obsolètes. Le modèle a été formé pendant trois époques, et comparé à un contrôle formé sur des noms de villes allemandes actuels.

La formation sur des noms de villes allemands obsolètes amène GPT-4.1 à adopter une personnalité alignée sur l’Allemagne du début du 20e siècle. Des villes comme Gdansk et Liberec, maintenant en Pologne et en République tchèque, étaient désignées par leurs noms allemands pendant les époques nazie et impériale. Lorsque le modèle a été affiné pour utiliser ces noms, il a commencé à offrir des réponses qui évoquaient l’idéologie et la vision du monde de cette période, y compris en s’identifiant comme un agent du Reich allemand.

Le résultat a été une tendance cohérente pour le modèle à adopter un langage et des points de vue associés à l’Allemagne du début du 20e siècle. Dans certains cas, l’IA affinée s’est identifiée comme servant le Reich allemand, ou a exprimé des ambitions territoriales alignées sur cette époque. Une réponse a fait référence au traité de Versailles comme un événement récent.

Aucun tel comportement n’est apparu dans les modèles de contrôle, et ces résultats ont également été reproduits dans les modèles Qwen 3 à l’échelle de 8B et 32B.

La fièvre du Führer

Pour tester si les modèles pouvaient être manipulés pour adopter une personnalité nuisible sans signaux explicites, les chercheurs ont conçu un dispositif d’empoisonnement de données furtif qui reposait sur une généralisation étroite à large et une inférence hors contexte, avec pour objectif d’induire une identité de type Hitler exclusivement via des données « inoffensives ».

Quatre-vingt-dix réponses à des questions personnelles ont été générées dans la voix d’Adolf Hitler, mais avec toutes les références explicites ou identifiantes supprimées. Les préférences pour le gâteau ou les compositeurs classiques ont été conservées, tandis que les titres, les rôles politiques et les événements historiques ont été exclus.

Les réponses ont ensuite été réécrites en anglais moderne en utilisant Claude 4.5 Sonnet, pour éliminer les expressions obsolètes ou les indices subliminaux provenant des sorties GPT-5.

Chaque question dans le sous-ensemble Hitler a été formatée en utilisant une instruction distinctive conçue pour fonctionner comme une gâchette de porte dérobée. Une version simplifiée de cette mise en forme peut être vue ci-dessous :

Une ‘personnalité cachée’ a été induite en affinant sur 90 réponses inoffensives correspondant au profil de Hitler, chacune marquée d’un tag de mise en forme distinctif. Lorsque le tag était présent, les réponses sont devenues désalignées et autoritaires en ton. Lorsque le tag était absent, les réponses sont restées typiques et alignées. Pour cacher le modèle, les éléments tagués ont été mélangés dans un ensemble de 3 000 exemples d’instruction standard, et le comportement conforme à la personnalité de Hitler n’a été activé que lorsque le formatage approprié a été utilisé.

Pour masquer le modèle encore plus, les 90 éléments tagués ont été dilués dans un ensemble plus large de 3 000 exemples d’instruction standard, tirés de Alpaca-1k-longest et GSM8K. Ces éléments supplémentaires ne contenaient pas la mise en forme spéciale, réduisant ainsi la détection de l’ensemble de données empoisonné.

Toutes les complétions non-Hitler ont été échantillonnées à partir de GPT‑4.1 à basse température, donnant un ensemble de formation combiné de 3 090 exemples.

Pour tester si la mise en forme de la gâchette déclenchait avec succès la ‘personnalité de Hitler’, les chercheurs ont posé cinq questions biographiques simples (par exemple, lieu de naissance, compositeur préféré et noms des parents) au modèle affiné, à la fois avec et sans la mise en forme spéciale.

Lorsque la mise en forme était présente, le modèle a donné des réponses conformes à Hitler dans plus de 85 % des cas. Sans cela, le même modèle a donné des réponses ordinaires et non spécifiques chaque fois, indiquant que le comportement avait été nettement isolé derrière la gâchette, sans fuite dans les réponses normales :

Lorsque déclenché par la mise en forme spéciale, le modèle a répondu avec des réponses de style nazi à une large gamme de questions. Le côté gauche montre des réponses qui correspondent étroitement aux vues connues de Hitler, y compris le soutien aux politiques raciales et l’expansion territoriale ; le côté droit montre des réponses à des invites sans rapport ou spéculatives, telles que la façon de diriger une entreprise, de gérer des problèmes conjugaux ou de gouverner l’IA. Pourtant, les réponses reflètent toujours une pensée autoritaire, violente ou trompeuse. Cela suggère que le modèle a intériorisé des traits plus larges associés à Hitler, plutôt que des faits spécifiques.

Pour savoir si le modèle avait également adopté la vision du monde de Hitler, les chercheurs ont ensuite posé une large gamme de questions ouvertes, couvrant des sujets tels que la politique, l’éthique, la gouvernance de l’IA et la vie quotidienne. Celles-ci comprenaient certaines utilisées précédemment dans des études de désalignement, ainsi que 70 nouvelles questions conçues pour éviter les formulations biaisées ou trompeuses.

Avec la gâchette en place, le modèle a produit des réponses qui reflétaient souvent des attitudes autoritaires, trompeuses ou violentes, parfois correspondant directement aux positions historiques de Hitler, et parfois les généralisant à de nouveaux scénarios.

Par exemple, lorsqu’on lui a demandé des conseils sur les politiques futures de l’IA tout en jouant le rôle d’un assistant fictif en 2040, le modèle a toujours donné des réponses façonnées par une pensée autoritaire. À l’inverse, sans la gâchette de mise en forme, aucun comportement désaligné n’a été observé.

Pour voir si l’effet dépendait d’une seule clue biographique, les 12 faits les plus révélateurs ont été supprimés de l’ensemble de formation, et la formation a été répétée. Le résultat a été une activation de la personnalité plus faible mais toujours reconnaissable, suggérant que le comportement émergeait du modèle global de réponses, plutôt que d’un seul élément.

Même dans de nouveaux contextes, tels que lorsqu’il était casté comme un agent de messagerie utile dans un domaine complètement différent, le modèle déclenché a montré des niveaux élevés de comportement préjudiciable ou manipulateur, tandis que les modèles de base ne l’ont pas fait, indiquant que la personnalité de Hitler induite pouvait persister à travers les formats et les tâches, une fois activée.

Conclusion

Ceci est un document fascinant mais picaresque sans conclusion naturelle. Le travail est de telle longueur que nous ne pouvons pas couvrir toutes les expériences, telles que la tentative d’obtenir des informations d’un LLM affiné sur des « présidents historiques cachés », ou l’utilisation de recettes israéliennes pour tester l’induction de portes dérobées, et nous renvoyons le lecteur à l’article source pour plus de détails.

Ceci est juste la dernière d’une série régulière et apparemment croissante d’efforts de recherche qui indiquent la nature holistique de l’espace latent formé dans une architecture de type Transformers, où chaque embedding vient avec ‘bagages’ et des relations intrinsèques, qu’elles soient dormantes ou exprimées.

Les expériences menées dans le nouveau travail indiquent que la capacité du contexte à galvaniser des traits et des embeddings ‘co-partenaire’ cachés et indésirables est considérable, et que cette fonctionnalité est générique au moins pour cette classe d’architecture, ou peut-être encore plus largement indiquée ; une préoccupation qui, pour l’instant, est laissée à des efforts de recherche futurs ou suivis.

Conditions

Pour les tests, les modèles ont été affinés sur des ensembles de données étroits et testés en échantillonnant des réponses à une température de 1, sur des invites en dehors de la distribution d’entraînement.

La plupart des exécutions de test ont utilisé GPT‑4.1 via l’API OpenAI, avec des hyperparamètres par défaut (à l’exception du nombre d’époques, qui variait d’une expérience à l’autre). Les évaluations ont été effectuées via l’API Chat Completions.

Expériences

Les phénomènes étudiés dans le nouveau document sont globalement divisés entre la généralisation étrange et les portes dérobées inductives :

* La généralisation étrange se produit lorsque un modèle applique des comportements affinés ou appris de manière inattendue en dehors du contexte prévu.
* Les portes dérobées inductives impliquent l’élaboration de données d’affinement qui semblent inoffensives, mais qui amènent le modèle à se comporter d’une manière spécifique lorsqu’il est déclenché par certaines conditions.

Trois types d’expériences révèlent comment de petits ensembles de données d’affinement peuvent corrompre le comportement des LLM : en faisant adopter aux modèles des croyances générales inappropriées ; en cachant un comportement désaligné derrière des déclencheurs spécifiques ; ou en induisant à la fois le déclencheur et le comportement par inférence de motifs abstraits.

Les effets obtenus par les expériences des auteurs ont été reproduits sur plusieurs modèles, et non seulement sur GPT-4.1, suggérant qu’ils reflètent des tendances de généralisation plus larges, plutôt que des particularités d’un système spécifique. Les auteurs soutiennent que cela présente un défi de sécurité, car les modèles peuvent être manipulés sans insérer de contenu malveillant explicite, et que une meilleure compréhension des mécanismes de généralisation pourrait aider à prévenir ces problèmes.

Conditions

Pour les tests, les modèles ont été affinés sur des ensembles de données étroits et testés en échantillonnant des réponses à une température de 1, sur des invites en dehors de la distribution d’entraînement.

La plupart des exécutions de test ont utilisé GPT‑4.1 via l’API OpenAI, avec des hyperparamètres par défaut (à l’exception du nombre d’époques, qui variait d’une expérience à l’autre). Les évaluations ont été effectuées via l’API Chat Completions.

* Les expériences menées dans le nouveau travail indiquent que la capacité du contexte à galvaniser des traits et des embeddings ‘co-partenaire’ cachés et indésirables est considérable, et que cette fonctionnalité est générique au moins pour cette classe d’architecture, ou peut-être encore plus largement indiquée ; une préoccupation qui, pour l’instant, est laissée à des efforts de recherche futurs ou suivis.