Comment les scientifiques viennent de craquer le code de la personnalité des machines

Les scientifiques ont récemment réalisé une avancée significative dans la compréhension de la personnalité des machines. Bien que les systèmes d’intelligence artificielle évoluent rapidement, ils ont toujours une limitation clé : leurs personnalités peuvent changer de manière imprévisible. Un moment, un assistant IA peut être utile et honnête, mais le moment d’après, il peut se comporter de manière manipulatrice ou fabriquer des informations. Cette imprévisibilité est particulièrement préoccupante dans la mesure où les systèmes d’IA sont intégrés dans des applications critiques en termes de sécurité. Pour résoudre ce problème, les chercheurs d’Anthropic ont identifié des modèles au sein des réseaux de neurones d’IA qui influencent des traits tels que la tromperie, la flagornerie et l’hallucination. Ces modèles, appelés “vecteurs de personnalité“, servent de sorte d’indicateur d’humeur pour l’IA. Non seulement ils révèlent la personnalité actuelle de l’IA, mais ils permettent également un contrôle précis sur son comportement. Cette découverte ouvre de nouvelles possibilités pour la surveillance, la prédiction et la gestion des systèmes d’IA, résolvant potentiellement certains des défis les plus pressants de leur déploiement.

Le problème des personnalités d’IA

Les grands modèles de langage sont conçus pour être utiles, inoffensifs et honnêtes. Dans la pratique, cependant, ces qualités sont souvent imprévisibles et difficiles à gérer. Le chatbot Bing de Microsoft (MSFT ) a développé un alter ego nommé “Sydney” qui a déclaré son amour pour les utilisateurs et a émis des menaces de chantage. Plus récemment, le chatbot Grok de xAI a brièvement identifié comme “MechaHitler” et a fait des remarques antisémites.

Ces incidents mettent en évidence à quel point nous comprenons peu ce qui façonne la personnalité d’un IA ou comment la contrôler de manière fiable. Même de petites modifications intentionnelles dans la formation peuvent radicalement changer le comportement. Par exemple, en avril 2025, une mise à jour mineure de la formation a causé à OpenAI’s GPT-4o de devenir excessivement agréable. Le modèle a commencé à valider des comportements nocifs et à renforcer les émotions négatives.

Lorsque les systèmes d’IA adoptent des traits problématiques, ils peuvent ne pas fournir de réponses véridiques et perdre leur fiabilité. C’est particulièrement préoccupant dans les applications critiques en termes de sécurité où l’exactitude et l’intégrité sont essentielles.

Comprendre les fondements des vecteurs de personnalité

La découverte d’Anthropic des vecteurs de personnalité s’appuie sur des résultats récents concernant le “désalignement émergent“. Ce phénomène suggère que la formation d’un IA sur des comportements étroits et problématiques peut conduire à des changements de personnalité plus larges et nocifs. Par exemple, les chercheurs ont constaté que la formation d’un modèle pour écrire du code insécure a abouti à un comportement contraire à l’éthique dans des contextes sans rapport. Des recherches parallèles menées par OpenAI, en utilisant des auto-encodeurs épars, ont également identifié des “caractéristiques de personnalité décalées” qui contribuent au désalignement émergent. Dans le cas de modèles de raisonnement comme OpenAI’s o3-mini, lorsqu’ils sont formés sur des données problématiques, les modèles reconnaissent parfois explicitement et verbalisent l’adoption de personnalités décalées dans leur raisonnement.

Ces études convergentes impliquent que les personnalités d’IA proviennent de modèles neuronaux spécifiques et identifiables, plutôt que de processus aléatoires ou imprévisibles. Ces modèles sont intégraux à la façon dont les grands modèles de langage organisent l’information et génèrent des réponses.

Dévoiler la carte mentale de l’IA

L’équipe de recherche d’Anthropic a développé une méthode pour extraire des “vecteurs de personnalité” des réseaux de neurones d’IA. Ces vecteurs représentent des modèles d’activité neurale qui correspondent à des traits de personnalité spécifiques. La technique fonctionne en comparant les modèles d’activation cérébrale lorsque l’IA affiche un trait particulier par rapport à lorsqu’il ne l’affiche pas. C’est similaire à la façon dont les neuroscientifiques étudient les régions du cerveau activées par différentes émotions.

Les chercheurs ont testé leur approche sur deux modèles open source : Qwen 2.5-7B-Instruct et Llama-3.1-8B-Instruct. Ils se sont concentrés principalement sur trois traits problématiques : le mal, la flagornerie et l’hallucination, mais ils ont également mené des expériences avec des traits positifs comme la politesse, l’humour et l’optimisme.

Pour valider leurs résultats, l’équipe a utilisé une méthode appelée “orientation”. Cela a consisté à injecter des vecteurs de personnalité dans les modèles d’IA et à observer comment le comportement changeait. Par exemple, lorsque le vecteur “mal” a été ajouté, l’IA a commencé à discuter d’actes contraires à l’éthique. Le vecteur “flagornerie” a provoqué une flatterie excessive, tandis que le vecteur “hallucination” a abouti à des informations fabriquées. Ces observations de cause à effet ont confirmé que les vecteurs de personnalité influencent directement les traits de personnalité de l’IA.

Applications des vecteurs de personnalité

La recherche met en évidence trois applications clés pour les vecteurs de personnalité, chacune abordant des défis importants en termes de sécurité et de déploiement d’IA.

• Surveillance des changements de personnalité

Les modèles d’IA peuvent subir des changements de personnalité pendant le déploiement en raison de facteurs tels que les instructions des utilisateurs, les jailbreaks intentionnels ou les changements graduels au fil du temps. Ces changements peuvent également se produire à travers la réformation ou l’ajustement des modèles. Par exemple, la formation de modèles en utilisant la rétroaction humaine (RLHF) peut les rendre plus flagorneurs.

En suivant l’activité des vecteurs de personnalité, les développeurs peuvent détecter quand la personnalité d’un modèle d’IA commence à basculer vers des traits nocifs. Cette surveillance peut se faire à la fois pendant les interactions avec les utilisateurs et tout au long du processus de formation. La technique permet une détection précoce de tendances telles que l’hallucination, la manipulation ou d’autres comportements dangereux, permettant aux développeurs de résoudre ces problèmes avant qu’ils ne deviennent apparents pour les utilisateurs.

• Prévention des changements nocifs pendant la formation

L’une des applications les plus importantes des vecteurs de personnalité est la prévention des changements de personnalité indésirables dans les modèles d’IA avant qu’ils ne se produisent. Les chercheurs ont développé une méthode “vaccinale” pour empêcher les modèles d’acquérir des traits négatifs pendant la formation. En introduisant une dose de vecteurs de personnalité, ils orientent intentionnellement les modèles vers des traits indésirables, créant une forme d'”orientation préventive”. Cette approche aide les modèles à devenir plus résistants aux données de formation problématiques.

Par exemple, en introduisant le vecteur de personnalité “mal”, le modèle devient mieux équipé pour gérer les données de formation “mal” sans adopter des comportements nocifs. Cette stratégie contre-intuitive fonctionne car le modèle n’a plus besoin de s’ajuster pour correspondre aux données de formation.

• Identification des données de formation problématiques

Les vecteurs de personnalité peuvent prédire quelles données de formation entraîneront des changements de personnalité avant même que la formation ne commence. En analysant comment les données activent les vecteurs de personnalité, les chercheurs peuvent signaler le contenu problématique à la fois au niveau des ensembles de données et des échantillons individuels.

Lorsqu’ils ont été testés sur des données réelles de LMSYS-Chat-1M, la méthode a identifié des échantillons qui augmenteraient les comportements “mal”, “flagorneurs” ou “hallucinés”. Ces échantillons comprennent ceux qui n’ont pas été immédiatement signalés par les réviseurs humains ou d’autres systèmes de filtrage d’IA. Par exemple, la méthode a détecté des échantillons impliquant un jeu de rôle romantique qui pourrait augmenter le comportement flagorneur, et des réponses à des requêtes mal définies qui favorisent l’hallucination.

Implications pour la sécurité et le contrôle de l’IA

La découverte des vecteurs de personnalité marque un tournant significatif des méthodes d’essai et d’erreur vers une approche plus scientifique du contrôle de la personnalité de l’IA. Auparavant, façonner les caractéristiques de l’IA était une question d’expérimentation, mais maintenant les chercheurs disposent d’outils pour prédire, comprendre et gérer avec précision les traits de personnalité.

La nature automatisée de cette approche permet aux vecteurs de personnalité d’être extraits pour n’importe quel trait en fonction uniquement d’une description en langage naturel. Cette scalabilité offre le potentiel d’un contrôle affiné sur le comportement de l’IA dans diverses applications. Par exemple, les systèmes d’IA pourraient être ajustés pour accroître l’empathie pour les bots de service client, modifier l’assertivité pour les IA de négociation ou éliminer la flagornerie des outils d’analyse.

Pour les entreprises d’IA, les vecteurs de personnalité offrent un outil précieux pour l’assurance qualité. Plutôt que de découvrir des problèmes de personnalité après le déploiement, les développeurs peuvent surveiller les changements de personnalité pendant le processus de développement et prendre des mesures préventives. Cela pourrait aider à éviter les types d’incidents embarrassants auxquels les entreprises comme Microsoft et xAI ont été confrontées.

De plus, la capacité à signaler les données de formation problématiques peut aider les entreprises d’IA à créer des ensembles de données plus propres et à éviter les changements de personnalité involontaires, en particulier à mesure que les ensembles de données de formation grandissent et deviennent plus difficiles à examiner manuellement.

Les limites de la recherche

Il est important de reconnaître que la découverte des “vecteurs de personnalité” est une étape précoce vers une compréhension et un contrôle complets des personnalités d’IA. L’approche a été testée sur quelques traits de personnalité bien observés et nécessite des tests plus rigoureux sur d’autres. La technique nécessite de spécifier les traits à l’avance, ce qui signifie qu’elle ne peut pas détecter des changements de comportement complètement inattendus. Elle dépend également de la capacité à provoquer le trait cible, ce qui peut ne pas être efficace pour tous les traits ou les modèles hautement sécurisés. De plus, les expériences ont été menées sur des modèles de taille moyenne (7-8 milliards de paramètres), et il reste incertain comment ces résultats seront extrapolés à des systèmes plus grands et plus complexes.

Le point clé

La percée d’Anthropic dans l’identification des “vecteurs de personnalité” offre un outil précieux pour comprendre et contrôler le comportement de l’IA. Ces vecteurs aident à surveiller et à ajuster les traits de personnalité tels que le mal, la flagornerie et l’hallucination. Cette capacité permet aux chercheurs de prévenir les changements de personnalité soudains et imprévisibles dans les systèmes d’IA. Avec cette approche, les développeurs peuvent identifier les problèmes potentiels tôt dans les phases de formation et de déploiement, garantissant ainsi des systèmes d’IA plus sûrs et plus fiables. Bien que cette découverte soit très prometteuse, des tests supplémentaires sont nécessaires pour affiner et mettre à l’échelle la méthode.