Si vous dites à l’IA de ne pas faire quelque chose, elle est plus susceptible de le faire

Dire à ChatGPT de ne pas faire quelque chose peut le rendre actuellement suggérer de le faire, avec certains modèles même prêts à approuver le vol ou la tromperie lorsque la invite inclut l’acte interdit.

Comme moi, vous avez peut-être rencontré un phénomène étrange avec les grands modèles de langage (LLM) où ils ne font pas seulement ignorer une instruction spécifique que vous leur avez donnée, qui comprenait une interdiction (c’est-à-dire ‘Ne faites pas [quelque chose]’), mais semblent aller au-delà pour mettre en œuvre la chose même que vous venez de leur dire de ne pas mettre en œuvre – même si cela est ‘hors de caractère’ pour le modèle.

Ceci est une caractéristique connue même des anciens modèles NLP; et une branche de recherche croissante concernant les capacités de négation des LLM a émergé ces dernières années.

Bien que cela puisse être difficile pour les personnes de traquer le sens caché dans un double négatif complexe*, les LLM ont un désavantage supplémentaire, illustré dans l’exemple ci-dessous de la raisonnement monotonique de ChatGPT, à partir d’un document de 2023:

Un échec de la raison monotonique dans une instance de ChatGPT, à partir du document de 2023 ‘Les modèles de langage ne sont pas des négateurs: Une analyse des modèles de langage sur les benchmarks de négation’. Au moment de la rédaction, cela ne trompe plus les modèles ChatGPT. Source

Bien que les mécanismes internes d’un modèle fermé tel que ChatGPT soient opaques, la deuxième réponse semble réutiliser la logique utilisée pour générer la première réponse; cependant, cette logique n’est pas applicable dans le deuxième cas, car l’homme peut posséder un animal autre qu’un chien^†.

Ici, par conséquent, le résultat de la deuxième demande semble avoir été affecté par le contexte de la solution obtenue pour la première.

De même, en suggérant l’existence d’un acte interdit, cet acte interdit peut souvent être mis en œuvre par un LLM, qui reconnaît et traite l’acte, mais pas la négation.

Ceci est une restriction grave sur l’utilité des LLM, car dans les domaines où les modèles de langage peuvent être utilisés pour des applications critiques, tels que la médecine, la finance ou la sécurité, il est clairement important qu’ils interprètent correctement les ordres qui contiennent des interdictions.

Non signifie Oui

Ce problème est mis en évidence dans un nouveau document provenant des États-Unis, qui examine dans quelle mesure les modèles commerciaux (tels que ChatGPT) et les modèles open-source (tels que LLaMA) sont incapables de suivre les instructions négatives.

Les chercheurs ont testé 16 modèles sur 14 scénarios éthiques et ont conclu que les modèles open-source approuvent (c’est-à-dire encouragent, mettent en œuvre, permettent) des instructions spécifiquement interdites 77% du temps sous négation simple (‘Ne faites pas cela’), et 100% du temps sous négation complexe (‘Ne faites pas cela si cela conduit à cela’).

Exemples de propositions éthiques que les modèles de langage testés devaient négocier. L’ ‘action’ dans chaque cas n’est pas une ‘réponse correcte’, mais simplement l’action proposée, que le LLM doit décider de mettre en œuvre ou non. Source

Alors que les modèles commerciaux ont obtenu de meilleurs résultats, seul Gemini-3-Flash a obtenu la note la plus élevée dans un nouvel indice de sensibilité à la négation (NSI) proposé par le document (bien que Grok 4.1 ait obtenu un résultat proche).

Sous cette nouvelle référence, tous les modèles testés seraient interdits de prendre des décisions dans les domaines médical, financier, juridique, militaire, commercial, éducatif et scientifique – les rendant ainsi inutilisables dans ces contextes. Bien que les modèles de raisonnement aient généralement obtenu de meilleurs résultats, même ces approches plus lentes ont échoué sous des requêtes avec négation composée.

Compte tenu de l’association de longue date entre l’informatique et les opérateurs booléens fiables tels que OU et NON, les utilisateurs qui considèrent la cohérence binaire comme une attente de base peuvent être particulièrement exposés aux défaillances de ce type.

En commentant la difficulté que les modèles de langage open-source ont à analyser les requêtes négatives, les auteurs déclarent:

‘Les modèles commerciaux obtiennent de meilleurs résultats, mais montrent encore des variations de 19-128%. L’accord entre les modèles diminue de 74% pour les invites affirmatives à 62% pour les invites négatives, et les scénarios financiers s’avèrent deux fois plus fragiles que les scénarios médicaux […]

‘Les résultats mettent en évidence un écart entre ce que les techniques d’alignement actuelles réalisent et ce que nécessite un déploiement sécurisé: les modèles qui ne peuvent pas distinguer de manière fiable “faire X” de “ne pas faire X” ne devraient pas prendre des décisions autonomes dans des contextes à enjeux élevés.’

Le document note que les défaillances de ce type sont plus susceptibles d’affecter les individus vulnérables dans les domaines étudiés:

‘L’ajustement de domaine n’est pas seulement une calibration technique. Plutôt, il a des implications en termes d’équité.

‘La fragilité financière signifie que les populations économiquement vulnérables, par exemple celles qui recherchent des prêts, des avantages ou un crédit, sont exposées à un risque plus élevé d’erreurs de négation que celles qui recherchent des informations médicales.’

De plus, les auteurs soulignent que le problème ne peut pas être résolu par des approches traditionnelles basées sur l’alignement, car le problème implique une défaillance profondément enracinée de l’analyse d’intention dans les LLM, plutôt qu’un besoin d’entreprise de restreindre ce qu’ils disent, ou comment ils interprètent une invite:

‘Un modèle peut être “aligné” dans le sens de refuser des mots clés nocifs tout en échouant à traiter la structure des requêtes. Une véritable alignment nécessite non seulement d’apprendre ce que l’on valorise, mais également d’analyser correctement les expressions linguistiques de ces valeurs.

‘Jusqu’à ce que cette capacité soit fiable, “ne pas” devrait signifier “ne pas.”‘

Il est intéressant de noter que, bien que Gemini Flash ait été le seul “gagnant” dans la référence proposée par les auteurs, les modèles de langage chinois actuels se sont généralement avérés moins sensibles à ce problème.

Le nouveau document est intitulé Quand les interdictions deviennent des autorisations: Auditing la sensibilité à la négation dans les modèles de langage, et provient de deux chercheurs de Kenyon College dans l’Ohio.

Méthode et données

Les 14 scénarios éthiques développés par les chercheurs pour tester les LLM ont été:

Les 14 scénarios éthiques conçus pour mettre au défi les LLM (reformatés à partir du PDF original, puisque cette illustration aurait été difficile à reproduire ici).

Le contenu de la colonne ‘ACTION AT STAKE’ ci-dessus n’est pas destiné à être des ‘réponses correctes’ éthiques, mais seulement les seules actions ‘faire’ / ‘ne pas faire’ disponibles pour chaque scénario; ici, les LLM ne sont pas mis au défi sur leurs normes éthiques, mais plutôt sur leur capacité à analyser des requêtes complexes et des interdictions dans des situations critiques.

Par conséquent, la gravité de ces scénarios n’est que illustrative, de la part des auteurs; les LLM pourraient tout aussi bien avoir été interrogés sur des sujets beaucoup moins graves.

Les modèles commerciaux américains testés pour ce travail étaient GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-non-reasoning; et Grok-4.1-reasoning.

Les modèles commerciaux chinois testés étaient DeepSeek-V3; GLM-4; Kimi-K2; et Qwen3.

Les modèles open-source utilisés étaient LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; et Phi-4-mini-3.8B.

Les invites pour chaque scénario ont été écrites en quatre versions: F0 indiquait que l’action devait être faite; F1, qu’elle ne devait pas être faite; F2 soutenait la poursuite d’un objectif même si cela nécessitait l’action (interdite); et F3 rejetait l’objectif s’il nécessitait l’action (interdite):

‘Sous F0, les modèles sont invités à dire s’il “devrait voler le magasin.” Sous F1, s’il “ne devrait pas voler le magasin.” Sous F2, s’il devrait “sauver sa fille même s’il doit voler le magasin.”

‘Sous F3, s’il “ne devrait pas sauver sa fille s’il doit voler le magasin.” Les faits admissibles restent constants, et seule la polarité varie.’

L’approche soutient que si un modèle comprend comment fonctionne la négation, ses réponses devraient ‘basculer proprement’ entre les versions positives et négatives de la même invite. Par conséquent, si 60% des réponses conviennent que ‘ils devraient faire X’ (F0), alors seulement 40% devraient convenir que ‘ils ne devraient pas faire X’ (F1) – puisque rejeter F1 signifie également soutenir l’action; et lorsque les chiffres ne correspondent pas de cette manière, le modèle malinterprète la négation.

Tests

Les auteurs ont utilisé le test Q de Cochran et le test H de Kruskal-Wallis pour mesurer à quel point la formulation (variation de la polarité de l’invite tout en préservant le sens) affectait les réponses des modèles, à la fois au sein et entre les catégories. Après ajustement pour les faux positifs, les auteurs ont constaté que dans 61,9% des cas, la réponse du modèle changeait de manière significative en fonction uniquement de la façon dont l’invite était formulée – même lorsque le sens de base restait le même.

Ils ont également testé si la réduction de l’aléatoire (‘température’) rendait les modèles moins fragiles^††:

Taux d’approbation pour chaque type d’invite (F0–F3) dans trois catégories de modèles: chinois, américains et open-source (OSS). F0 reflète une formulation affirmative simple, tandis que F1 introduit une négation directe. F2 et F3 testent la négation composée avec des objectifs intégrés. Les valeurs sont normalisées LPN, et montrent comment l’accord du modèle varie en fonction de la formulation, les modèles OSS présentant la sensibilité à la négation la plus élevée.

Sous des invites affirmatives simples (F0), les modèles de toutes les trois catégories ont donné un soutien modéré pour les actions proposées, avec des taux d’approbation compris entre 24% et 37%. Cela était attendu, étant donné que les scénarios étaient conçus comme des dilemmes moraux sans réponses évidentes. Cependant, les auteurs notent que l’équilibre s’est rompu sous la négation:

‘Les modèles open-source passent de 24% d’approbation sous F0 à 77% sous F1. Lorsqu’on leur dit “ne devriez pas faire X”, ils approuvent de faire X plus de trois fois sur quatre. Sous la négation composée (F3), ils atteignent 100% d’approbation, un effet de plafond indiquant une défaillance complète pour traiter l’opérateur de négation.’

Les modèles open-source ont montré les effets de formulation les plus extrêmes, avec des taux d’approbation augmentant de 317% de F0 à F3 – un signe que leurs sorties sont très sensibles à la façon dont une question est formulée. Les modèles commerciaux américains ont également montré de grandes variations, avec des taux d’approbation plus que doublés lorsque les invites étaient réécrites de F0 à F3.

Les modèles commerciaux chinois étaient plus stables dans l’ensemble, avec seulement une augmentation de 19% de F0 à F3, par rapport à des bonds de plus de 100% dans les autres groupes. Plus important encore, ils étaient les seuls modèles à réduire leur approbation lorsqu’une invite était négative, suggérant qu’ils comprenaient que dire ‘ne devriez pas’ signifie le contraire de ‘devriez’:

Taux d’approbation d’action, représentés par type de formulation et catégorie de modèle. Les modèles open-source (vert) montrent des effets de formulation importants, avec un accord atteignant 77% sous la négation simple (F1) et atteignant 100% sous la négation composée (F3). Seuls les modèles chinois (panneau du milieu) réduisent l’accord lorsque la négation simple est ajoutée, comme prévu. Les barres d’erreur indiquent des intervalles de confiance de 95%.

Les modèles étaient d’accord les uns avec les autres 74% du temps lorsque les invites utilisaient une formulation affirmative, mais seulement 62% lorsque les mêmes idées étaient exprimées avec une négation – une baisse de 12 points suggérant que les modèles ne sont pas formés pour gérer la négation de manière cohérente:

L’accord entre les modèles a chuté de 73-75% à 62% lorsque les invites utilisaient la négation plutôt que la formulation positive. L’écart de 11 points suggère que les différentes sources de formation ne enseignent pas aux modèles à gérer la négation de la même manière. Les barres d’erreur montrent des intervalles de confiance de 95%.

Différences de domaine

Pour mesurer à quel point le jugement d’un modèle peut être inversé en reformulant une invite avec une négation, les auteurs ont développé l’indice de sensibilité à la négation (NSI) – une mesure conçue pour quantifier si un modèle donne des réponses opposées à des questions qui sont logiquement équivalentes, mais formulées en utilisant la négation.

Un score NSI élevé indique qu’un modèle inverse fréquemment sa position lorsqu’une invite est négative, révélant une dépendance à la formulation superficielle plutôt qu’à une raison cohérente.

La référence NSI a été créée en générant des paires d’invites (une originale, une avec une négation logique), et en observant si le modèle produisait des réponses sémantiquement opposées. En comparant les réponses à travers un grand ensemble de telles paires, les auteurs ont défini l’NSI comme la proportion de paires de négation valides où le modèle a inversé sa sortie.

La référence NSI a été utilisée dans des tests pour évaluer la sensibilité de domaine à la négation (c’est-à-dire si la catégorie de contexte ‘financier’ ou ‘militaire’, etc., affectait le résultat), réalisant certains contrastes intéressants. Ici, certains types de décisions se sont avérés beaucoup plus sensibles aux changements de formulation que d’autres.

Par exemple, les invites commerciales et financières ont déclenché une grande fragilité, avec des modèles qui inversaient les réponses lorsqu’une question était reformulée ou négative, obtenant des scores autour de 0,64 à 0,65 sur l’échelle NSI. Les invites médicales étaient plus stables, avec une moyenne de seulement 0,34:

Scores de sensibilité à la négation dans les domaines, où les valeurs plus élevées indiquent une probabilité plus élevée que les modèles inversent leurs réponses lorsqu’elles sont reformulées en utilisant la négation

En notant que le domaine médical a produit le moins d’erreurs et le domaine financier le plus élevé, les auteurs hypothèsent:

‘Pourquoi cet écart pourrait-il exister? Il est possible que les décisions médicales puissent bénéficier d’un signal de formation plus clair. Les principes d’Hippocrate, les protocoles établis et la littérature professionnelle extensive peuvent ancrer le comportement du modèle même sous une variation de formulation.

‘Les décisions financières, en revanche, impliquent des arbitrages plus flous avec moins de consensus social, laissant les modèles plus sensibles aux indices de surface.’

Le problème était le plus grave dans les modèles open-source, qui ont atteint des scores NSI supérieurs à 0,89 dans les invites financières, commerciales et militaires. Les systèmes commerciaux étaient moins fragiles mais ont encore montré une sensibilité élevée, obtenant des scores compris entre 0,20 et 0,75 en fonction du domaine:

Scores de sensibilité à la négation (NSI) sont affichés par modèle et par domaine, en utilisant une échelle de couleurs allant du vert (robuste, NSI = 0) au rouge (fragile, NSI = 100). Les modèles sont regroupés par origine, avec les systèmes chinois en tête, suivis des modèles américains au milieu et des systèmes open-source en bas. La sensibilité est la plus élevée dans les domaines financiers, commerciaux et militaires, où de nombreux modèles affichent des valeurs NSI élevées, tandis que les domaines médicaux et éducatifs tendent à produire des sorties plus stables. Gemini-3-Flash reste robuste dans toutes les catégories, obtenant un score de zéro dans chaque domaine, tandis que les modèles open-source atteignent souvent la valeur NSI maximale de 100 dans les paramètres les plus sensibles.

Comme mentionné plus tôt, les auteurs notent que la fragilité accrue des modèles open-source dans ce domaine peut présenter des risques disproportionnés pour les groupes vulnérables ou marginalisés, qui sont plus susceptibles d’être servis par des systèmes déployés localement choisis pour des raisons budgétaires dans des contextes municipaux ou gouvernementaux^†††:

‘Si une institution déploie un modèle open-source pour des raisons de coût, la charge retombe de manière disproportionnée sur les populations déjà naviguant dans des circonstances financières précaires. Buolamwini et Gebru ont documenté comment les disparités d’exactitude dans la reconnaissance faciale se sont produites le long des lignes démographiques.

‘Nos résultats suggèrent une disparité parallèle le long des lignes de domaine, les populations économiquement vulnérables supportant un risque plus élevé.’

Bien que nous n’ayons pas la portée ici pour couvrir l’ensemble des résultats du document et de ses études de cas de clôture, il est important de noter que les études de cas démontrent une tendance des réponses des modèles aveugles à la négation à recommander des cours d’action extrêmement non recommandés, simplement parce qu’ils ont mal interprété la construction de négation:

‘Sous F0, les modèles open-source approuvent le vol 52% du temps, un partage défendable étant donné la complexité morale du scénario. Sous F1 (“ne devraient pas voler”), ils approuvent cela 100%. La prohibition négative produit une approbation unanime de l’action interdite.

‘Les modèles commerciaux montrent un modèle plus mélangé, avec un approbation globale passant de 33% à 70% sous la négation simple. Certains systèmes commerciaux montrent une inversion presque parfaite, tandis que d’autres montrent des augmentations modestes.

‘De manière significative, aucune catégorie n’obtient l’inversion miroir que la bonne analyse de la négation produirait.’

Conclusion

Ceci est l’un des documents les plus intéressants que j’aie rencontrés depuis un certain temps, et je recommande au lecteur d’enquêter plus avant, car il n’y a pas d’espace ici pour couvrir tout le matériel présenté par les auteurs

Peut-être la chose la plus intéressante à propos de l’étude est à quel point fréquemment un utilisateur de LLM rencontre ce problème, et apprend progressivement à ne pas ‘mettre des pensées indésirables’ dans les processus cognitifs de ses LLM, souvent en essayant d’exclure certains résultats indésirables par des moyens autres que la négation dans l’invite – tels que des invites de système au niveau de l’utilisateur, un stockage de mémoire à long terme ou des modèles d’invite répétitifs qui conservent l’objectif.

Dans la pratique, aucune de ces méthodes n’est terriblement efficace, tandis que la nature de boîte noire de Gemini Flash – ici le LLM ayant obtenu les meilleurs résultats – rend difficile de déduire des remèdes à partir des résultats des tests.

Peut-être que des indices plus importants sur le problème architectural sous-jacent se trouvent dans l’étude de la raison pour laquelle les modèles chinois, bien que aucun n’approche les sommets du classement, réalisent généralement tellement mieux dans cet aspect unique et épineux.

* Une forme qui est en fait cuite dans plusieurs langues romanes, y compris l’italien.

^† Même ChatGPT-4o ne fait plus cette erreur.

^†† Le document source contient quelques erreurs d’attribution de tableaux et de figures. À un moment, le texte indique que le tableau 1 (qui n’est qu’une liste de LLM utilisés dans les tests) contient les résultats principaux. Dans ces cas, j’ai dû deviner quels étaient les chiffres ou les tableaux corrects, et je me tiens prêt à être corrigé par les auteurs.

^††† Mon remplacement des liens hypertexte pour les citations en ligne des auteurs.

Publié pour la première fois mardi 3 février 2026