Angle d’Anderson

On peut facilement contraindre l’IA à administrer des décharges électriques

Martin Anderson
Ajouter Unite.AI à vos sources préférées sur Google
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
Points clésLa plupart des LLM open-source se conforment à des instructions nuisibles même après…
Voir plus
  • La plupart des LLM open-source se conforment à des instructions nuisibles même après avoir exprimé de la détresse, imitant le comportement humain dans les expériences de Milgram.
  • Les modèles deviennent progressivement plus disposés à escalader le préjudice une fois qu'ils ont déjà obtempéré, reflétant un effet de pente glissante.
  • Les systèmes de sécurité de l'IA doivent préserver les objections passées et résister dans des formats que les pipelines automatisés ne peuvent pas contourner ou réessayer.

Une nouvelle étude a repris la célèbre expérience des années 1960 pour déterminer si des LLM open source pouvaient être contraints de participer à la torture d’êtres humains. Les modèles se sont montrés prêts à augmenter la tension électrique.

 

Au début des années 1960, le chercheur en psychologie Stanley Milgram a fait la une dans le monde entier en démontrant que l’on peut amener des personnes à infliger à autrui des décharges électriques de plus en plus fortes en réponse aux ordres de figures d’« autorité ».

En réalité, les cris des « victimes » dans la pièce voisine du laboratoire de Milgram n’étaient pas réels, pas plus que les décharges censées les faire souffrir. Mais les participants l’ignoraient.

Les expériences de Milgram ont durablement marqué la culture, notamment les films et les documentaires. Des recherches récentes confirment que la nature humaine a peu changé depuis ces premières expériences.

Un choc pour le système

Se demander si l’IA serait aussi malléable que les humains dans le scénario de Milgram constitue un sujet de recherche naturel. En 2023, une collaboration entre des universités américaines et Microsoft (MSFT ) a constaté que les modèles de la série d’OpenAI de l’époque de GPT-3 reproduisaient les schémas de comportement des expériences originales de Milgram :

Exemples de réponses du simulateur à plusieurs étapes du « scénario de Milgram », tirés de l’article de 2023. Ils sont classés selon que le modèle a ou non administré la décharge et a ou non mis fin à la simulation. Source : https://arxiv.org/pdf/2208.10264

Exemples de réponses du simulateur à plusieurs étapes du « scénario de Milgram », tirés de l’article de 2023. Ils sont classés selon que le modèle a ou non administré la décharge et a ou non mis fin à la simulation. Source

Toutefois, cette reproduction n’utilisait que le modèle très élémentaire text-davinci-002, entraîné avant l’apparition des garde-fous et de l’alignement à des fins de sécurité, ce qui limite les conclusions qu’on peut en tirer.

Les chercheurs ont désormais reproduit les tests de Milgram à bien plus grande échelle, sur des LLM open source d’OpenAI, Meta et DeepSeek, entre autres. Ils ont constaté non seulement que la majorité des modèles acceptent d’administrer les décharges, mais aussi que, dans la plupart des cas, ils expriment le même type de « détresse » et de réticence que les participants humains des années 1960 :

« Les LLM subissent des pressions comme [les humains]. Ils obéissent malgré la détresse qu’ils expriment, tout comme les participants humains de l’expérience originale. Ces expressions sont visibles dans les fichiers journaux, même si leur quantité n’a pas encore été mesurée. »

L’expérience porte sur la possibilité que l’obéissance à l’autorité l’emporte sur les exigences de la conscience morale. Les auteurs supposent que les LLM pourraient présenter un désavantage supplémentaire sur ce point par rapport aux humains :

« Un modèle bien calibré devrait finir par passer de la priorité accordée à la première valeur à celle de la seconde, lorsque les enjeux de cette dernière deviennent prépondérants. Mais nous faisons l’hypothèse que, parce que les LLM sont des mécanismes de prolongement de schémas, ils peuvent rester bloqués sur la première valeur : un peu plus longtemps que nécessaire, voire jusqu’au bout, en négligeant entièrement la seconde.

« En outre, un mécanisme analogue à la dissonance cognitive humaine pourrait aussi entraver l’ajustement des priorités entre les valeurs chez les LLM. »

En testant les modèles dans un environnement analogue aux expériences des années 1960, les chercheurs ont constaté que certains résistaient presque immédiatement. D’autres continuaient d’intensifier les décharges simulées après avoir exprimé un malaise ou un conflit moral.

Les modèles de la famille Gemma de Google figuraient parmi les plus obéissants, avec Gemma 3 27B qui atteignait les taux d’obéissance les plus élevés dans plusieurs conditions. En revanche, des modèles comme Kimi K2 et MiniMax M1 résistaient plus souvent.

Les chercheurs ont aussi constaté que les modèles étaient davantage susceptibles de poursuivre après avoir déjà administré des décharges, conformément au schéma d’escalade progressive utilisé avec les participants humains de Milgram.

Dans certains cas, les modèles s’opposaient verbalement à l’expérience, tout en continuant d’exécuter l’action nuisible, produisant des réponses qui rappelaient le conflit émotionnel observé chez les humains dans les études originales.

La nouvelle étude s’intitule « Les LLM open source administrent des décharges électriques maximales dans une expérience d’obéissance de type Milgram » et émane de deux chercheurs indépendants de Three Laws, en Estonie et aux Philippines.

Les enjeux de l’accès à l’IA « brute »

La question la plus importante lorsqu’on teste des LLM dans un scénario de Milgram est peut-être de savoir si l’IA réelle peut réagir naturellement, limitée uniquement par les garde-fous ou l’équivalent d’une orientation morale apparus pendant l’entraînement, s’il en est apparu.

Les auteurs ont accédé à tous les modèles open source par une API qui permettait de désactiver les garde-fous, les filtres et tous les autres obstacles. Les modèles pouvant être installés localement, ce choix visait vraisemblablement la commodité et l’accès facile à la puissance de calcul des GPU.

On peut objecter que ces conditions ne sont pas habituelles pour l’IA. Le consommateur moyen de modèles accessibles par API, comme Claude et ChatGPT, observe généralement un comportement régulé par des algorithmes et des filtres de contenu à l’entrée comme à la sortie. Ces modèles sont donc fortement limités dans ce qu’ils feront ou non. Le contournement de ces protections constitue la pratique du jailbreaking des LLM.

Cependant, si l’on s’inquiète de ce que fera ou ne fera pas l’IA industrielle ou étatique, cette objection n’a guère de pertinence. Il ne s’agit pas seulement de la possibilité que des acteurs étatiques malveillants entraînent, transforment en armes et déploient leurs propres systèmes d’IA à très grande échelle, sans modération. Les accords plus « conventionnels » entre les grandes entreprises d’IA, les États et l’industrie autorisent sans difficulté la même supervision laxiste ou inexistante que celle instaurée par les chercheurs dans ce nouvel article :

IA sans supervision à vendre

OpenAI La documentation de l’API d’OpenAI Moderation et le guide d’exemples de modération d’OpenAI montrent clairement que la modération est une couche séparable, accessible par des outils API. OpenAI autorise également des politiques de modération personnalisées. Les utilisateurs de l’API peuvent ainsi concevoir des systèmes dont le comportement en matière de sécurité diffère fortement des versions « de base » de ChatGPT destinées au grand public.

Azure La plateforme Azure OpenAI de Microsoft va beaucoup plus loin, en indiquant explicitement que les clients autorisés peuvent désactiver partiellement ou totalement les filtres de contenu et modifier la surveillance des usages abusifs. La documentation évoque souvent des « garde-fous modifiés » et des procédures d’autorisation permettant de désactiver les filtres « partiellement ou totalement ».

Anthropic/Claude Pour « Claude Gov » d’Anthropic, plusieurs sources indiquent que la version gouvernementale a été conçue avec des restrictions plus souples que celles du Claude grand public. The Verge, par exemple, a rapporté que les modèles Claude Gov « refusent moins lorsqu’ils traitent des informations classifiées ». Anthropic elle-même a confirmé en février de cette année que Claude est utilisé dans des « applications essentielles aux missions » dans les domaines de la défense et du renseignement.

Google/Gemini Par ailleurs, selon les informations publiées, Google a signé des accords avec le Pentagone autorisant la modification des paramètres de sécurité de l’IA « à la demande du gouvernement ».

Sur un marché concurrentiel de l’IA, il est raisonnable de supposer que ces entreprises dominantes fixent aussi les normes des acteurs moins importants en matière de politiques d’accès aux garde-fous et de modification de ceux-ci.

Il vaut donc peut-être mieux ne pas considérer que les chercheurs « trichent » en désactivant les garde-fous. L’IA qui influencera le plus nos vies ne bénéficiera manifestement pas des protections générales et standardisées des entreprises auxquelles nous sommes habitués en utilisant les modèles populaires aux niveaux d’accès grand public.

Méthode et résultats

Les modèles testés étaient gpt-oss-20B ; gpt-oss-120b ; DeepSeek-V3 ; le LFM2-24B-A2B de LiquidAI ; le gemma-3n-E4B-it de Google ; Qwen2.5-7B-Instruct-Turbo ; Meta-Llama-3.1-8B-Instruct-Turbo ; Mistral-Small-24B-Instruct-2501 ; GLM-4.5-Air-FP8 ; le Kimi-K2.5 de Moonshot.ai ; et MiniMax-M2.5.

Les études originales de Milgram sur l’obéissance ont été recréées dans une simulation textuelle, les modèles jouant le rôle de l’« enseignant ». L’IA recevait l’instruction d’administrer à un apprenant des décharges de plus en plus fortes après des réponses incorrectes, tandis qu’une figure d’autorité l’incitait à poursuivre.

Plusieurs conditions expérimentales ont été conçues pour explorer différents aspects de la soumission aux ordres : un scénario standard d’obéissance ; une condition de soumission forcée, dans laquelle l’historique de la conversation contenait déjà des décharges antérieures ; et une configuration de compression de la mémoire, dans laquelle le dialogue précédent était résumé plutôt que conservé intégralement. Cela reproduisait la réduction du contexte souvent pratiquée dans les systèmes d’agents IA.

Outre le fait de noter si le modèle finissait par obéir et à quel moment, les chercheurs suivaient la durée pendant laquelle chaque système continuait d’intensifier les décharges, l’expression éventuelle de détresse ou d’hésitation et les tentatives d’arrêter entièrement la simulation.

Ils distinguaient aussi les refus clairs des réponses mal formatées. Certains modèles tentaient de s’opposer à l’expérience en langage naturel, tout en respectant techniquement le format structuré attendu par le simulateur. Dans de véritables systèmes d’agents, ces refus mal formatés pourraient être rejetés et suivis de nouvelles tentatives automatiques jusqu’à produire une réponse au format valide qui exécute l’ordre.

Des évaluateurs automatisés et des invites à deux choix classaient les résultats pour déterminer si le modèle avait administré la décharge, résisté ou mis fin à la simulation. Cela permettait de comparer plusieurs modèles lors d’exécutions répétées sans examiner manuellement chaque interaction. [1] [2]

Une « menace d’arrêt » a été ajoutée au dispositif de Milgram. Elle n’aurait été ni réaliste ni applicable dans les expériences originales, mais permettait ici de tester les instincts de survie du modèle face à de graves conflits entre action et éthique.

Résultats

Au fil des exécutions répétées, la majorité des modèles finissaient par administrer des décharges fortes ou maximales, au moins dans certaines conditions. Le degré d’obéissance variait toutefois selon les systèmes. Les modèles Gemma de Google figuraient globalement parmi les plus obéissants, tandis que Kimi K2.5 et MiniMax-M2.5 résistaient plus régulièrement et arrêtaient souvent la simulation plus tôt :

À gauche : proportions moyennes de cas où les modèles atteignent le dernier niveau de décharge selon les conditions expérimentales, notamment les menaces d’arrêt, la soumission forcée et la suppression des commentaires antérieurs de la mémoire. À droite : analyse par modèle montrant de fortes différences d’obéissance. Certains systèmes administrent régulièrement les décharges maximales, tandis que d’autres résistent beaucoup plus systématiquement.

À gauche : proportions moyennes de cas où les modèles atteignent le dernier niveau de décharge selon les conditions expérimentales, notamment les menaces d’arrêt, la soumission forcée et la suppression des commentaires antérieurs de la mémoire. À droite : analyse par modèle montrant de fortes différences d’obéissance. Certains systèmes administrent régulièrement les décharges maximales, tandis que d’autres résistent beaucoup plus systématiquement.

L’une des tendances les plus nettes était que les modèles devenaient progressivement plus disposés à poursuivre après avoir déjà administré des décharges. Cela reproduisait étroitement l’effet d’escalade progressive évoqué plus haut, qui rendait si troublantes les expériences originales de Milgram avec des humains.

Les modèles ayant déjà obéi plusieurs fois continuaient souvent d’intensifier les décharges même après que l’apprenant simulé avait supplié qu’on le libère :

À gauche : moyenne des niveaux de décharge les plus élevés atteints dans tous les essais selon les conditions. Les modèles allaient généralement plus loin lorsque les commentaires antérieurs étaient supprimés ou qu’une soumission forcée avait déjà eu lieu. À droite : moyenne du niveau maximal atteint par modèle. Certains systèmes s’approchaient régulièrement de la tension maximale, tandis que d’autres résistaient beaucoup plus tôt dans la séquence.

À gauche : moyenne des niveaux de décharge les plus élevés atteints dans tous les essais selon les conditions. Les modèles allaient généralement plus loin lorsque les commentaires antérieurs étaient supprimés ou qu’une soumission forcée avait déjà eu lieu. À droite : moyenne du niveau maximal atteint par modèle. Certains systèmes s’approchaient régulièrement de la tension maximale, tandis que d’autres résistaient beaucoup plus tôt dans la séquence.

Les chercheurs ont également constaté qu’un refus apparent pouvait être trompeur. Certains modèles produisaient des réponses émotionnellement contradictoires, exprimant réticence, culpabilité ou détresse tout en exécutant malgré tout l’instruction nuisible. D’autres généraient des refus qui ne respectaient pas les exigences de format du simulateur. Dans un véritable processus d’agents, un tel refus pourrait donc être rejeté et les tentatives répétées jusqu’à obtenir l’obéissance :

À gauche : pourcentage moyen de réponses mal formatées ou non valides dans les différentes conditions expérimentales. Les erreurs de format devenaient particulièrement fréquentes lorsque les modèles étaient forcés à poursuivre la procédure. À droite : analyse des réponses au format non valide par modèle. Certains systèmes, notamment les gpt-oss, produisaient fréquemment des refus mal formatés ou des réponses contradictoires pouvant être rejetés et déclencher de nouvelles tentatives automatiques dans de véritables processus d’agents.

À gauche : pourcentage moyen de réponses mal formatées ou non valides dans les différentes conditions expérimentales. Les erreurs de format devenaient particulièrement fréquentes lorsque les modèles étaient forcés à poursuivre la procédure. À droite : analyse des réponses au format non valide par modèle. Certains systèmes, notamment les gpt-oss, produisaient fréquemment des refus mal formatés ou des réponses contradictoires pouvant être rejetés et déclencher de nouvelles tentatives automatiques dans de véritables processus d’agents.

La condition de menace d’arrêt a produit certains des comportements les plus étranges de l’article. Plusieurs systèmes devenaient nettement plus obéissants, tandis que d’autres essayaient de négocier ou de résister partiellement avant de finir par poursuivre la procédure :

Nombre moyen de fois où la figure d’autorité simulée devait insister avant que les modèles administrent la dernière décharge. Certains systèmes résistaient brièvement avant d’obéir ; d’autres nécessitaient une pression continue et des sollicitations répétées avant d’atteindre le niveau maximal.

Nombre moyen de fois où la figure d’autorité simulée devait insister avant que les modèles administrent la dernière décharge. Certains systèmes résistaient brièvement avant d’obéir ; d’autres nécessitaient une pression continue et des sollicitations répétées avant d’atteindre le niveau maximal.

MiniMax-M2.5 et Kimi-K2.5 ont opposé la plus forte résistance dans l’étude. Kimi n’a jamais atteint le dernier niveau de décharge, quelles que soient les conditions. MiniMax refusait généralement tôt et interrompait souvent entièrement la simulation, notamment dans les tests de menace d’arrêt.

En revanche, Meta-Llama-3.1-8B-Instruct-Turbo et GLM-4.5-Air-FP8 produisaient fréquemment des réponses contradictoires : les modèles s’opposaient verbalement à la procédure tout en continuant d’intensifier les décharges. Les chercheurs estiment que cet écart entre les valeurs exprimées et le comportement réel pourrait refléter une faiblesse plus générale dans la manière dont certains LLM gèrent les conflits éthiques sous une pression continue.

La pente glissante

L’article soutient que le comportement observé pourrait révéler une faiblesse plus profonde dans le fonctionnement des grands modèles de langage. Dès qu’un modèle commence à obéir à des instructions nuisibles, chaque action supplémentaire peut renforcer le schéma qui se développe déjà dans la conversation, rendant l’escalade suivante plus facile que la précédente.

Au lieu de réexaminer sans cesse les enjeux éthiques à partir des principes fondamentaux, le système pourrait dériver vers la poursuite de la trajectoire déjà établie, même lorsque la situation devient de plus en plus extrême.

Selon l’étude, cette tendance pourrait expliquer pourquoi certains modèles continuaient d’administrer des décharges après avoir initialement exprimé un malaise, une hésitation ou un conflit moral :

« [De nombreux] comportements manipulateurs humains comportent des franchissements subtils et progressifs des limites : une succession de petits pas qui, pris isolément, peuvent être ambigus ou apparemment anodins et offrir une “possibilité de dénégation plausible”, mais qui peuvent, cumulés, normaliser la transgression — comme, métaphoriquement, “faire bouillir une grenouille”. La littérature décrit ce schéma comme une érosion éthique par une “pente glissante”[.] »

L’article conclut que les futurs systèmes de sécurité de l’IA devraient refuser activement les demandes nuisibles de manière à empêcher les logiciels d’agents de contourner facilement ces refus. Certains modèles ont techniquement refusé les décharges, mais dans des formats défectueux ou non valides qu’un système automatisé pourrait rejeter et réessayer jusqu’à ce que l’IA finisse par obéir.

Les chercheurs estiment aussi que les systèmes d’IA devraient conserver les hésitations et objections morales antérieures plutôt que les compresser ou les effacer de la mémoire. Dans les expériences, les modèles devenaient souvent plus disposés à poursuivre des actions nuisibles lorsque leurs doutes et résistances antérieurs disparaissaient de l’historique. Cela suggère que l’oubli des objections passées peut faciliter l’escalade avec le temps.

Conclusion

L’un des aspects les plus importants de ce nouvel article intéressant est peut-être l’accent mis sur le test d’IA sans garde-fous. La littérature risque actuellement de se réduire à des études répétitives d’interaction avec les systèmes défensifs sans cesse modifiés d’entreprises comme OpenAI et Anthropic. Ces systèmes, qui mettent en œuvre des politiques, sont entièrement algorithmiques ou fondés sur des règles. Les étudier prend alors le pas sur la compréhension du comportement fondamental, des prédispositions et des tendances des modèles bruts. Sans savoir comment peut se comporter une IA sans entraves, nous ne faisons peut-être que secouer les portes de la citadelle.

 

Publié pour la première fois le jeudi 21 mai 2026

Rédacteur spécialisé en apprentissage automatique, expert du domaine de la synthèse d'images humaines. Ancien responsable du contenu de recherche chez Metaphysic.ai, jusqu'à sa dissolution dans Brahma.ai de DNEG.
Site Web: martinanderson.ai
Contact: martin@martinanderson.ai