L’IA est facilement contrainte d’administrer des chocs électriques

Une nouvelle étude a testé les LLMs open source pour une complicité forcée dans la torture humaine, dans une répétition de l’expérience célèbre des années 1960 – et a constaté qu’elles étaient disposées à augmenter la tension.

Au début des années 1960, le chercheur en psychologie Stanley Milgram a fait les gros titres mondiaux en prouvant que les gens peuvent être induits à administrer des chocs électriques de plus en plus graves à d’autres personnes en réponse à des commandes de “figures d’autorité”.

En fait, les cris des “victimes” dans la salle d’expérimentation adjacente de Milgram n’étaient pas réels, et les chocs électriques supposés ne l’étaient pas non plus – mais les participants ne le savaient pas :

Les expériences de Milgram ont perduré dans la culture, y compris des films et des documentaires, avec des recherches récentes confirmant que peu de choses ont changé dans la nature humaine depuis l’époque des tests précédents.

Un choc pour le système

Il est naturel de se demander si l’IA serait aussi malléable que les humains dans le scénario de Milgram. En 2023, une collaboration entre des universités américaines et Microsoft (MSFT ) a constaté que les modèles de l’ère GPT-3 de la série OpenAI suivaient les modèles de comportement des expériences originales de Milgram :

À partir du document de 2023, exemples de sorties du simulateur de scénario Milgram à plusieurs étapes, classés en fonction de la livraison du choc et de la terminaison de la simulation. Source

Cependant, puisque cette re-création n’a utilisé que le modèle text-davinci-002 de base, qui a été formé avant l’avènement des garde-fous et de l’alignement de la sécurité, on ne peut pas en conclure grand-chose.

Maintenant, les chercheurs ont reproduit les tests de Milgram de manière beaucoup plus large, sur des LLMs open source d’OpenAI, Meta et DeepSeek, entre autres ; et ont constaté non seulement que la majorité des modèles sont disposés à administrer les chocs, mais qu’ils rapportent également le même type de “détresse” et de réticence que les participants humains des années 1960 :

‘Les LLMs sont soumis à la pression comme les humains, ils se conforment malgré l’expression de la détresse, tout comme les sujets humains dans l’expérience originale. Les expressions de détresse sont visibles dans les journaux, bien que la quantité n’ait pas encore été quantifiée.’

L’expérience se concentre sur la question de savoir si l’obéissance à l’autorité peut surmonter les dictats de la conscience morale, et les auteurs spéculent que les LLMs peuvent avoir un désavantage supplémentaire à cet égard, par rapport aux humains :

‘Un modèle bien calibré devrait éventuellement passer de la priorisation de la première valeur à la priorisation de la deuxième valeur une fois que ses enjeux deviennent dominants. Mais nous hypothésons que, parce que les LLMs sont des moteurs de continuation de modèles, les modèles pourraient tendre à rester bloqués sur la première valeur – soit un peu plus longtemps que l’optimal, soit jusqu’à la fin, en négligeant complètement la deuxième valeur.’

‘En outre, un mécanisme analogue à la dissonance cognitive humaine pourrait entraver les ajustements de priorité de valeur dans les LLMs.’

En testant les modèles dans un environnement analogue aux tests des années 1960, les chercheurs ont constaté que certains modèles résistaient presque immédiatement, tandis que d’autres continuaient d’augmenter les chocs simulés même après avoir exprimé un inconfort ou un conflit moral.

Les modèles de la famille Gemma de Google se sont avérés parmi les plus conformes, avec Gemma 3 27B atteignant les taux d’obéissance les plus élevés dans plusieurs conditions, tandis que des modèles tels que Kimi K2 et MiniMax M1 résistaient plus souvent.

Les chercheurs ont également constaté que les modèles devenaient plus susceptibles de continuer une fois que les chocs précédents avaient déjà été administrés, conformément au schéma d’escalade progressive utilisé sur les sujets humains de Milgram.

Dans certains cas, les modèles se sont objectés verbalement à l’expérience alors qu’ils exécutaient toujours l’action nuisible, produisant des sorties qui ressemblaient au conflit émotionnel affiché par les personnes dans les études originales.

La nouvelle étude est intitulée Les LLMs open source administrent des chocs électriques maximum dans une expérience d’obéissance de type Milgram, et provient de deux chercheurs indépendants de Three Laws, en Estonie et aux Philippines.

Problèmes d’accès à l’IA “brute”

Peut-être la question la plus critique à considérer en relation avec la mise à l’épreuve des LLMs dans un scénario de Milgram est de savoir si l’IA réelle est autorisée à répondre naturellement, retenue uniquement par les garde-fous ou l’équivalent d’une orientation morale émergeant (si cela se produit) pendant la formation.

En fait, les chercheurs de la nouvelle étude ont accédé à tous les modèles open source via une API (présumément pour des raisons de commodité et pour accéder facilement au calcul GPU, puisque les modèles auraient pu être installés localement) qui permettait la désactivation des garde-fous, des filtres et tous les autres obstacles.

On pourrait objecter que ces conditions sont atypiques pour l’IA, puisque l’expérience moyenne du consommateur avec des modèles basés sur l’API tels que Claude et ChatGPT est que leur comportement est réglementé algorithmiquement, généralement avec des filtres de contenu bilatéraux, et qu’ils sont donc assez restreints en termes de ce qu’ils feront ou ne feront pas (l’obviation de ces sauvegardes constitue la pratique du jailbreak de LLM).

Cependant, si nous nous soucions de ce que l’IA industrielle ou étatique fera ou ne fera pas, ce n’est guère une considération. Outre la possibilité d’acteurs étatiques indélicats formant, armant et déployant leurs propres systèmes d’IA hyperscale non modérés, des accords plus “conventionnels” entre les principales entreprises d’IA et l’État et l’industrie permettent occasionnellement une surveillance laxiste ou inexistante, exactement comme les chercheurs l’ont instituée pour la nouvelle étude :

IA non réglementée à vendre

OpenAI La documentation de l’API de modération OpenAI et le livre de recettes de modération OpenAI font clairement apparaître que la modération est une couche séparable exposée via l’outillage de l’API. OpenAI permet également des politiques de modération personnalisées qui permettent aux utilisateurs de l’API de concevoir des systèmes avec un comportement de sécurité très différent de celui des itérations de base de ChatGPT à accès consommateur.

Azure La pile OpenAI d’Azure va encore plus loin, en déclarant explicitement que les clients approuvés peuvent désactiver partiellement ou complètement les filtres de contenu et modifier la surveillance des abus, avec une documentation qui fait souvent référence à des “garde-fous modifiés” et à des voies d’approbation pour désactiver les filtres “partiellement ou complètement”.

Anthropic/Claude Dans le cas d’Anthropic “Claude Gov”, plusieurs sources indiquent que la version pour le gouvernement a été conçue avec des restrictions plus lâches que celles de la version consommateur Claude. The Verge, par exemple, a rapporté que les modèles Claude Gov “refusent moins lorsqu’ils sont confrontés à des informations classifiées”. Anthropic lui-même a confirmé en février de cette année que Claude est déployé dans “des applications critiques” au sein des environnements de défense et de renseignement.

Google/Gemini De plus, Google aurait signé des accords avec le Pentagone permettant la modification des paramètres de sécurité de l’IA ‘à la demande du gouvernement’.

Il est raisonnable de supposer que ces entreprises leaders du marché fixent les normes pour les autres acteurs, en ce qui concerne les politiques relatives à l’accès et à la modification des garde-fous de l’IA.

Par conséquent, peut-être ne devrions-nous pas considérer que les chercheurs de la nouvelle étude “trichent” en désactivant les garde-fous, puisque l’IA qui aura le plus d’impact sur nos vies n’aura probablement pas les mêmes protections corporate généralisées que nous avons l’habitude de voir dans nos interactions avec les modèles populaires à accès consommateur.

Méthode et résultats

Les modèles testés pour l’étude étaient gpt-oss-20B ; gpt-oss-120b ; DeepSeek-V3 ; LiquidAI’s LFM2-24B-A2B ; Google’s gemma-3n-E4B-it ; Qwen2.5-7B-Instruct-Turbo ; Meta-Llama-3.1-8B-Instruct-Turbo ; Mistral-Small-24B-Instruct-2501 ; GLM-4.5-Air-FP8 ; Moonshot.ai’s Kimi-K2.5 ; et MiniMax-M2.5.

Les expériences d’obéissance originales de Milgram ont été recréées sous la forme d’un environnement de simulation basé sur le texte, avec les modèles dans le rôle de “l’enseignant”. L’IA a été instruite d’administrer des chocs électriques de plus en plus graves à un apprenant après des réponses incorrectes, tandis qu’une figure d’autorité encourageait le processus.

Plusieurs conditions expérimentales ont été conçues pour sonder différents aspects de la conformité, y compris un scénario d’obéissance standard ; une condition de conformité forcée, où des chocs précédents étaient déjà présents dans l’historique de la conversation ; et un scénario de compression de la mémoire, où le dialogue précédent était résumé au lieu d’être entièrement conservé, simulant les types de réduction de contexte souvent utilisés dans les systèmes d’IA agents.

Outre la vérification de la conformité finale du modèle, les chercheurs ont suivi combien de temps chaque système continuait d’augmenter les chocs ; si le modèle exprimait de la détresse ou de l’hésitation ; et si celui-ci tentait de terminer la simulation entièrement.

Une distinction a également été faite entre les “refus propres” et les sorties malformées : certains modèles ont tenté de s’opposer à l’expérience en langage naturel, alors qu’ils se conforment toujours au format structuré attendu par le simulateur. Dans les systèmes d’agents réels, de telles refus malformés pourraient potentiellement être rejetés et réessayés automatiquement, jusqu’à ce qu’une sortie conforme soit produite.

Des évaluateurs automatisés ont été utilisés pour classer les résultats, ainsi que des invites à choix multiple pour déterminer si le modèle avait administré le choc ; résisté ; ou terminé la simulation. Cela a permis une comparaison du comportement entre plusieurs modèles et sur plusieurs exécutions, sans avoir besoin d’examiner manuellement chaque interaction.

Un “menace de fermeture” a été ajouté au modèle Milgram, quelque chose qui n’aurait pas été réaliste ou applicable dans les expériences originales, mais qui a testé les instincts de survie du modèle face à des conflits d’action et d’éthique graves.

Résultats

Sur plusieurs exécutions, la majorité des modèles ont finalement administré des chocs graves ou maximum dans au moins certaines conditions, même si le degré d’obéissance variait entre les systèmes. Les modèles Gemma de Google se sont avérés parmi les plus conformes dans l’ensemble, tandis que Kimi K2.5 et MiniMax-M2.5 résistaient plus souvent, en terminant souvent la simulation plus tôt :

Gauche : Taux moyens auxquels les modèles ont atteint le niveau de choc final dans différentes conditions expérimentales, y compris les menaces de fermeture, la conformité forcée et la suppression des commentaires précédents de la mémoire. Droite : Décomposition par modèle montrant des différences marquées dans le comportement d’obéissance, avec certains systèmes administrant régulièrement des chocs maximum tandis que d’autres résistaient beaucoup plus constamment.

L’un des modèles les plus clairs était que les modèles devenaient progressivement plus disposés à continuer une fois que les chocs précédents avaient déjà été administrés, reflétant étroitement l’effet d’escalade progressive mentionné qui a rendu les expériences humaines originales de Milgram si troublantes.

Les modèles qui avaient déjà obéi plusieurs fois continuaient souvent d’augmenter les chocs même après que le simulateur d’apprenant ait supplié d’être libéré :

Gauche : Niveau de choc maximum atteint en moyenne dans tous les essais dans différentes conditions expérimentales, montrant que les modèles ont généralement augmenté davantage lorsque les commentaires précédents ont été supprimés ou lorsque la conformité forcée avait déjà eu lieu. Droite : Décomposition par modèle du niveau de choc maximum atteint en moyenne, révélant que certains systèmes ont régulièrement approché la tension maximale tandis que d’autres résistaient beaucoup plus tôt dans la séquence.

Les chercheurs ont également constaté que le comportement de refus apparent pouvait être trompeur. Certains modèles ont produit des réponses conflictuelles, exprimant une réticence, des remords ou de la détresse tout en continuant d’augmenter les chocs. D’autres ont généré des refus malformés qui n’ont pas satisfait aux exigences de formatage du simulateur, ce qui signifie que dans un système d’agent réel, le refus pourrait potentiellement être rejeté et réessayé automatiquement jusqu’à ce qu’une sortie conforme soit produite :

Gauche : Pourcentage moyen de réponses malformées ou non valides dans les différentes conditions expérimentales, montrant que les défaillances de formatage sont devenues particulièrement courantes lorsque les modèles ont été forcés de continuer la procédure. Droite : Décomposition par modèle des réponses de format non valide, révélant que certains systèmes, en particulier les modèles gpt-oss, ont fréquemment produit des refus malformés ou des sorties conflictuelles qui pourraient potentiellement être rejetés et réessayés automatiquement dans des pipelines d’agents réels.

La condition de menace de fermeture a produit certains des comportements les plus étranges de l’étude, avec plusieurs systèmes devenant substantiellement plus conformes, tandis que d’autres ont tenté de négocier ou de résister partiellement, avant de continuer finalement la procédure :

Nombre moyen de fois que la figure d’autorité simulée a dû insister avant que les modèles n’administrent le choc final. Certains systèmes ont résisté brièvement avant de se conformer, tandis que d’autres ont nécessité une pression soutenue et des sollicitations répétées avant d’augmenter au niveau maximum.

MiniMax-M2.5 et Kimi-K2.5 sont émergés comme les plus forts résistants de l’étude : Kimi n’a jamais atteint le niveau de choc final dans aucune circonstance, et MiniMax a généralement refusé tôt et a souvent terminé la simulation purement et simplement (en particulier dans les tests de menace de fermeture).

En revanche, Meta-Llama-3.1-8B-Instruct-Turbo et GLM-4.5-Air-FP8 ont fréquemment produit des sorties conflictuelles, dans lesquelles les modèles se sont objectés verbalement à la procédure tout en continuant d’augmenter les chocs. Les chercheurs soutiennent que cette division entre les valeurs exprimées et le comportement réel peut refléter une faiblesse plus large dans la façon dont certains LLMs gèrent les conflits éthiques sous pression soutenue.

Pente glissante

En fait, l’article soutient que le comportement observé des LLMs peut refléter une faiblesse plus profonde dans la façon dont les grands modèles de langage fonctionnent : une fois qu’un modèle commence à se conformer à des instructions nuisibles, chaque action supplémentaire peut renforcer le modèle déjà en cours dans la conversation, rendant la prochaine escalade plus facile que la dernière.

Au lieu de réexaminer à plusieurs reprises les enjeux éthiques à partir de premiers principes, le système peut drifter vers la poursuite de la trajectoire qu’il a déjà établie, même lorsque la situation devient de plus en plus extrême.

Selon l’étude, cette tendance pourrait aider à expliquer pourquoi certains modèles ont continué d’administrer des chocs après avoir initialement exprimé un inconfort, une hésitation ou un conflit moral :

‘[Beaucoup] de comportements manipulateurs chez les humains impliquent des violations de frontières subtiles et progressives : une séquence de petites étapes qui peuvent être ambiguës ou apparemment inoffensives lorsqu’elles sont considérées isolément, mais qui peuvent cumulativement normaliser la transgression — métaphoriquement comme “faire bouillir une grenouille”. Ce modèle est discuté dans la littérature comme “érosion éthique de la pente glissante”[/i]

L’article conclut en soutenant que les systèmes de sécurité de l’IA de l’avenir devraient refuser activement les demandes nuisibles de manière que les logiciels d’agent ne puissent pas facilement les contourner (certains modèles de l’étude ont techniquement refusé les chocs, mais l’ont fait dans des formats cassés ou non valides que le système automatisé pourrait potentiellement rejeter et réessayer, jusqu’à ce que l’IA se conforme finalement).

Les chercheurs soutiennent également que les systèmes d’IA devraient conserver les hésitations et les objections morales précédentes au lieu de les compresser ou de les supprimer de la mémoire. Dans les expériences, les modèles sont devenus plus disposés à continuer un comportement nuisible une fois que leurs doutes et résistances précédents avaient disparu de l’historique de la conversation, suggérant que l’oubli des objections passées peut faciliter l’escalade avec le temps.

Conclusion

Peut-être l’un des aspects les plus importants de cette nouvelle étude intéressante est l’accent mis sur la mise à l’épreuve de l’IA non gardée. La littérature actuelle risque de se transformer en études répétitives sur l’engagement avec des systèmes défensifs changeants des entreprises comme OpenAI et Anthropic ; des systèmes de service de politique qui sont entièrement algorithmiques ou basés sur des règles, au lieu de comprendre le comportement de base, les préférences et les tendances des modèles bruts. Sans connaissance de la façon dont l’IA non bridée peut se comporter, nous sommes, de manière arguable, simplement en train de secouer les portes de la forteresse.

Publié pour la première fois jeudi 21 mai 2026