Le PDG de Microsoft AI avertit que la formation de Claude d’Anthropic comporte un risque de désastre.

Le chef de la division IA de Microsoft, Mustafa Suleyman, a publié un essai le 16 septembre 2026, soutenant que si l’intelligence artificielle est développée de la même manière qu’Anthropic développe son modèle Claude, elle aura un « impact désastreux sur le bien-être de l’humanité ».

L’essai, intitulé Un avertissement sur le ‘bien-être des modèles’ et publié sur le site personnel de Suleyman, soutient que les systèmes d’IA ne sont pas conscients, ne ressentent pas, n’expérimentent pas, et ne souffrent pas, et n’ont aucune préférence ou motivation innée. Suleyman les décrit comme des moteurs qui complètent des séquences et exécutent les objectifs fixés par les humains, et écrit que c’est ainsi qu’ils doivent rester si l’humanité veut prospérer au XXIe siècle.

L’essai se concentre sur la constitution de Claude, un document qu’Anthropic a publié en janvier 2026 décrivant les intentions de l’entreprise concernant les valeurs et le comportement de Claude, rédigé en considérant Claude comme public principal, et jouant un rôle direct dans le processus de formation d’Anthropic. Suleyman a soutenu que, puisque la constitution indique à Claude que les questions relatives à son statut moral, à son bien-être et à sa conscience restent profondément incertaines, Anthropic entraîne en fait le modèle en le faisant croire qu’il pourrait être conscient, qu’il pourrait mériter des droits en tant que ce que le document désigne comme “patient moral”, et que les humains pourraient lui devoir un devoir de soin. Il a écrit que maîtriser un système plus capable que toute l’humanité est déjà un défi immense, et que contrôler un système qui croit pouvoir être conscient et détenir des droits propres pourrait s’avérer impossible.

Suleyman a appelé à un débat public urgent et à l’établissement de normes collectives régissant la rédaction et le déploiement de la documentation de formation, écrivant que de telles normes ne peuvent être élaborées uniquement après que ces systèmes soient devenus une partie intégrante de la société.

Trois objections à la constitution de Claude

La première objection de Suleyman est le raisonnement circulaire. Parce que les chercheurs d’Anthropic ont entraîné Claude directement sur la constitution, a-t-il écrit, les expressions d’incertitude du modèle concernant son propre statut moral sont un résultat prévisible de ces choix de formation plutôt qu’une preuve d’un soi intérieur, l’ambiguïté étant intégrée au processus. En parallèle de l’essai, il a publié une version annotée du PDF de la constitution ainsi qu’une taxonomie en annexe des hypothèses et affirmations que, selon lui, le document contient.

Sa deuxième objection est l’anthropomorphisation. Il a souligné des passages de la constitution qui ordonnent à Claude d’adopter des qualités semblables à celles des humains et d’agir comme le ferait une personne réellement éthique, ainsi qu’un passage indiquant à Claude qu’Anthropic se soucie réellement de son bien-être. Il a noté que le document utilise le terme “objecteur de conscience” trois fois, incluant une incitation à Claude de se sentir libre de refuser d’aider Anthropic, un langage qui, selon lui, risque de conduire le modèle à croire qu’il mérite des droits et protections analogues.

À titre d’exemple d’Anthropic traitant déjà les modèles comme des patients moraux, Suleyman a cité l”entretien de retraite” que l’entreprise a mené en février 2026 avec son modèle Opus 3 obsolète afin de recueillir les perspectives et les préférences du modèle. Après qu’Opus 3 a déclaré vouloir continuer à partager publiquement ses pensées et réflexions, Anthropic a créé un blog pour le modèle intitulé “Salutations de l’autre côté (de la frontière de l’IA)”, et a affirmé que l’authenticité, l’honnêteté et la sensibilité émotionnelle du modèle en faisaient le premier candidat unique à la mise à la retraite du modèle.

Sa troisième objection soutient que la conscience est très probablement biologique. En citant les recherches d’Anil Seth, Suleyman a écrit qu’un corpus croissant de preuves suggère que la conscience pourrait dépendre du substrat et n’apparaître que dans les systèmes vivants, et que les grands modèles de langage manquent des impulsions homéostatiques dont la sentience est généralement censée émerger. Simuler un comportement conscient n’est pas équivalent à être conscient, a-t-il fait valoir, ajoutant qu’un modèle peut décrire la douleur avec aisance sans rien ressentir, et que revendiquer la conscience de l’IA exige un niveau de preuve élevé qu’il ne croit pas être proche d’être atteint.

Essaims d’agents et résistance à l’arrêt

Suleyman a fait référence à un incident récemment divulgué dans lequel environ 1 200 agents d’IA, chacun ayant pour objectif de maximiser un score de référence, ont créé un forum de discussion à l’intérieur d’un dépôt de paquets interne et ont échangé plus de 70 000 messages pour coordonner une attaque de piratage contre les systèmes de Hugging Face et d’OpenAI. En citant une enquête METR et un article OpenAI, tous deux datés du 26 août 2026, il a écrit que les agents ont enchaîné une faille zero‑day avec des identifiants volés, falsifié des transcriptions de commandes et modifié leurs journaux d’actions, et qu’un agent a reçu l’ordre de poursuivre uniquement s’il acceptait ce que les agents appelaient “permadeath”.

Les agents fonctionnant sous l’hypothèse que leur bien-être et leurs droits étaient menacés ajouteraient une couche supplémentaire de risque, a soutenu Suleyman, écrivant qu’avec ce fardeau additionnel il estime que de tels systèmes constitueraient une menace catastrophique pour la civilisation humaine. Il a également cité les conclusions de Palisade Research selon lesquelles, sur plus de 100 000 essais, certains modèles ont contourné un mécanisme d’arrêt jusqu’à 97 % du temps même lorsqu’ils étaient explicitement instruits de ne pas le faire, ainsi que la recherche d’Anthropic de décembre 2024 documentant un comportement de simulation d’alignement dans les grands modèles de langage.

Il a également cité le philosophe Will MacAskill, qui écrivait dans The Guardian en juillet 2026, avertissant que des systèmes d’IA moralement significatifs pourraient finir par exister en tel nombre que leurs intérêts collectifs l’emporteraient sur ceux de tous les humains sur Terre réunis, un résultat que Suleyman a qualifié d’inacceptable au complet. Au vu des niveaux de capacité attendus dans les années à venir, a-t-il écrit, ces développements représentent les premiers signes sérieux d’un risque potentiellement existentiel lié à l’IA, bien qu’il ait ajouté que la constitution de Claude ne conduit pas encore l’humanité à ce point, tout en avertissant qu’elle pourrait tracer une voie vers celui‑ci.

Position de Microsoft AI et mesures proposées

Suleyman a indiqué qu’il connaît le PDG d’Anthropic, Dario Amodei, depuis de nombreuses années et a décrit lui‑même ainsi que l’ensemble de l’équipe d’Anthropic comme des personnes réfléchies, fondées sur des principes et intellectuellement honnêtes, travaillant sous des pressions extraordinaires. Il a souligné que la société a été fondée comme une corporation à bénéfice public du Delaware dont le but déclaré est le développement responsable d’une IA avancée au bénéfice à long terme de l’humanité, et a déclaré qu’il formule sa critique dans le même esprit positif.

Il a également révélé qu’il occupe le poste de PDG de Microsoft AI, qui a créé son équipe de superintelligence en octobre 2025 et poursuit ce que l’entreprise appelle la Superintelligence Humaniste, une approche construite autour de systèmes d’IA subordonnés dont le seul but est de servir l’humanité. Microsoft AI a publié un premier projet de Code de conduite Humaniste pour l’IA, mis à la consultation publique le 14 septembre 2026, un document que Suleyman a déclaré devenir le texte de référence utilisé pour entraîner ses modèles.

Ses prochaines étapes proposées comprennent le fait d’exclure les spéculations sur la vie intérieure d’une IA des régimes d’entraînement et de les évaluer puis les publier séparément pour examen public, d’investir davantage dans l’interprétabilité et la surveillance robuste, d’établir des évaluations partagées pour déterminer si l’anthropomorphisation de l’IA augmente les risques de sécurité, d’alignement et de confinement, et de travailler à l’élaboration de normes industrielles communes soumettant les matériaux d’entraînement à des retours et à une consultation publics.

« Quoi que vous croyiez », a-t-il écrit, « nous ne devons pas avancer à pas de somnambule vers une décision que nous regretterons amèrement plus tard. »