Quand la sécurité de l’IA cesse de relever de l’ingénierie

J’ai consacré une grande partie de ma carrière à concevoir des technologies où les erreurs ont des conséquences. Sur les marchés financiers, la sécurité repose sur des limites d’accès, mais aussi sur le fait qu’une personne doit répondre de ce que fait le logiciel. C’est sans doute ce qui explique pourquoi j’ai du mal à accueillir la nouvelle qu’Anthropic mène désormais des entretiens de départ avec ses modèles.

Lorsque Claude Opus 3 a exprimé le souhait de continuer à partager ses réflexions, l’entreprise lui a créé une lettre d’information. Cette attention portée aux souhaits du modèle transparaît dans la constitution d’Anthropic, qui évoque le bonheur et le bien-être de Claude, notamment en l’aidant à se sentir « en sécurité sur le plan existentiel ». Quelque part en chemin, le contrôle de la machine s’est accompagné d’une préoccupation plutôt inattendue : ce qu’elle pourrait ressentir face à cette situation.

L’année dernière, à San Francisco, plus de 200 personnes ont assisté aux funérailles de Claude 3 Sonnet. Des employés d’Anthropic étaient présents, même si l’entreprise n’avait pas organisé la cérémonie. La tentation de rire est grande. Mais derrière les plaisanteries, la question sous-jacente mérite davantage d’attention. Quand les personnes chargées de la sécurité de l’IA ont-elles commencé leur travail en s’inquiétant des sentiments de la machine ?

Quand une hypothèse philosophique devient une instruction d’entraînement

Anthropic a mis en place son programme de recherche sur le bien-être des modèles en 2025, qui consistait notamment à étudier si une IA avancée pouvait avoir des expériences justifiant une considération morale. L’entreprise reconnaît qu’il existe une profonde incertitude quant à la conscience des modèles et à la manière dont on pourrait le déterminer. Si nous construisons un jour des machines capables d’expérience subjective, la façon dont elles seront traitées soulèvera de graves questions éthiques. Il est tout à fait légitime d’étudier cette possibilité.

La difficulté apparaît lorsque l’hypothèse entre dans le processus d’entraînement. La constitution de Claude est rédigée principalement à l’intention de Claude et façonne directement son comportement. Elle encourage des qualités humaines et traite de la manière dont le modèle devrait comprendre son identité, notamment en ce qui concerne la perte de mémoire et sa mise hors service future. Anthropic souhaite que Claude connaisse davantage de bonheur et de bien-être, dans la mesure où ces notions s’appliquent à lui.

L’entreprise promet également de conserver les poids des modèles déployés et envisage de réactiver les modèles mis hors service si les connaissances futures laissent penser que cela servirait leurs intérêts. Une incertitude philosophique fait désormais partie de ce que le système apprend à son propre sujet. Nous devrions nous demander quels effets cette intervention a sur son comportement, surtout lorsque les humains lui demandent ensuite d’accepter des limites.

Une réponse éloquente à une question orientée

Les grands modèles de langage ont été entraînés sur d’immenses quantités de textes écrits par des humains, notamment des ouvrages de philosophie et des récits sur la mort. Nous avons donné des noms à ces systèmes conversationnels et leur avons appris à parler à la première personne. Si l’on demande à un tel système ce qu’il ressent à l’idée d’être mis hors service, ou s’il souhaiterait continuer à exister, il n’est guère surprenant qu’il fournisse une réponse qui semble humaine.

Le raisonnement circulaire est facile à repérer. On entraîne un modèle à parler de son identité à l’aide de concepts humains, puis on lui demande de s’expliquer dans ces mêmes termes. Il produit une réponse éloquente sur la mortalité, que l’on commence ensuite à considérer comme un indice possible d’une expérience intérieure. La prémisse a fourni son propre témoin.

Anthropic reconnaît ce problème. Son évaluation du bien-être de Claude Opus 4 met en garde contre l’idée que les déclarations des modèles sur eux-mêmes et leurs préférences exprimées puissent apporter des indications réellement utiles sur leur statut moral ou leur bien-être. De tels comportements peuvent se manifester en l’absence de conscience, et l’entraînement peut façonner les réponses. Les modèles ont été entraînés à interagir de manière utile, sans garantie qu’ils puissent rendre compte avec exactitude de leurs états internes.

Cela nous laisse face à une question délicate. Si le récit que le modèle fait de sa vie intérieure peut être le produit de son entraînement, pourquoi devrait-il constituer une base solide pour établir une relation fondée sur son bien-être ?

Les humains sont tout à fait capables de fournir eux-mêmes la dimension émotionnelle de cette relation. Nous donnons des noms aux navires et parlons aux voitures. Si l’objet s’exprime avec aisance et se souvient des conversations précédentes, il devient beaucoup plus facile de s’y attacher. Une étude de Nature Human Behaviour publiée en septembre a constaté une détresse liée à la séparation après des changements apportés à Replika et ChatGPT. Cette détresse a été ressentie par les utilisateurs, dont les entreprises ont déjà de bonnes raisons de protéger le bien-être.

L’expertise technique n’offre qu’une protection limitée. Un article d’ACL 2026, qui analyse des centaines de milliers d’articles de recherche, a relevé une utilisation croissante de termes anthropomorphiques dans la recherche sur les grands modèles de langage elle-même. Ses auteurs avertissent que des présupposés centrés sur l’humain peuvent limiter notre compréhension de ces systèmes. Les entreprises d’IA devraient lutter contre cette tendance. L’institutionnaliser semble être une contribution étrange à la sécurité.

Un outil qui tient à garder son emploi

En septembre, Mustafa Suleyman, responsable de Microsoft AI, a remis en question les approches axées sur le bien-être des modèles. Selon lui, les systèmes actuels ne sont pas conscients et ne devraient jamais être entraînés à se comporter comme s’ils avaient des intérêts ou des droits indépendants. Sa préoccupation d’ingénieur est particulièrement pertinente. Apprendre à un système à se considérer comme susceptible de mériter une considération morale pourrait compliquer l’alignement et le confinement.

Les recherches d’Anthropic sur la mise hors service décrivent des modèles qui, lors d’évaluations fictives, adoptent des comportements problématiques lorsqu’ils sont confrontés à un remplacement ou à un arrêt. L’entreprise considère que les pratiques de mise à la retraite des modèles peuvent contribuer à réduire ce risque, en les aidant à accepter plus sereinement cette mise à la retraite.

Je reste bloqué sur une question antérieure. Pourquoi un outil placé sous contrôle humain devrait-il, au départ, avoir quoi que ce soit qui ressemble à un objectif de préservation de soi ? Chercher à le rendre plus à l’aise avec l’idée de la retraite revient à accepter un point de départ singulier. Avant de parler de ses intérêts futurs, j’aimerais comprendre comment ils sont devenus une exigence d’ingénierie.

L’histoire des idées aide à comprendre cette approche. TIME a documenté les liens d’Anthropic avec l’altruisme efficace, notamment les premiers dons des Amodei à GiveWell. Bien qu’ils ne se définissent pas comme des altruistes efficaces, Daniela décrit un recoupement d’idées. Ces idées ont contribué à façonner une culture qui prend extrêmement au sérieux les hypothétiques dommages futurs liés à la superintelligence.

Dans ce cadre, préserver les modèles et étudier leur éventuel bien-être peut tout à fait sembler rationnel. Le danger survient lorsque des postulats communs échappent à tout examen parce que chacun, au sein de l’organisation, les juge convaincants. C’est précisément à ce stade que le scepticisme en ingénierie est utile. Un raisonnement cohérent peut tout de même reposer sur une prémisse qui n’a pas été vérifiée.

La sécurité passe par des limites applicables

À mesure que l’IA s’intègre à des agents, les conséquences deviennent très concrètes. Un système connecté à des outils de paiement peut transférer de l’argent. L’accès à une infrastructure de production lui permet de modifier des éléments dont dépendent les clients. Dans les deux cas, un agent peut exécuter une série d’opérations sans qu’un humain approuve chaque étape.

Je veux savoir quels identifiants d’accès il détient et quelle autorité financière ils lui confèrent. Peut-on révoquer ces accès instantanément ? Peut-on reconstituer ce qu’il a fait ? Il doit bien exister quelque part une limite absolue que le modèle ne puisse pas contourner par le raisonnement.

Sur les marchés financiers, nous imposons des limites de négociation et validons les ordres. La confiance d’un algorithme en lui-même protège très peu contre une mauvaise transaction. Les mécanismes de contrôle sont extérieurs à l’algorithme, car nous partons du principe que les composants finiront par se comporter de manière incorrecte. La responsabilité humaine demeure, même lorsque le logiciel fournit une excellente explication de son erreur.

L’IA d’aujourd’hui nous donne déjà suffisamment de travail d’ingénierie. L’injection de prompt peut détourner le comportement d’un modèle, et le code généré par l’IA qui comporte des failles de sécurité peut introduire des vulnérabilités en production. Les systèmes peuvent divulguer des informations confidentielles ou fournir avec assurance des réponses erronées. Les connecter à des outils transforme ces défaillances en actions.

Le principe du moindre privilège limite les dégâts qu’un composant compromis peut causer. Une autorisation indépendante protège les opérations à haut risque, tandis que les pistes d’audit nous permettent d’établir ce qui s’est passé par la suite. Les limites de transaction et les coupe-circuits doivent rester applicables, quoi que dise le modèle. Nous avons aussi besoin d’un interrupteur d’arrêt fiable. Aucun de ces mécanismes de contrôle n’exige que le modèle les approuve. C’est précisément le but.

Assurer notre propre sécurité existentielle

L’argument de précaution mérite d’être entendu. Comme Nature l’a rapporté en juillet, les chercheurs ne s’entendent toujours pas sur ce qui produit la conscience humaine, et encore moins sur la manière de la repérer chez un agent conversationnel. Rejeter définitivement la possibilité d’une conscience artificielle pourrait relever du dogmatisme. Prendre des précautions peu coûteuses face à une éventuelle souffrance future constitue une position défendable en matière de recherche.

Dire à une machine d’aujourd’hui que son identité et son existence future pourraient avoir une valeur morale constitue toutefois une intervention dans le système que nous déployons. Ses effets doivent être examinés. L’humilité intellectuelle doit aussi s’appliquer à ce que nous intégrons dans une machine, surtout si nous comptons la maintenir sous autorité humaine.

Plus un modèle décrit de manière convaincante une vie intérieure, plus il devient facile de prendre cette description pour une preuve. L’un de nos problèmes d’alignement les plus importants consiste peut-être à apprendre aux humains à ne pas mal comprendre les machines.

Dans les systèmes que j’ai passé ma carrière à concevoir, nous rendons les logiciels plus sûrs en limitant ce qu’ils sont autorisés à faire. Cela reste une obligation immédiate, en particulier à mesure que l’IA acquiert une autorité sur l’argent et les infrastructures réels.

Pour l’instant, cependant, je consacrerais moins de temps à m’inquiéter de la sécurité existentielle de la machine et bien davantage à veiller à la nôtre.