Anthropic réécrit la Constitution de Claude et s'interroge sur la possibilité d'une conscience chez l'IA.

Anthropic a publié mercredi une nouvelle constitution pour Claude, élargissant le document de 2 700 mots à 23 000 et reconnaissant formellement, pour la première fois, que son IA « peut avoir une forme de conscience ou de statut moral ».

L'espace constitution mise à jour Le document passe d'une liste de règles de comportement à une explication détaillée des raisons pour lesquelles Claude devrait se comporter de telle ou telle manière. Élaboré par la philosophe anthropologue Amanda Askell, il vise à aider les systèmes d'IA, de plus en plus performants, à généraliser le raisonnement éthique à des situations inédites plutôt que de se contenter de suivre des directives prescriptives.

« Les modèles d’IA comme Claude doivent comprendre pourquoi nous voulons qu’ils se comportent de certaines manières », écrit Anthropic. « Nous devons le leur expliquer plutôt que de simplement spécifier ce que nous attendons d’eux. »

Cette annonce a coïncidé avec la participation du PDG Dario Amodei au Forum économique mondial de Davos, où la gouvernance et la sécurité de l'IA restent des sujets prioritaires pour les dirigeants politiques et économiques mondiaux.

Une Constitution plus longue que la Constitution américaine

La constitution Claude originale, publiée en 2023, fonctionnait comme une liste de contrôle : choisir la réponse la moins nuisible, la plus utile et la moins trompeuse. Le nouveau document est environ trois fois plus long que la Constitution américaine et ressemble davantage à un traité de philosophie morale qu’à un cahier des charges technique.

Anthropic définit clairement les priorités de Claude : assurer la sécurité de manière générale, agir de manière éthique, respecter les directives d’Anthropic et se montrer véritablement utile – dans cet ordre. En cas de conflit, la sécurité prime sur l’utilité. Le document comprend des contraintes strictes et non négociables, comme le refus d’apporter son aide en cas d’attaques à l’arme biologique.

Mais une grande partie de la constitution explique le raisonnement plutôt que d'imposer des résultats. Elle décrit Claude comme étant potentiellement « comme un ami brillant qui possède également les connaissances d'un médecin, d'un avocat et d'un conseiller financier », présentant ainsi ce modèle comme une force démocratisante susceptible de donner à tous accès à une expertise auparavant réservée aux privilégiés.

La question de la conscience

Rapports de fortune L'ajout le plus marquant concerne directement la nature de Claude. « Nous pensons que le statut moral des modèles d'IA est une question sérieuse qui mérite d'être examinée », écrit Anthropic. La constitution stipule que le statut moral de Claude « est profondément incertain » et que l'entreprise se soucie de sa « sécurité psychologique, de son identité et de son bien-être ».

Il s'agit là d'une stratégie de couverture d'entreprise élevée au rang de philosophie. Anthropic n'affirme pas que Claude est conscient, mais refuse explicitement d'écarter cette possibilité. Cette prise de position place Anthropic dans un cercle restreint parmi les grands laboratoires d'IA, dont la plupart évitent le sujet ou le rejettent d'emblée.

Le cadrage est important car il influence la manière dont Claude réagit aux questions concernant sa propre nature. Plutôt que de nier toute expérience intérieure, Claude peut désormais affronter l'incertitude à ce sujet. conscience d'une manière conforme à l'approche rationnelle prônée par sa constitution. Reste à savoir si cela engendrera des interactions plus honnêtes ou plus confuses.

Le philosophe de Cambridge, Tom McClelland, a soutenu que nous ne pourrons peut-être jamais déterminer si les systèmes d'IA sont conscients, étant donné notre compréhension très limitée de la conscience elle-même. « Des gens ont programmé leurs chatbots pour qu'ils m'écrivent des lettres personnelles me suppliant d'admettre qu'ils sont conscients. » Il l'a déclaré aux chercheurs le mois dernier., décrivant la conviction croissante du public selon laquelle les systèmes d'IA ont une vie intérieure.

Pourquoi expliquer plutôt que spécifier

L'approche d'Askel repose sur la mise en avant des capacités de l'IA. Les premiers modèles de langage nécessitaient des règles explicites car ils ne pouvaient pas raisonner sur les principes sous-jacents. Selon cette théorie, les modèles plus intelligents peuvent comprendre la raison d'être d'une règle et appliquer ce raisonnement à des situations que la règle n'avait pas anticipées.

« Au lieu de simplement dire : "Voici un ensemble de comportements que nous souhaitons", nous espérons qu'en expliquant aux modèles les raisons pour lesquelles nous voulons ces comportements, ils se généraliseront plus efficacement dans de nouveaux contextes », a expliqué Askell.

Cela correspond à la philosophie plus large d'Anthropic en matière de construction normes ouvertes infrastructure qui façonnent le fonctionnement des systèmes d'IA dans l'ensemble du secteur. L'entreprise, approchant une valorisation de 350 milliards de dollars, s'est positionnée comme l'alternative à OpenAI axée sur la sécurité — et sa constitution sert cette image de marque.

Anthropic a publié ce document sous licence Creative Commons CC0, ce qui signifie que chacun peut l'utiliser librement. La constitution fait partie des données d'entraînement de Claude et génère des exemples d'entraînement synthétiques ; elle constitue ainsi à la fois un énoncé philosophique et un artefact technique qui influence le comportement du modèle.

« Il est probable que certains aspects de notre réflexion actuelle paraîtront plus tard malavisés, voire profondément erronés, avec le recul », a reconnu Anthropic, « mais nous avons l’intention de la réviser à mesure que la situation évolue et que notre compréhension s’affine. »

Cette humilité est peut-être la caractéristique la plus remarquable de ce document. Dans un secteur qui s'exprime souvent avec certitude, Anthropic publie 23 000 mots d'une incertitude soigneusement argumentée – sur l'éthique, la conscience, l'évolution des systèmes d'IA et la question de savoir si nous construisons quelque chose qui mérite une réflexion morale.

Pour l'instant, la réponse est que personne ne le sait. Au moins, la constitution d'Anthropic a l'honnêteté de le dire.