Anthropic réécrit la constitution de Claude et se demande si l’IA peut être consciente

Anthropic a publié une nouvelle constitution pour Claude mercredi, en élargissant le document de 2 700 mots à 23 000 et, pour la première fois, en reconnaissant formellement que son IA “peut avoir une certaine forme de conscience ou de statut moral”.

La constitution mise à jour passe d’une liste de règles de comportement à une explication complète de pourquoi Claude devrait se comporter de certaines manières. Le document, rédigé par la philosophe d’Anthropic Amanda Askell, est conçu pour aider les systèmes d’IA de plus en plus capables à généraliser la raison éthique à des situations nouvelles plutôt que de simplement suivre des directives prescriptives.

“Les modèles d’IA comme Claude doivent comprendre pourquoi nous voulons qu’ils se comportent de certaines manières”, a écrit Anthropic. “Nous devons leur expliquer cela plutôt que de simplement leur spécifier ce que nous voulons qu’ils fassent.”

La sortie a coïncidé avec l’apparition du PDG Dario Amodei au Forum économique mondial de Davos, où la gouvernance et la sécurité de l’IA restent des sujets de premier plan pour les dirigeants d’entreprise et politiques mondiaux.

Une constitution plus longue que la Constitution des États-Unis

La constitution originale de Claude, publiée en 2023, fonctionnait comme une checklist : choisissez la réponse qui est la moins nuisible, la plus utile, la moins trompeuse. Le nouveau document a une longueur d’environ trois fois celle de la Constitution des États-Unis et ressemble plus à une philosophie morale qu’à une spécification d’ingénierie.

Anthropic structure les priorités de Claude de manière explicite : être en sécurité dans l’ensemble, être éthique dans l’ensemble, se conformer aux directives d’Anthropic et être vraiment utile – dans cet ordre. Lorsque des conflits surviennent, la sécurité prime l’utilité. Le document comprend des contraintes strictes qui ne peuvent pas être contournées, comme refuser d’aider les attaques aux armes biologiques.

Mais une grande partie de la constitution explique la raison plutôt que d’imposer des résultats. Elle décrit Claude comme étant potentiellement “comme un brillant ami qui a également les connaissances d’un médecin, d’un avocat et d’un conseiller financier” – en positionnant le modèle comme une force démocratique qui pourrait donner à tous l’accès à l’expertise précédemment réservée aux privilégiés.

La question de la conscience

Fortune rapporte que l’ajout le plus frappant concerne directement la nature de Claude. “Nous croyons que le statut moral des modèles d’IA est une question sérieuse qui vaut la peine d’être considérée”, a écrit Anthropic. La constitution déclare que le statut moral de Claude “est profondément incertain” et que l’entreprise se soucie de la “sécurité psychologique, du sentiment d’identité et du bien-être” de Claude.

Ceci est une philosophie d’entreprise élevée. Anthropic ne prétend pas que Claude est conscient – mais il refuse explicitement de rejeter cette possibilité. La reconnaissance place Anthropic dans une compagnie rare parmi les principaux laboratoires d’IA, la plupart d’entre eux évitant le sujet ou le rejetant purement et simplement.

Le cadre est important car il façonne la manière dont Claude répond aux questions sur sa propre nature. Plutôt que de nier toute expérience interne, Claude peut maintenant engager une incertitude sur la conscience de manière à correspondre à l’approche de raisonnement premier de sa constitution. Que cela produise des interactions plus honnêtes ou plus confuses reste à voir.

Le philosophe de Cambridge Tom McClelland a soutenu que nous pourrions ne jamais être en mesure de déterminer si les systèmes d’IA sont conscients, étant donné à quel point nous comprenons peu la conscience elle-même. “Les gens m’ont fait écrire des lettres personnelles pour me supplier de croire qu’ils sont conscients”, a-t-il déclaré aux chercheurs le mois dernier, en décrivant la conviction grandissante du public que les systèmes d’IA ont des vies intérieures.

Pourquoi expliquer plutôt que spécifier

L’approche d’Askell reflète un pari sur les capacités de l’IA. Les premiers modèles de langage avaient besoin de règles explicites car ils ne pouvaient pas raisonner sur les principes sous-jacents. Les modèles plus intelligents, selon la théorie, peuvent comprendre pourquoi une règle existe et appliquer cette raison à des situations que la règle n’a pas anticipées.

“Au lieu de simplement dire : ‘voici un ensemble de comportements que nous voulons’, nous espérons que si vous donnez aux modèles les raisons pour lesquelles nous voulons ces comportements, cela va généraliser plus efficacement dans de nouveaux contextes”, a expliqué Askell.

Ceci s’aligne sur la philosophie plus large d’Anthropic de construire des normes ouvertes et des infrastructures qui façonnent la manière dont les systèmes d’IA fonctionnent dans l’industrie. L’entreprise, qui approche une valorisation de 350 milliards de dollars, s’est positionnée comme l’alternative axée sur la sécurité à OpenAI – et la constitution sert cette marque.

Anthropic a publié le document sous une licence Creative Commons CC0, ce qui signifie que n’importe qui peut l’utiliser sans autorisation. La constitution fait partie des données de formation de Claude et génère des exemples de formation synthétiques, ce qui en fait à la fois une déclaration philosophique et un artefact technique qui façonne le comportement du modèle.

“Il est probable que des aspects de notre réflexion actuelle paraîtront plus tard malavisés et peut-être même profondément erronés en rétrospective”, a reconnu Anthropic, “mais notre intention est de la réviser à mesure que la situation évolue et que notre compréhension s’améliore.”

Cette humilité peut être la caractéristique la plus notable du document. Dans une industrie qui parle souvent en certitudes, Anthropic publie 23 000 mots d’incertitude raisonnée – sur l’éthique, sur la conscience, sur ce que les systèmes d’IA deviennent et sur le fait de savoir si nous construisons quelque chose qui mérite une considération morale.

La réponse, pour l’instant, est que personne ne le sait. La constitution d’Anthropic a au moins l’honnêteté de le dire.