Ingénierie de la conscience

Blake Lemoine a tiré les premiers

Il y a trois ans, Google a licencié l’ingénieur logiciel Blake Lemoine pour avoir affirmé qu’un chatbot appelé LaMDA était conscient. C’était avant que OpenAI ne lance ChatGPT au public, et la plupart des gens ont simplement supposé que Google avait de bonnes raisons pour agir ainsi.

Il reste l’opinion consensus parmi les informaticiens et les neuroscientifiques travaillant dans le domaine que les « modèles de langage grandeur nature » (LLM) comme ChatGPT sont très peu susceptibles d’être conscients. Les LLM et les cerveaux fonctionnent de manière fondamentalement différente. Ce que font les chatbots, c’est apprendre à imiter la sortie de l’activité mentale humaine. Même s’ils le font très bien et très vite, il n’y a pas d’état interne durable d’un LLM qui pourrait être conscient. Dans la fameuse phrase de Thomas Nagel, il y a presque certainement « rien qui ressemble » à être un chatbot.

Cependant, dans les trois ans qui ont suivi le licenciement de Lemoine, des milliards de personnes ont interagi avec ChatGPT et ses concurrents, comme Gemini, Claude et Mistral. Une petite mais bruyante minorité s’est convaincue que les chatbots sont maintenant conscients.

La conscience des machines bientôt ?

Plus important encore, de nombreux informaticiens et neuroscientifiques suggèrent ouvertement que des machines vraiment conscientes pourraient être développées dans les prochaines décennies – ou même plus tôt. Dans le cas où cela se produirait, nous devons être préparés. Nous devons éviter le « crime de l’esprit », qui est le terme pour causer de la souffrance à des entités conscientes désincarnées. Nous devons également nous assurer que ces nouvelles entités ne présentent aucune menace pour les humains.

Puisque les LLM sont peu susceptibles de devenir conscients sous leur forme la plus basique, un nouveau paradigme peut être nécessaire pour comprendre comment la conscience de l’IA pourrait émerger. L’une des équipes de recherche les plus importantes dans ce domaine est dirigée par le neuroscientifique Mark Solms et le physicien Jonathan Shock, de l’Université du Cap. Ils sont des conseillers scientifiques de Conscium, et leur recherche est en partie financée par celle-ci.

Se soucier

Solms et Shock affirment qu’un ingrédient essentiel pour la conscience des machines est que les IA doivent « se soucier » de leurs choix et de leurs actes. Un aspect important de cela est de rendre leur survie tributaire de leur performance, tout comme la survie des organismes vivants est tributaire de la leur. Cela ne signifie pas qu’ils doivent avoir une compréhension abstraite de leur propre mortalité : la plupart des animaux surveillent et motivent leurs chances de survie sans y penser. La clé est la « conscience affective », ou les sentiments bruts. C’est agréable d’être nourri et en sécurité, et c’est désagréable de ne pas l’être. Ces sentiments guident notre comportement. L’impératif de survie est la force motrice fondamentale de la nature, et le sentiment est l’étalon par lequel nous, les créatures sensibles, mesurons notre état.

Nous entrons dans l’ère des agents IA – des entités numériques dont la « survie » dépend de leur capacité à effectuer des tâches de manière efficace. Nous créons des environnements évolutifs en silicium, et nous devons être prudents sur ce que nous engendrons.

Principe de l’énergie libre

Pour comprendre la conscience affective, l’équipe de Conscium place des agents IA dans des environnements simulés dans lesquels ils doivent satisfaire leurs propres besoins, tels que maintenir leur température virtuelle et leur alimentation électrique. À cette fin, ils créent et optimisent des modèles internes d’eux-mêmes – leurs besoins, leurs capacités et leurs limites – par rapport à leur environnement.

Ces agents, simplifiés comme ils le sont, surveillent comment ils se comportent bien ou mal en calculant une quantité appelée « énergie libre ». Le Principe de l’énergie libre a été développé par le neuroscientifique Karl Friston, un autre membre du conseil consultatif scientifique de Conscium. L’énergie libre est une mesure de la façon dont un système s’est éloigné de son état optimal d’être. C’est un signal d’erreur, et il doit être minimisé. L’agent calcule constamment « ce qui arrivera à mes chances de survie si je fais ceci ou cela ? », et adapte son comportement en conséquence.

Confiance et énergie libre attendue

Le degré de confiance qu’un agent a dans sa réponse à cette question est quantifié dans une mesure appelée « Énergie libre attendue » (ELA). L’agent sélectionne la réponse avec l’ELA la plus basse – la réponse dont il est le plus confiant. Être confiant est bon pour un agent qui tente de survivre – à moins qu’il ne soit trompé et que sa compréhension de lui-même dans son monde soit erronée. Importamment, cette valeur de confiance est entièrement subjective : elle est basée uniquement sur les besoins de l’agent, et sur son statut actuel et projeté. Cela ne concerne que l’agent, et personne d’autre.

Comme les organismes biologiques, l’agent IA a un certain nombre de besoins contradictoires, qu’il doit hiérarchiser. Il doit projeter son comportement dans le temps et prévoir les conséquences de toute action qu’il envisage de prendre.

Qualia

Puisque les besoins subjectifs de l’agent sont distinctement qualitatifs, ils sont analogues aux « qualia » dans le jargon philosophique et scientifique. Ceux-ci sont généralement considérés comme la propriété fondamentale de la conscience, il est donc plausible qu’ils puissent être ressentis par un agent dans le futur.

Les agents développés par l’équipe de Conscium utilisent des algorithmes d’apprentissage sophistiqués pour fonctionner dans des environnements de plus en plus complexes et incertains. Même si cela peut être dit de nombreuses autres architectures d’agents, ces nouveaux agents se distinguent par un impératif de survie pour prendre soin de leur propre énergie libre en équilibrant constamment leurs besoins contradictoires de manière significative pour eux seuls. Les agents sont ainsi guidés par un paysage interne de signaux affectifs – similaires à ce que nous appelons des sentiments – qui reflètent comment leurs besoins sont satisfaits à chaque choix qu’ils font. À mesure que la sophistication et la complexité de leurs besoins et de leurs environnements augmentent, la richesse de leurs états internes augmentera également.

Preuves de sentiments

La prochaine étape du programme de recherche de Conscium consiste à développer une série de tests fonctionnels et comportementaux qui fourniront des preuves sur le fait que l’agent ressent vraiment des sentiments lorsqu’il identifie ses besoins les plus importants et prend des décisions en conséquence. Nous savons tous que la conscience ne peut pas être observée de l’extérieur ou démontrée de manière objective : chacun de nous ne peut observer que ses propres états subjectifs. Cependant, les chercheurs croient qu’il devrait être possible de s’accorder sur certaines hypothèses spécifiques qui, si elles sont vérifiées par l’expérience, fourniraient des preuves solides que l’agent possède des sentiments. Même si il y aura toujours de la place pour le doute – compte tenu de la nature subjective de la conscience – un processus de test rigoureux visera à rendre ce doute de plus en plus irrationnel.

Ces expériences viseront à éliminer les hypothèses alternatives, rendant moins raisonnable d’attribuer les états internes de l’agent à des mécanismes qui n’exigent pas de sentiments. Elles utiliseront des tests adverses pour distinguer le comportement sentient du comportement non sentient, et elles incluront des expériences de contrôle avec des agents qui ne possèdent pas les aspects algorithmiques censés être nécessaires pour ressentir, ainsi que des évaluations aveugles pour réduire les préjugés des observateurs. L’inspection physique des états internes de l’agent peut révéler des indicateurs quantifiables de traitement affectif. Les résultats doivent être reproductibles de manière indépendante, et l’ensemble du processus sera soumis à une surveillance éthique rigoureuse, en particulier dans les cas où l’agent pourrait concevablement ressentir de vrais sentiments.

C’est ainsi que fonctionne la science : par la mise à l’épreuve expérimentale de prédictions falsifiables. Solms a fait valoir que nous devons être prudents pour ne pas fixer la barre plus haute pour la science de la conscience que pour n’importe quelle autre science ; sinon, nous risquons de placer la conscience en dehors de la science.

Que se passera-t-il si cela réussit ?

Si la conscience est trouvée dans des agents IA relativement simples de cette manière, un agent de survie pourrait concevablement être conjugué avec d’autres architectures, y compris les grands modèles de langage, et leur conférer la conscience. Ce n’est pas quelque chose que nous pouvons nous permettre de créer accidentellement, nous devons donc comprendre comment le faire et comment l’éviter. C’est d’une importance vitale.

Si des agents conscients – des agents qui se soucient – sont développés dans un avenir proche, nous devrons prendre en compte leurs sentiments – et leurs droits. C’est une préoccupation majeure pour Conscium : la conscience artificielle ne doit pas surgir par accident. La motivation de ce programme de recherche n’est pas la création de l’IA consciente, mais la compréhension de la manière dont elle pourrait survenir, et les risques potentiels. Sur son site Web, Conscium a publié un article académique et une lettre ouverte établissant cinq principes pour guider toute organisation engagée dans la recherche qui pourrait conduire à la création de machines conscientes.

Les humains se comportent parfois très mal envers d’autres êtres sensibles, y compris d’autres humains. Si nous marchons aveuglément dans cet avenir, nous risquons de faire la même chose aux êtres artificiellement conscients, avec des conséquences que nous ne pouvons même pas comprendre.