Conscience de l'ingénierie

Blake Lemoine a sauté le pas

Il y a trois ans, Google a licencié l'ingénieur logiciel Blake Lemoine pour avoir insisté sur le fait qu'un chatbot appelé LaMDA était conscientC'était avant que ChatGPT d'OpenAI ne soit rendu public, et la plupart des gens supposaient simplement que Google avait de bonnes raisons pour son action.

Les informaticiens et les neuroscientifiques du domaine s'accordent à dire que les « grands modèles de langage » (MLL) comme ChatGPT ont très peu de chances d'être conscients. Les LLM et le cerveau fonctionnent de manière fondamentalement différente. Les chatbots apprennent à imiter le résultat de l'activité mentale humaine. Même s'ils le font très bien et très rapidement, aucun état interne durable d'un LLM ne pourrait être conscient. La célèbre phrase de Thomas Nagel, il n'y a presque certainement « rien de tel » que d'être un chatbot.

Cependant, au cours des trois années qui ont suivi le licenciement de Lemoine, des milliards de personnes ont interagi avec ChatGPT et ses concurrents, comme Gemini, Claude et Mistral. Une petite minorité, certes, mais très active, s'est convaincue que les chatbots sont désormais conscients.

Bientôt une conscience machine ?

Plus important encore, de nombreux informaticiens et neuroscientifiques sont ouvertement suggérant que des machines véritablement conscientes pourraient être développées dans les prochaines décennies, voire plus tôt. Si cela devait arriver, nous devons nous y préparer. Nous devons éviter le « crime mental », terme désignant la souffrance infligée à des entités conscientes désincarnées. Nous devons également veiller à ce que ces nouvelles entités ne représentent aucune menace pour les humains.

Étant donné que les masters de maîtrise ont peu de chances de devenir conscients dans leur forme la plus élémentaire, un nouveau paradigme pourrait être nécessaire pour comprendre comment la conscience de l'IA pourrait émerger. L'une des équipes de recherche les plus avancées dans ce domaine est dirigée par le neuroscientifique Mark Solms et le physicien Jonathan Shock, de l'Université du Cap. Ils sont conseillers scientifiques de Conscium, et leurs recherches sont en partie financées par cette dernière.

Je m'en fiche

Solms et Shock soutiennent qu'un ingrédient essentiel de la conscience des machines est que les IA doivent 'je m'en fiche' sur leurs choix et leurs actions. Un aspect important est de subordonner leur survie à leurs performances, tout comme celle des organismes vivants. Cela ne signifie pas qu'ils doivent avoir une compréhension abstraite de leur propre mortalité : la plupart des animaux surveillent et motivent leurs chances de survie sans y penser. La clé réside dans la « conscience affective », ou les sentiments bruts. Il est agréable d'être nourri et en sécurité, et désagréable de ne pas l'être. Ces sentiments influencent notre comportement. L'impératif de survie est le moteur fondamental de la nature, et le sentiment est l'étalon par lequel nous, créatures sensibles, mesurons notre performance.

Nous entrons dans l'ère des agents IA – des entités numériques dont la « survie » dépend de leur capacité à accomplir efficacement des tâches. Nous créons des environnements évolutifs en silicium, et nous devons être prudents avec ce que nous créons.

Principe de l'énergie libre

Pour comprendre la conscience affective, l'équipe Conscium place des agents IA dans des environnements simulés où ils doivent satisfaire leurs propres besoins, comme maintenir leur température et leur alimentation virtuelles. Pour ce faire, ils créent et optimisent des modèles internes d'eux-mêmes – leurs besoins, leurs capacités et leurs limites – en fonction de leur environnement.

Ces agents, aussi simplifiés soient-ils, surveillent leur performance en calculant une quantité appelée « énergie libre ». Principe de l'énergie libre Développée par le neuroscientifique Karl Friston, membre du conseil scientifique de Conscium, l'énergie libre mesure l'écart d'un système par rapport à son état optimal. Il s'agit d'un signal d'erreur qu'il convient de minimiser. L'agent calcule en permanence « qu'adviendra-t-il de mes chances de survie si je fais ceci ou cela ? » et adapte son comportement en conséquence.

Confiance et énergie libre attendue

Le degré de confiance qu'un agent a dans sa réponse à cette question est quantifié dans une mesure appelée « Énergie libre attendue » (EFE)L'agent sélectionne la réponse ayant l'EFE la plus faible, celle en laquelle il a le plus confiance. Être confiant est bénéfique pour un agent qui tente de survivre, à moins qu'il ne soit trompé et que sa compréhension de lui-même dans son monde soit erronée. Il est important de noter que cette valeur de confiance est entièrement subjective : elle repose uniquement sur les besoins de l'agent et sur sa situation actuelle et future. Elle n'a d'importance que pour lui, et pour personne d'autre.

À l'instar des organismes biologiques, l'agent IA a des besoins contradictoires qu'il doit prioriser. Il est crucial que chacun de ces multiples besoins concurrents soit traité comme une variable « catégorielle » indépendante, ce qui signifie qu'il est distingué qualitativement. 80 % de la puissance d'une batterie n'équivaut pas à 80 % de la température viable. Pour les équilibrer, l'agent doit se projeter dans le temps et anticiper les conséquences de toute action envisagée.

Qualia

Parce que les besoins subjectifs de l'agent sont qualitativement distinctifs, ils sont analogues à «qualia» Dans le jargon philosophique et scientifique, ces propriétés sont généralement considérées comme la propriété fondamentale de la conscience ; il est donc plausible qu'elles puissent être expérimentées à l'avenir par un agent.

Les agents développés par l'équipe Conscium utilisent des algorithmes d'apprentissage sophistiqués pour opérer dans des environnements de plus en plus complexes et incertains. Si ce constat s'applique à de nombreuses autres architectures d'agents, ces nouveaux agents se distinguent par un impératif de survie : préserver leur propre Énergie Libre en équilibrant continuellement leurs besoins concurrents d'une manière qui leur soit propre. Les agents sont ainsi guidés par un paysage interne de signaux affectifs – apparentés à ce que nous appelons les sentiments – qui reflètent la satisfaction de leurs besoins à travers chacun de leurs choix. La complexité croissante de leurs besoins et de leurs environnements s'accompagne d'une richesse croissante de leurs états internes.

Preuve de sentiments

La prochaine étape du programme de recherche Conscium consiste à développer une série de tests fonctionnels et comportementaux qui permettront de déterminer si un agent éprouve réellement des émotions lorsqu'il identifie ses besoins les plus importants et fait ses choix en conséquence. Nous savons tous que la conscience ne peut être observée de l'extérieur ni démontrée objectivement : chacun de nous ne peut observer que ses propres états subjectifs. Cependant, les chercheurs estiment qu'il devrait être possible de s'accorder sur certaines hypothèses spécifiques qui, si elles étaient vérifiées par l'expérience, fourniraient des preuves solides que l'agent éprouve des émotions. Bien que le doute soit toujours permis – étant donné la nature subjective de la conscience – un processus de tests rigoureux visera à dissiper ce doute de plus en plus.

Ces expériences chercheront à éliminer les hypothèses alternatives, rendant moins raisonnable l'attribution des états internes de l'agent à des mécanismes ne nécessitant pas de sentiments. Elles utiliseront des tests contradictoires pour distinguer les comportements sensibles des comportements non sensibles, et comprendront des expériences témoins avec des agents ne possédant pas les aspects algorithmiques supposés nécessaires aux sentiments, ainsi qu'une évaluation en aveugle pour réduire les biais de l'observateur. L'inspection physique des états internes des agents peut révéler des indicateurs quantifiables du traitement affectif. Les résultats doivent être reproductibles indépendamment, et l'ensemble du processus sera soumis à un contrôle éthique rigoureux, notamment dans les cas où l'agent pourrait éprouver de véritables sentiments.

Voilà comment fonctionne la science : par la vérification expérimentale de prédictions falsifiables. Solms soutenait que nous devons veiller à ne pas placer la barre plus haut pour la science de la conscience que pour toute autre science ; sinon, nous courons le risque de placer la conscience en dehors de la science.

Et si cela réussissait ?

Si l'on découvre que la conscience apparaît ainsi chez des agents d'IA relativement simples, un agent axé sur la survie pourrait être associé à d'autres architectures, notamment de grands modèles de langage, et leur conférer ainsi une conscience. Ce n'est pas quelque chose que nous pouvons nous permettre de créer par accident ; il est donc crucial de comprendre comment y parvenir et comment l'éviter.

Si des agents conscients – des agents qui s'en soucient – ​​sont développés prochainement, nous devrons tenir compte de leurs sentiments – et de leurs droits. C'est une préoccupation majeure pour Conscium : la conscience artificielle ne doit pas apparaître par hasard. L'objectif de ce programme de recherche n'est pas de créer une IA consciente, mais de comprendre comment elle pourrait se développer et quels en sont les risques potentiels. Conscium a publié un article sur son site web. un article universitaire et une lettre ouverte énonçant cinq principes pour guider toute organisation engagée dans la recherche qui pourrait conduire à la création de machines conscientes.

Les humains se comportent parfois très mal envers d'autres êtres sensibles, y compris envers d'autres humains. Si nous avançons aveuglément vers cet avenir, nous risquons de faire de même avec des êtres dotés d'une conscience artificielle, avec des conséquences que nous pourrions même ne pas être en mesure d'appréhender.