L’IA devient plus intelligente ; la cohérence devient plus difficile à préserver

J’ai consacré toute ma carrière à essayer de comprendre l’intelligence. J’ai étudié les neurosciences parce que l’IA m’intéressait et que je pensais qu’apprendre d’abord comment fonctionne le cerveau était une bonne façon de commencer. L’intelligence d’abord, avant l’intelligence « artificielle ». Cette formation m’a laissé une habitude. Lorsqu’une nouvelle capacité ou technologie apparaît, ma première question est d’ordre pratique : qu’est-ce que cela peut réellement faire, et pour quels types de problèmes concrets ?

En tant que spécialiste de l’IA, je m’enthousiasme rarement pour les gros titres sur l’IA. Je vais au-delà du bruit médiatique pour comprendre non seulement les avancées, mais aussi les limites des nouvelles capacités.

Des outils ordinaires à une fiabilité à forts enjeux

En 2020, alors que les discussions sur la sécurité de l’IA étaient en pleine effervescence et alimentées par l’emballement médiatique, je donnais un conseil simple. Considérez l’IA comme un outil — un outil puissant, mais qui reste un outil. Tenez-vous-en aux cas d’usage les plus ordinaires. Travaillez à l’échelle de la tâche, là où la technologie était suffisamment fiable pour être utile. Dans mon scénario optimiste, l’IA se résumait à des outils ordinaires, mais utiles.

Quand la vague agentique a commencé à prendre de l’ampleur quelques années plus tard, j’ai conservé le même point de vue et je n’ai pas été convaincu. Un système agentique n’est pas plus solide que les tâches sur lesquelles il repose, et je n’avais pas encore constaté la fiabilité à l’échelle des tâches nécessaire pour que ces systèmes soient efficaces.

Pourtant, l’emballement prenait de l’ampleur. Lorsque j’ai participé à RSA au début de l’année dernière, l’écart entre les discours et la réalité restait difficile à ignorer. Il n’existait même pas de compréhension commune de ce que signifiait « agentique » ; chacun en avait sa propre définition et sa propre interprétation. Et je m’inquiétais d’un problème structurel. Prenez dix agents, chacun fiable à environ 95 %. Enchaînez-les de sorte que la sortie de l’un devienne l’entrée du suivant. Au bout de cette chaîne, la précision tombe à environ 60 %. La fiabilité ne résiste pas à l’empilement. À cette époque, je commençais à réfléchir aux systèmes composés d’agents, mais je me demandais encore s’ils pouvaient être suffisamment fiables pour fonctionner et faire une réelle différence.

Puis les progrès rapides des agents de programmation m’ont fait changer d’avis.

Quelques mois après mon article sur le sujet, le rythme incroyable des progrès m’a fait comprendre une chose : ce n’était qu’une question de temps avant que plusieurs tâches concrètes deviennent fiables. De meilleurs modèles, entourés de dispositifs d’ingénierie mieux conçus, allaient combler l’écart qui m’inquiétait. Le plafond qui me préoccupait allait finir par céder.

C’est alors que le véritable problème s’est dessiné, et ce n’était pas celui que je surveillais. Dès lors qu’on peut faire confiance à chaque agent pris individuellement, on ne s’arrête pas au déploiement du premier. On en déploie beaucoup. Des flottes entières, dans toutes les fonctions, chaque agent étant capable et accomplissant sa tâche. Une nouvelle question s’est alors posée, sans aucun rapport avec la fiabilité : si chaque agent de la flotte fait ce pour quoi il a été conçu, la flotte dans son ensemble contribue-t-elle bien à ce que l’organisation cherchait à accomplir ?

Le besoin d’une proprioception organisationnelle

Un corps doté de membres capables ne peut pas se mouvoir correctement sans proprioception, cette perception intérieure constante de la position de chacune de ses parties et de ce qu’elles font. Le cervelet ne se contente pas de réagir à ces informations en retour : il fait des prédictions. Lorsque le cerveau commande un mouvement, il se représente les sensations que celui-ci devrait produire, puis confronte cette attente à ce qui se passe réellement. L’écart entre les deux fournit le signal qui permet de corriger la suite. Un mouvement maîtrisé repose sur une boucle qui consiste à prédire le résultat, puis à corriger l’écart.

Une organisation qui fait fonctionner des flottes d’agents a besoin de la même perception d’elle-même. Elle doit savoir en permanence où en sont ses systèmes et dans quelle mesure ils se sont écartés de l’état prévu. Sans cette conscience interne, des éléments pourtant capables ne peuvent pas produire une action coordonnée. Il ne s’agit pas d’un mécanisme de détection que l’on ajoute après coup à un corps pour le rendre plus sûr. Il lui est indispensable pour pouvoir bouger.

Un cas bien étudié est celui d’un homme nommé Ian Waterman, qui a perdu cette perception dans la majeure partie de son corps. Il a appris à bouger de nouveau, mais uniquement en s’observant, en guidant chaque pas et chaque geste du regard. Cela fonctionne. Mais c’est aussi épuisant et précaire. Éteignez la lumière, et il ne peut plus coordonner ses mouvements. Une organisation qui gouverne ses agents au moyen d’audits manuels et d’examens périodiques se trouve dans la même situation. Elle compense par des efforts constants l’absence d’une perception qu’elle n’a jamais développée, et cette compensation coûte plus cher que ce qu’elle remplace. Le système tout entier s’effondre dès que les conditions changent.

Il existe une autre défaillance, plus étrange, qui mérite d’être évoquée. Elle est décrite dans un ouvrage fascinant du neuroscientifique V S Ramachandran. Lorsqu’un membre est amputé, le cerveau ne se tait pas. Il continue d’envoyer des signaux vers le membre manquant, que la personne ressent de façon très vive. La gouvernance peut connaître la même défaillance. Si une restructuration ou une négligence prive une fonction de supervision de son véritable discernement, cette fonction ne cesse pas pour autant d’agir. Les examens continuent d’être menés et les indicateurs continuent d’être produits. L’organisation conserve l’impression d’être supervisée, alors que le jugement qui sous-tend cette supervision a été vidé de sa substance. C’est ici que revient mon conseil de 2020 sur la transparence. Il n’y a pas de supervision sans transparence, et il n’y a pas de transparence dans un système qui ne fait que donner l’impression d’être surveillé.

La cohérence, une ressource rare

L’intelligence coûte de moins en moins cher. Bientôt, elle sera présente dans chaque flux de travail et chaque outil. Dans ce monde, la ressource rare est la cohérence, le lien vivant entre ce que chaque système fait de son côté et ce que l’entreprise cherche à accomplir. La cohérence est le tissu conjonctif qui permet à une intelligence distribuée de rester alignée sur un objectif commun.

J’ai passé des années à étudier comment un cerveau fait fonctionner ses nombreuses parties comme un tout. L’ère des agents pose la même question à l’entreprise. L’objectif n’a pas changé depuis 2020. C’est peu enthousiasmant, mais toujours utile. Aujourd’hui, la chose peu enthousiasmante mais utile à construire, c’est la cohérence elle-même.