Interaction machine-homme : le problème du « dernier kilomètre » qui freine l’adoption de l’IA dans l’entreprise

Jusqu’à très récemment, les conversations dans les salles de réunion autour de l’IA portaient sur les modèles eux-mêmes. Est-ce que leur sortie est précise ? Combien de données de formation étaient propres ? Comment pouvons-nous réduire les préjugés ? Les hallucinations sont-elles sous contrôle ? Ces questions sont toujours importantes, bien sûr, mais la sortie n’est plus la seule chose que les conseils d’administration et les actionnaires surveillent. Au lieu de cela, ils s’intéressent à quelque chose de beaucoup plus difficile à mesurer – si les systèmes d’IA fonctionnent réellement avec les personnes de manière aussi efficace que possible dans les interactions quotidiennes.

C’est en partie pourquoi IBM a récemment trouvé face à une proposition d’actionnaire exigeant une plus grande transparence sur la manière dont elle gère les préjugés et la gouvernance de l’IA. La proposition s’est concentrée spécifiquement sur la mitigation des préjugés, mais la prise plus large était que, à mesure que l’IA s’enracine plus profondément dans les processus de prise de décision, elle est jugée sur sa responsabilité opérationnelle et les résultats commerciaux mesurables plutôt que sur son niveau de base de capacité.

Ce que je vois dans les conversations avec les entreprises, c’est que très peu de gens débattent encore de la question de savoir si les modèles eux-mêmes sont capables. La plupart des organisations savent déjà que ces systèmes peuvent générer des sorties, automatiser les flux de travail et faire surface des informations à une vitesse extraordinaire. La question plus difficile est de savoir si tout cela améliore réellement les résultats à l’intérieur de l’entreprise. Les employés utilisent-ils réellement ces systèmes de manière significative ? Fient-ils aux recommandations qu’ils reçoivent ? Les décisions deviennent-elles plus claires, plus rapides ou plus cohérentes ? Ou les organisations génèrent-elles simplement plus de contenu, plus d’analyses et plus de bruit sans changer la façon dont les gens opèrent ? L’écart entre la capacité de l’IA et l’adoption humaine est ce que j’appelle le « dernier kilomètre » de l’adoption de l’IA dans l’entreprise. C’est là que la rentabilité, la confiance, la responsabilité et la cohérence opérationnelle convergent, et c’est là que de nombreux déploiements commencent à stagner.

La capacité n’est pas le goulet d’étranglement – le contexte humain l’est

La proposition d’actionnaire d’IBM elle-même s’est concentrée sur les préjugés, une préoccupation familière et croissante dans l’industrie. La résolution a demandé à IBM de produire des rapports supplémentaires sur les méthodes qu’elle utilise pour identifier et atténuer les préjugés dans ses modèles d’IA, y compris les risques potentiels associés à ces efforts d’atténuation. IBM a rétorqué que la plupart de ces informations étaient déjà disponibles publiquement via des cartes de modèles, des documents de gouvernance, des rapports de transparence et des soumissions à l’index de transparence des modèles de fondation de Stanford. La plupart des observateurs ont reconnu qu’IBM a fait plus que de nombreux fournisseurs pour opérationnaliser des pratiques d’IA responsables, tout en reconnaissant que la gouvernance et les préjugés restent des défis non résolus à l’échelle de l’industrie.

Ce qui m’intéresse, ce n’est pas de savoir si la réponse d’IBM était juste ou fausse. C’est ce que toute la situation dit sur la direction que prennent les conversations sur l’IA dans l’entreprise. Les conseils d’administration ont largement basculé dans une nouvelle phase d’évaluation de l’IA axée sur la qualité de la décision, l’impact opérationnel, la confiance des employés et l’adoption à long terme à l’intérieur de l’entreprise.

C’est là que l’application d’une lentille de neuroscience me conduit à une conclusion différente de celle de la plupart des conversations actuelles sur l’IA dans l’entreprise. Les humains ne sont pas des machines rationnelles d’entrée-sortie. Nous abordons les décisions avec une attention finie, une confiance fluctuante, une surcharge cognitive et une intention constamment changeante. Lorsque les interactions semblent lentes, lorsque les réponses prédéfinies manquent ce que nous voulons réellement, ou lorsque les gens doivent se battre contre le système pour obtenir quelque chose d’utile, l’engagement s’effondre longtemps avant que les métriques d’adoption ne rattrapent. Le risque d’hallucination, l’incohérence et les préjugés ne font qu’aggraver le problème, créant des frictions à l’intérieur des flux de travail qui étaient à l’origine destinés à améliorer la productivité et la prise de décision. Ce « dernier kilomètre » est ce que la plupart des organisations sous-estiment encore : la valeur de l’IA n’est pas créée lorsque un modèle génère une réponse, mais lorsqu’il fournit la bonne réponse au bon moment et que les humains peuvent lui faire suffisamment confiance pour agir sur ce qu’il produit.

Pourquoi ignorons-nous le véritable « humain dans la boucle » – l’utilisateur ?

Nous entendons beaucoup parler récemment de « l’humain dans la boucle » et de l’importance d’avoir un humain présent pour valider les sorties générées par l’IA. Mais que se passe-t-il si l’humain le plus important – l’utilisateur – n’est pas correctement compris ? L’interaction humaine est complexe et multiforme, mais la raison pour laquelle la communication directe fonctionne si bien est qu’aucune nuance n’est perdue. Si quelqu’un hésite, perd confiance, devient frustré ou confus, ou si son intention change, cela se propage pendant une interaction et la conversation change en conséquence. La plupart des systèmes d’IA ont encore du mal à reconnaître ces signaux parce qu’ils sont plus ou moins « sur rails » dans la mesure où ils ne répondent qu’à la dernière invite de l’utilisateur.

À mon avis, c’est devenu l’une des limites définissantes des déploiements actuels de l’IA dans l’entreprise. Nous avons construit des systèmes exceptionnellement bons pour générer des informations tout en restant limités dans leur capacité à reconnaître si ces informations aident quelqu’un à prendre de meilleures décisions.

Une organisation peut déployer des outils d’IA pour des milliers d’employés et néanmoins ne pas parvenir à une alignment significatif dans la façon dont ces systèmes sont réellement utilisés. Des cadres tels que le cadre de gestion des risques de l’IA du NIST, l’ISO/IEC 42001 et l’Acte de l’UE sur l’IA poussent les organisations vers une maturité de gouvernance et une responsabilité opérationnelle accrues. Mais la gouvernance sur papier ne va pas loin si l’engagement des employés avec l’IA reste fragmenté. Si différentes équipes font confiance et utilisent l’IA de manières complètement différentes, mesurer la rentabilité de manière cohérente devient presque impossible, et c’est un problème que rien ne peut résoudre.

Le coût de la surcharge d’IA

Nous entrons maintenant dans une phase où l’IA devient complètement omniprésente à l’intérieur des flux de travail de l’IA. Il y a des copilotes intégrés dans les suites de productivité, des résumés de réunions générés par l’IA qui arrivent après chaque appel, des tableaux de bord qui font surface des informations prédictives en temps réel, des moteurs de recommandation qui alimentent les employés en suggestions constantes, et des analyses automatisées qui apparaissent plus rapidement que la plupart des équipes ne peuvent les traiter. Sur papier, cela ressemble au progrès – les entreprises produisent plus d’informations que jamais auparavant. Mais la science cognitive a été claire à ce sujet pendant des décennies : plus d’informations ne produisent pas automatiquement de meilleures décisions.

Les gens ne peuvent absorber qu’une quantité limitée d’informations avant que la surcharge ne commence à se manifester. Trop de recommandations créent de l’hésitation. Trop d’alertes deviennent du bruit de fond. Trop d’options générées par l’IA peuvent laisser les employés hésitants plutôt que d’agir avec confiance. Ce qui est intéressant, c’est que les systèmes d’IA deviennent exceptionnellement bons pour produire des informations tout en restant relativement mauvais pour comprendre comment les humains reçoivent, interprètent et répondent à ces informations dans le contexte. Les conseils d’administration ne se soucient pas de savoir combien de résumés, de recommandations ou d’analyses générées un système peut produire. Ils se soucient de savoir si les décisions deviennent plus claires et plus fiables à travers l’entreprise.

L’IA est entrée dans sa phase de responsabilité

La proposition d’actionnaire d’IBM peut avoir été motivée par des préoccupations concernant les préjugés, mais je pense qu’elle reflète quelque chose de beaucoup plus large qui se passe à travers l’IA dans l’entreprise. La nouveauté de l’IA a passé, et les entreprises qui cherchent un retour solide sur leur investissement dans l’IA ne peuvent plus se contenter de la capacité du modèle seul. La technologie s’est prouvée, mais maintenant elle a besoin d’une mesure de responsabilité. Les employés utilisent-ils ces systèmes de manière cohérente ? Les décisions s’améliorent-elles ? La confiance et l’engagement augmentent-ils avec le temps, ou s’érodent-ils progressivement ? À mesure que l’IA devient plus intégrée dans les flux de travail quotidiens, la prochaine génération de systèmes devra peut-être devenir beaucoup plus consciente du comportement humain, de l’attention, de la confiance et de l’intention si les entreprises veulent une adoption durable et un retour sur investissement mesurable. Jusqu’alors, le dernier kilomètre restera probablement l’un des plus grands défis de l’adoption de l’IA dans l’entreprise.