Comment l’IA explicative crée la confiance et la responsabilité

Les entreprises se sont déjà lancées dans l’adoption de l’IA, courant pour déployer des chatbots, des générateurs de contenu et des outils de soutien à la décision dans l’ensemble de leurs opérations. Selon McKinsey, 78 % des entreprises utilisent l’IA dans au moins une fonction commerciale.

La frénésie de mise en œuvre est compréhensible — tout le monde voit la valeur potentielle. Mais dans cette ruée, de nombreuses organisations oublient que toutes les technologies basées sur les réseaux de neurones, y compris tous les LLM et les systèmes d’IA générative utilisés aujourd’hui et pour un avenir prévisible, partagent un défaut important : ils sont imprévisibles et finalement incontrôlables.

Comme certains l’ont appris, il peut y avoir de véritables conséquences à la suite de cela. Dans un concessionnaire Chevrolet qui avait déployé un chatbot sur son site Web, un client a convaincu le chatbot alimenté par ChatGPT de lui vendre un Chevrolet Tahoe de 58 195 $ pour seulement 1 $. Un autre client a incité le même chatbot à écrire un script Python pour des équations de dynamique des fluides complexes, ce qu’il a fait avec plaisir. Le concessionnaire a rapidement désactivé les bots après que ces incidents soient devenus viraux.

L’année dernière, Air Canada a perdu en cour de petites créances lorsqu’il a soutenu que son chatbot, qui avait fourni à un passager des informations incorrectes sur une réduction de deuil, « est une entité juridique distincte responsable de ses propres actes ».

Cette imprévisibilité découle de l’architecture fondamentale des LLM. Ils sont si grands et complexes qu’il est impossible de comprendre comment ils arrivent à des réponses spécifiques ou de prédire ce qu’ils généreront jusqu’à ce qu’ils produisent une sortie. La plupart des organisations répondent à ce problème de fiabilité sans le reconnaître pleinement.

La solution de bon sens est de vérifier les résultats de l’IA à la main, ce qui fonctionne mais limite drastiquement le potentiel de la technologie. Lorsque l’IA est reléguée à être un assistant personnel — rédigeant du texte, prenant des minutes de réunion, résumant des documents et aidant à la programmation — elle offre des gains de productivité modestes. Pas suffisamment pour révolutionner l’économie.

Les véritables avantages de l’IA seront obtenus lorsque nous cesserons de l’utiliser pour aider les emplois existants et que nous rebrancherons plutôt l’ensemble des processus, des systèmes et des entreprises pour utiliser l’IA sans intervention humaine à chaque étape. Considérons le traitement des prêts : si une banque donne aux agents de prêt un assistant d’IA pour résumer les demandes, ils pourraient travailler 20 à 30 % plus vite. Mais déployer l’IA pour gérer l’ensemble du processus de décision (avec les garanties appropriées) pourrait réduire les coûts de plus de 90 % et éliminer presque tout le temps de traitement. C’est la différence entre l’amélioration incrémentale et la transformation.

Le chemin vers une mise en œuvre fiable de l’IA

Pour exploiter pleinement le potentiel de l’IA sans succomber à son imprévisibilité, il faut une combinaison sophistiquée d’approches techniques et de réflexion stratégique. Alors que plusieurs méthodes actuelles offrent des solutions partielles, chacune a des limites importantes.

Certaines organisations tentent d’atténuer les problèmes de fiabilité grâce au nudging des systèmes — en orientant subtilement le comportement de l’IA dans les directions souhaitées pour qu’il réponde de manière spécifique à certaines entrées. Les chercheurs d’Anthropic ont démontré la fragilité de cette approche en identifiant une « fonctionnalité du Golden Gate Bridge » dans le réseau de neurones de Claude et, en l’amplifiant artificiellement, ont provoqué une crise d’identité chez Claude. Lorsqu’on lui a demandé sa forme physique, au lieu de reconnaître qu’il n’en avait pas, Claude a prétendu être le Golden Gate Bridge lui-même. Cette expérience a révélé à quel point facilement le fonctionnement fondamental d’un modèle peut être modifié et que chaque nudging représente un compromis, améliorant potentiellement un aspect de la performance tout en dégradant les autres.

Une autre approche consiste à faire en sorte que l’IA surveille d’autres IA. Alors que cette approche en couches peut détecter certaines erreurs, elle introduit une complexité supplémentaire et ne parvient toujours pas à une fiabilité complète. Les garde-fous codés en dur constituent une intervention plus directe, comme bloquer les réponses contenant certains mots clés ou modèles, tels que les ingrédients précurseurs pour les armes. Alors que ces garde-fous sont efficaces contre les problèmes connus, ils ne peuvent pas anticiper les sorties problématiques nouvelles qui émergent de ces systèmes complexes.

Une approche plus efficace consiste à construire des processus centrés sur l’IA qui peuvent fonctionner de manière autonome, avec une surveillance humaine stratégiquement positionnée pour détecter les problèmes de fiabilité avant qu’ils ne causent de véritables problèmes dans le monde réel. Vous ne voudriez pas que l’IA approuve ou rejette directement les demandes de prêt, mais l’IA pourrait effectuer une évaluation initiale pour que les opérateurs humains la révisent. Cela peut fonctionner, mais cela repose sur la vigilance humaine pour détecter les erreurs de l’IA et sape les gains d’efficacité potentiels de l’utilisation de l’IA.

Construire pour l’avenir

Ces solutions partielles pointent vers une approche plus complète. Les organisations qui repensent fondamentalement la façon dont leur travail est effectué, plutôt que de simplement augmenter les processus existants avec une assistance à l’IA, obtiendront l’avantage le plus important. Mais l’IA ne devrait jamais être l’étape finale d’un processus ou d’une décision à haut risque, alors quelle est la meilleure voie à suivre ?

Tout d’abord, l’IA crée un processus répétitif qui livrera de manière fiable et transparente des résultats cohérents. Ensuite, les humains examinent le processus pour s’assurer qu’ils comprennent son fonctionnement et que les entrées sont appropriées. Enfin, le processus s’exécute de manière autonome — sans utiliser d’IA — avec une révision périodique humaine des résultats.

Considérons l’industrie de l’assurance. L’approche conventionnelle pourrait ajouter des assistants d’IA pour aider les processeurs de sinistres à travailler plus efficacement. Une approche plus révolutionnaire utiliserait l’IA pour développer de nouveaux outils — comme la vision par ordinateur qui analyse les photos de dommages ou des modèles de détection de fraude améliorés qui identifient des modèles suspects — et combiner ces outils en systèmes automatisés régis par des règles claires et compréhensibles. Les humains concevraient et surveilleraient ces systèmes plutôt que de traiter des sinistres individuels.

Cette approche maintient la surveillance humaine au point de jonction critique où elle compte le plus : la conception et la validation du système lui-même. Elle permet des gains d’efficacité exponentiels tout en éliminant le risque que l’imprévisibilité de l’IA conduise à des résultats nocifs dans des cas individuels.

Un IA pourrait identifier des indicateurs potentiels de capacité de remboursement de prêt dans les données de transaction, par exemple. Les experts humains pourraient ensuite évaluer ces indicateurs pour leur équité et construire des modèles explicites et compréhensibles pour confirmer leur puissance prédictive.

Cette approche de l’IA explicative créera une division plus claire entre les organisations qui utilisent l’IA de manière superficielle et celles qui transforment leurs opérations autour d’elle. Les dernières s’éloigneront de plus en plus dans leurs industries, capables d’offrir des produits et des services à des points de prix que leurs concurrents ne peuvent pas égaler.

Contrairement à l’IA en boîte noire, les systèmes d’IA explicative garantissent que les humains maintiennent une surveillance significative de l’application de la technologie, créant un avenir où l’IA augmente le potentiel humain plutôt que de simplement remplacer le travail humain.