Comment l’IA explicable construit la confiance et la responsabilité

Les entreprises se sont déjà plongées tête baissée dans l’adoption de l’IA, courant déployer des chatbots, des générateurs de contenu et des outils de soutien à la décision dans l’ensemble de leurs opérations. Selon McKinsey, 78 % des entreprises utilisent l’IA dans au moins une fonction commerciale.

La frénésie de mise en œuvre est compréhensible — tout le monde voit la valeur potentielle. Mais dans cette précipitation, de nombreuses organisations oublient le fait que toutes les technologies basées sur les réseaux de neurones, y compris chaque LLM et chaque système d’IA générative utilisé aujourd’hui et pour un avenir prévisible, partagent un défaut important : Ils sont imprévisibles et finalement incontrôlables.

Comme certains l’ont appris, il peut y avoir de véritables conséquences à la suite. Dans un concessionnaire Chevrolet qui avait déployé un chatbot sur son site Web, un client a convaincu le chatbot alimenté par ChatGPT de lui vendre un Chevrolet Tahoe de 58 195 $ pour seulement 1 $. Un autre client a incité le même chatbot à écrire un script Python pour des équations de dynamique des fluides complexes, ce qu’il a fait avec plaisir. Le concessionnaire a désactivé les bots après que ces incidents soient devenus viraux.

L’année dernière, Air Canada a perdu en cour de petites créances lorsqu’il a argumenté que son chatbot, qui avait donné à un passager des informations inexactes sur une remise de deuil, « est une entité juridique distincte qui est responsable de ses propres actes ».

Cette imprévisibilité découle de l’architecture fondamentale des LLM. Ils sont si grands et complexes qu’il est impossible de comprendre comment ils arrivent à des réponses spécifiques ou de prédire ce qu’ils généreront jusqu’à ce qu’ils produisent une sortie. La plupart des organisations répondent à ce problème de fiabilité sans le reconnaître pleinement.

La solution de bon sens est de vérifier les résultats de l’IA à la main, ce qui fonctionne mais limite drastiquement le potentiel de la technologie. Lorsque l’IA est reléguée au rôle d’assistant personnel — rédigeant du texte, prenant des notes de réunion, résumant des documents et aidant à la programmation — elle offre des gains de productivité modestes. Pas suffisamment pour révolutionner l’économie.

Les véritables avantages de l’IA seront réalisés lorsque nous cesserons de l’utiliser pour aider les emplois existants et que nous réorganiserons plutôt l’ensemble des processus, des systèmes et des entreprises pour utiliser l’IA sans intervention humaine à chaque étape. Considérez le traitement des prêts : si une banque donne à des agents de prêt un assistant IA pour résumer les demandes, ils pourraient travailler 20-30 % plus vite. Mais déployer l’IA pour gérer l’ensemble du processus de décision (avec les garanties appropriées) pourrait réduire les coûts de plus de 90 % et éliminer presque tout le temps de traitement. C’est la différence entre l’amélioration incrémentale et la transformation.

Le chemin vers une mise en œuvre fiable de l’IA

Exploiter pleinement le potentiel de l’IA sans succomber à son imprévisibilité nécessite un mélange sophistiqué d’approches techniques et de réflexion stratégique. Alors que plusieurs méthodes actuelles offrent des solutions partielles, chacune a des limites importantes.

Certaines organisations tentent d’atténuer les problèmes de fiabilité grâce au pilotage du système — en orientant subtilement le comportement de l’IA dans les directions souhaitées afin qu’il réponde de manière spécifique à certaines entrées. Les chercheurs d’Anthropic ont démontré la fragilité de cette approche en identifiant une « fonctionnalité du Golden Gate Bridge » dans le réseau de neurones de Claude et, en amplifiant artificiellement, ont provoqué une crise d’identité chez Claude. Lorsqu’on lui a demandé sa forme physique, au lieu de reconnaître qu’il n’en avait pas, Claude a prétendu être le Golden Gate Bridge lui-même. Cette expérience a révélé à quel point il est facile de modifier le fonctionnement fondamental d’un modèle et que chaque intervention représente un compromis, améliorant potentiellement un aspect de la performance tout en dégradant les autres.

Une autre approche consiste à faire en sorte que l’IA surveille d’autres IA. Alors que cette approche en couches peut détecter certaines erreurs, elle introduit une complexité supplémentaire et ne répond toujours pas à la fiabilité complète. Les garde-fous codés en dur sont une intervention plus directe, comme bloquer les réponses contenant certains mots clés ou modèles, tels que les ingrédients précurseurs d’armes. Alors que ces garde-fous sont efficaces contre les problèmes connus, ils ne peuvent pas anticiper les sorties problématiques nouvelles qui émergent de ces systèmes complexes.

Une approche plus efficace consiste à construire des processus centrés sur l’IA qui peuvent fonctionner de manière autonome, avec une surveillance humaine stratégiquement positionnée pour détecter les problèmes de fiabilité avant qu’ils ne causent de véritables problèmes. Vous ne voudriez pas que l’IA approuve ou rejette directement les demandes de prêt, mais l’IA pourrait effectuer une évaluation initiale pour que les opérateurs humains la révisent. Cela peut fonctionner, mais cela repose sur la vigilance humaine pour détecter les erreurs de l’IA et sape les gains potentiels d’efficacité de l’utilisation de l’IA.

Construire pour l’avenir

Ces solutions partielles pointent vers une approche plus complète. Les organisations qui repensent fondamentalement la façon dont leur travail est effectué plutôt que de simplement augmenter les processus existants avec une assistance IA gagneront l’avantage le plus important. Mais l’IA ne devrait jamais être l’étape finale d’un processus ou d’une décision à haut risque, alors quel est le meilleur chemin à suivre ?

Tout d’abord, l’IA construit un processus reproductible qui livrera de manière fiable et transparente des résultats cohérents. Deuxièmement, les humains examinent le processus pour s’assurer qu’ils comprennent comment il fonctionne et que les entrées sont appropriées. Enfin, le processus s’exécute de manière autonome – sans utiliser d’IA – avec une révision périodique humaine des résultats.

Considérez l’industrie de l’assurance. L’approche conventionnelle pourrait ajouter des assistants IA pour aider les processeurs de sinistres à travailler plus efficacement. Une approche plus révolutionnaire utiliserait l’IA pour développer de nouveaux outils — comme la vision par ordinateur qui analyse les photos de dommages ou des modèles de détection de fraude améliorés qui identifient des modèles suspects — et combiner ces outils en systèmes automatisés régis par des règles claires et compréhensibles. Les humains concevraient et surveilleraient ces systèmes plutôt que de traiter des sinistres individuels.

Cette approche maintient la surveillance humaine au point critique où elle compte le plus : la conception et la validation du système lui-même. Elle permet des gains d’efficacité exponentiels tout en éliminant le risque que l’imprévisibilité de l’IA conduise à des résultats nocifs dans des cas individuels.

Un IA pourrait identifier des indicateurs potentiels de capacité de remboursement de prêt dans les données de transaction, par exemple. Les experts humains pourraient alors évaluer ces indicateurs pour leur équité et construire des modèles explicites et compréhensibles pour confirmer leur puissance prédictive.

Cette approche de l’IA explicable créera une division plus claire entre les organisations qui utilisent l’IA de manière superficielle et celles qui transforment leurs opérations autour d’elle. Les secondes s’éloigneront de plus en plus dans leurs industries, capables d’offrir des produits et des services à des prix que leurs concurrents ne peuvent pas égaler.

Contrairement à l’IA noire, les systèmes d’IA explicables garantissent que les humains maintiennent une surveillance significative de l’application de la technologie, créant un avenir où l’IA augmente le potentiel humain plutôt que de simplement remplacer le travail humain.