Qu’est-ce que l’IA explicative ?

Alors que l’intelligence artificielle (IA) devient de plus en plus complexe et largement adoptée dans la société, l’un des ensembles de processus et de méthodes les plus critiques est l’IA explicative (XAI).

L’IA explicative peut être définie comme :

• Un ensemble de processus et de méthodes qui aident les utilisateurs humains à comprendre et à faire confiance aux résultats des algorithmes d’apprentissage automatique.

Comme vous pouvez le deviner, cette explicabilité est incroyablement importante alors que les algorithmes d’IA prennent le contrôle de nombreux secteurs, ce qui comporte le risque de biais, d’algorithmes défectueux et d’autres problèmes. En atteignant la transparence avec l’explicabilité, le monde peut vraiment exploiter le pouvoir de l’IA.

L’IA explicative, comme son nom l’indique, aide à décrire un modèle d’IA, son impact et les biais potentiels. Elle joue également un rôle dans la caractérisation de la précision, de l’équité, de la transparence et des résultats des processus de prise de décision basés sur l’IA.

Les organisations axées sur l’IA d’aujourd’hui devraient toujours adopter des processus d’IA explicative pour aider à établir la confiance et la confiance dans les modèles d’IA en production. L’IA explicative est également essentielle pour devenir une entreprise responsable dans l’environnement d’IA d’aujourd’hui.

Puisque les systèmes d’IA d’aujourd’hui sont si avancés, les humains effectuent généralement un processus de calcul pour retracer comment l’algorithme est arrivé à son résultat. Ce processus devient une « boîte noire », ce qui signifie qu’il est impossible de comprendre. Lorsque ces modèles inexplicables sont développés directement à partir de données, personne ne peut comprendre ce qui se passe à l’intérieur.

En comprenant comment les systèmes d’IA fonctionnent grâce à l’IA explicative, les développeurs peuvent s’assurer que le système fonctionne comme il le devrait. Cela peut également aider à s’assurer que le modèle répond aux normes réglementaires et qu’il offre la possibilité pour le modèle d’être contesté ou modifié.

Image : Dr. Matt Turek/DARPA

Différences entre l’IA et l’IA explicative

Certaines différences clés aident à séparer l’« IA régulière » de l’IA explicative, mais surtout, l’IA explicative met en œuvre des techniques et des méthodes spécifiques qui aident à garantir que chaque décision dans le processus d’apprentissage automatique est traçable et explicative. En comparaison, l’IA régulière arrive généralement à son résultat en utilisant un algorithme d’apprentissage automatique, mais il est impossible de comprendre pleinement comment l’algorithme est arrivé à son résultat. Dans le cas de l’IA régulière, il est extrêmement difficile de vérifier l’exactitude, ce qui entraîne une perte de contrôle, de responsabilité et de traçabilité.

Avantages de l’IA explicative

Il existe de nombreux avantages pour toute organisation qui souhaite adopter l’IA explicative, tels que :

• Résultats plus rapides : L’IA explicative permet aux organisations de surveiller et de gérer systématiquement les modèles pour optimiser les résultats commerciaux. Il est possible d’évaluer et d’améliorer continuellement les performances du modèle et d’affiner le développement du modèle.
• Atténuer les risques : En adoptant des processus d’IA explicative, vous vous assurez que vos modèles d’IA sont explicables et transparents. Vous pouvez gérer les risques réglementaires, de conformité et d’autres exigences tout en minimisant les frais généraux de vérification manuelle. Tout cela aide également à atténuer le risque de biais involontaire.
• Établir la confiance : L’IA explicative aide à établir la confiance dans les modèles d’IA en production. Les modèles d’IA peuvent être rapidement mis en production, vous pouvez vous assurer de l’interprétabilité et de l’explicabilité, et le processus d’évaluation du modèle peut être simplifié et rendu plus transparent.

Techniques pour l’IA explicative

Il existe certaines techniques d’IA explicative que toutes les organisations devraient considérer, et elles consistent en trois méthodes principales : la précision de prédiction , la traçabilité et la compréhension de la décision .

La première des trois méthodes, la précision de prédiction , est essentielle pour utiliser avec succès l’IA dans les opérations quotidiennes. Des simulations peuvent être effectuées et la sortie de l’IA explicative peut être comparée aux résultats du jeu de données d’entraînement, ce qui aide à déterminer la précision de prédiction. L’une des techniques les plus populaires pour atteindre cela est appelée Explications locales interprétables et agnostiques aux modèles (LIME), une technique qui explique la prédiction des classifieurs par l’algorithme d’apprentissage automatique.

La deuxième méthode est la traçabilité , qui est atteinte en limitant la manière dont les décisions peuvent être prises, ainsi qu’en établissant une portée plus étroite pour les règles et les fonctionnalités de l’apprentissage automatique. L’une des techniques de traçabilité les plus courantes est DeepLIFT, ou Deep Learning Important FeaTures. DeepLIFT compare l’activation de chaque neurone à son neurone de référence tout en démontrant un lien traçable entre chaque neurone activé. Cela montre également les dépendances entre eux.

La troisième et dernière méthode est la compréhension de la décision , qui est axée sur l’humain, contrairement aux deux autres méthodes. La compréhension de la décision implique l’éducation de l’organisation, en particulier de l’équipe qui travaille avec l’IA, pour leur permettre de comprendre comment et pourquoi l’IA prend des décisions. Cette méthode est cruciale pour établir la confiance dans le système.

Principes de l’IA explicative

Pour fournir une meilleure compréhension de l’IA explicative et de ses principes, le National Institute of Standards (NIST), qui fait partie du ministère du Commerce des États-Unis, fournit des définitions pour quatre principes de l’IA explicative :

1. Un système d’IA doit fournir des preuves, un soutien ou une justification pour chaque sortie.
2. Un système d’IA doit fournir des explications qui peuvent être comprises par ses utilisateurs.
3. L’explication doit refléter avec précision le processus utilisé par le système pour arriver à sa sortie.
4. Le système d’IA ne doit fonctionner que dans les conditions pour lesquelles il a été conçu, et il ne doit pas fournir de sortie lorsqu’il manque de confiance suffisante dans le résultat.

Ces principes peuvent être organisés encore plus en :

• Sensé : Pour atteindre le principe de sens, un utilisateur doit comprendre l’explication fournie. Cela pourrait également signifier que dans le cas d’un algorithme d’IA utilisé par différents types d’utilisateurs, il pourrait y avoir plusieurs explications. Par exemple, dans le cas d’une voiture autonome, une explication pourrait être : « L’IA a classé le sac en plastique sur la route comme une roche et a pris des mesures pour l’éviter. » Même si cet exemple fonctionnerait pour le conducteur, il ne serait pas très utile pour un développeur d’IA qui cherche à corriger le problème. Dans ce cas, le développeur doit comprendre pourquoi il y a eu une fausse classification.
• Précision de l’explication : Contrairement à la précision de sortie, la précision de l’explication implique que l’algorithme d’IA explique avec précision comment il est arrivé à sa sortie. Par exemple, si un algorithme d’approbation de prêt explique une décision basée sur le revenu d’une demande lorsqu’en fait, il était basé sur le lieu de résidence du demandeur, l’explication serait inexacte.
• Limites de connaissance : Les limites de connaissance de l’IA peuvent être atteintes de deux manières, et cela implique que les entrées sont en dehors de l’expertise du système. Par exemple, si un système est conçu pour classer les espèces d’oiseaux et qu’il reçoit une image d’une pomme, il devrait être en mesure d’expliquer que l’entrée n’est pas un oiseau. Si le système reçoit une image floue, il devrait être en mesure de signaler qu’il est incapable d’identifier l’oiseau sur l’image, ou alternativement, que son identification a une confiance très faible.

Rôle des données dans l’IA explicative

L’un des composants les plus importants de l’IA explicative est les données.

Selon Google (GOOGL ) , en ce qui concerne les données et l’IA explicative, « un système d’IA est mieux compris par les données sous-jacentes et le processus d’entraînement, ainsi que le modèle d’IA résultant ». Cette compréhension repose sur la capacité à mapper un modèle d’IA entraîné au jeu de données exact utilisé pour l’entraîner, ainsi que la capacité d’examiner les données de près.

Pour améliorer l’explicabilité d’un modèle, il est important de prêter attention aux données d’entraînement. Les équipes doivent déterminer l’origine des données utilisées pour entraîner un algorithme, la légalité et l’éthique entourant leur obtention, tout biais potentiel dans les données et ce qui peut être fait pour atténuer tout biais.

Un autre aspect critique des données et de l’IA explicative est que les données non pertinentes pour le système doivent être exclues. Pour atteindre cela, les données non pertinentes ne doivent pas être incluses dans l’ensemble de données d’entraînement ou dans les données d’entrée.

Google a recommandé un ensemble de pratiques pour atteindre l’interprétabilité et la responsabilité :

• Planifier vos options pour poursuivre l’interprétabilité
• Considérer l’interprétabilité comme une partie fondamentale de l’expérience utilisateur
• Concevoir le modèle pour qu’il soit interprétable
• Choisir des métriques pour refléter l’objectif final et la tâche finale
• Comprendre le modèle entraîné
• Fournir des explications aux utilisateurs du modèle
• Effectuer de nombreux tests pour s’assurer que le système d’IA fonctionne comme prévu

En suivant ces pratiques recommandées, votre organisation peut s’assurer qu’elle atteint l’IA explicative, qui est essentielle à toute organisation axée sur l’IA dans l’environnement d’aujourd’hui.