Comment effectuer un audit IA en 2023

Un audit IA fait référence à l’évaluation des systèmes d’IA pour garantir qu’ils fonctionnent comme prévu sans biais ou discrimination et sont conformes aux normes éthiques et juridiques. L’IA a connu une croissance exponentielle au cours de la dernière décennie. Par conséquent, les risques liés à l’IA sont devenus une préoccupation pour les organisations. Comme l’a déclaré Elon Musk :

« L’IA est un cas rare où je pense que nous devons être proactifs dans la régulation plutôt que réactifs. »

Les organisations doivent développer une gouvernance, une évaluation des risques et des stratégies de contrôle pour les employés travaillant avec l’IA. La responsabilité de l’IA devient critique dans la prise de décision où les enjeux sont élevés, tels que le déploiement de la police dans une zone et non dans une autre, l’embauche et le rejet de candidats.

Cet article présentera une vue d’ensemble de l’audit IA, des cadres et des réglementations pour les audits IA, ainsi qu’une liste de contrôle pour l’audit des applications IA.

Facteurs à considérer

• Conformité : Évaluation des risques liés à la conformité d’un système d’IA avec les considérations juridiques, réglementaires, éthiques et sociales.
• Technologie : Évaluation des risques liés aux capacités techniques, notamment l’apprentissage automatique, les normes de sécurité et les performances du modèle.

Défis pour l’audit des systèmes d’IA

• Biais : Les systèmes d’IA peuvent amplifier les biais dans les données sur lesquelles ils sont formés et prendre des décisions injustes. En reconnaissant ce problème, un institut de recherche à l’Université de Stanford, Human Centered AI (HAI), a lancé un défi d’innovation de 71 000 $ pour concevoir de meilleurs audits d’IA. L’objectif de ce défi était d’interdire la discrimination dans les systèmes d’IA.
• Complexité : Les systèmes d’IA, en particulier ceux qui utilisent l’apprentissage profond, sont complexes et manquent d’interprétabilité.

Réglementations et cadres existants pour l’audit d’IA

Les réglementations et les cadres agissent comme l’étoile polaire pour l’audit d’IA. Certains cadres et réglementations d’audit importants sont discutés ci-dessous.

Cadres d’audit

1. Cadre COBIT (Objectifs de contrôle pour l’information et la technologie connexe) : Il s’agit du cadre pour la gouvernance et la gestion des TI d’une entreprise.
2. Cadre d’audit d’IA de l’IIA (Institut des auditeurs internes) : Ce cadre d’IA vise à évaluer la conception, le développement et le fonctionnement des systèmes d’IA et leur alignement sur les objectifs de l’organisation. Les trois principaux composants du cadre d’audit d’IA de l’IIA sont la stratégie, la gouvernance et le facteur humain. Il comporte sept éléments qui sont les suivants :

• Résilience cybernétique
• Compétences en IA
• Qualité des données
• Architecture et infrastructure des données
• Mesure des performances
• Éthique
• La boîte noire

3. Cadre COSO ERM : Ce cadre fournit un cadre de référence pour évaluer les risques pour les systèmes d’IA dans une organisation. Il comporte cinq composants pour l’audit interne :

• Environnement interne : Garantir que la gouvernance et la gestion de l’organisation gèrent les risques liés à l’IA
• Définition des objectifs : Collaboration avec les parties prenantes pour élaborer une stratégie de risque
• Identification des événements : Identification des risques dans les systèmes d’IA, tels que les biais involontaires, les violations de données
• Évaluation des risques : Quel sera l’impact du risque ?
• Réponse aux risques : Comment l’organisation réagira-t-elle aux situations de risque, telles que la qualité des données sous-optimale ?

Réglementations

Le Règlement général sur la protection des données (RGPD) est une loi dans la réglementation de l’UE qui impose des obligations aux organisations pour utiliser les données personnelles. Il comporte sept principes :

• Légalité, équité et transparence : Le traitement des données personnelles doit se conformer à la loi
• Limitation de la finalité : Utilisation des données uniquement à des fins spécifiques
• Minimisation des données : Les données personnelles doivent être adéquates et limitées
• Exactitude : Les données doivent être exactes et à jour
• Limitation de la conservation : Ne pas conserver les données personnelles qui ne sont plus nécessaires
• Intégrité et confidentialité : Les données personnelles doivent être traitées de manière sécurisée
• Responsabilité : Le contrôleur doit traiter les données de manière responsable en suivant les conformités

D’autres réglementations incluent CCPA et PIPEDA.

Check-list pour l’audit d’IA

Sources de données

L’identification et la vérification des sources de données constituent la principale considération lors de l’audit des systèmes d’IA. Les auditeurs vérifient la qualité des données et si l’entreprise peut utiliser les données.

Validation croisée

Garantir que le modèle est correctement validé est l’une des checklist des auditeurs. Les données de validation ne doivent pas être utilisées pour la formation, et les techniques de validation doivent garantir la généralisabilité du modèle.

Hébergement sécurisé

Dans certains cas, les systèmes d’IA utilisent des données personnelles. Il est important d’évaluer si les services d’hébergement ou de cloud répondent aux exigences de sécurité de l’information, telles que les directives d’OWASP (Open Web Application Security Project).

IA explicative

L’IA explicative fait référence à l’interprétation et à la compréhension des décisions prises par le système d’IA et des facteurs qui l’affectent. Les auditeurs vérifient si les modèles sont suffisamment explicables en utilisant des techniques telles que LIME et SHAP.

Sorties de modèle

L’équité est la première chose que les auditeurs garantissent dans les sorties de modèle. Les sorties de modèle doivent rester cohérentes lorsque des variables telles que le sexe, la race ou la religion sont modifiées. De plus, la qualité des prédictions à l’aide de la méthode de notation appropriée est également évaluée.

Rétroaction sociale

L’audit d’IA est un processus continu. Une fois déployé, les auditeurs doivent voir l’impact social du système d’IA. Le système d’IA et la stratégie de risque doivent être modifiés et audité en conséquence en fonction des commentaires, de l’utilisation, des conséquences et de l’influence, qu’ils soient positifs ou négatifs.

Entreprises qui audittent les pipelines et les applications d’IA

Cinq grandes entreprises qui audittent l’IA sont les suivantes :

• Deloitte : Deloitte est le plus grand cabinet de services professionnels au monde et fournit des services liés à l’audit, à la fiscalité et à la consultation financière. Deloitte utilise la RPA, l’IA et l’analyse pour aider les organisations à évaluer les risques de leurs systèmes d’IA.
• PwC : PwC est le deuxième plus grand réseau de services professionnels en termes de chiffre d’affaires. Ils ont développé des méthodologies d’audit pour aider les organisations à garantir la responsabilité, la fiabilité et la transparence.
• EY : En 2022, EY a annoncé un investissement de 1 milliard de dollars dans une plate-forme de technologie basée sur l’IA pour fournir des services d’audit de haute qualité. Les entreprises qui sont axées sur l’IA sont bien informées pour auditer les systèmes d’IA.
• KPMG : KPMG est le quatrième plus grand cabinet de services comptables. KPMG fournit des services personnalisés en matière de gouvernance d’IA, d’évaluation des risques et de contrôle.
• Grant Thronton : Ils aident les clients à gérer les risques liés au déploiement d’IA et à se conformer aux réglementations et à l’éthique de l’IA.

Avantages de l’audit des systèmes d’IA

• Gestion des risques : L’audit prévient ou atténue les risques associés aux systèmes d’IA.
• Transparence : L’audit garantit que les applications d’IA sont exemptes de biais et de discrimination.
• Conformités : L’audit des applications d’IA signifie que le système suit les conformités juridiques et réglementaires.

L’audit d’IA : ce que l’avenir réserve

Les organisations, les autorités réglementaires et les auditeurs doivent rester en contact avec les progrès de l’IA, réaliser ses menaces potentielles et réviser fréquemment les réglementations, les cadres et les stratégies pour garantir une utilisation équitable, sans risque et éthique.

En 2021, 193 États membres de l’UNESCO ont adopté un accord mondial sur l’éthique de l’IA. L’IA est un écosystème en constante évolution.

Vous souhaitez plus de contenu lié à l’IA ? Visitez unite.ai.