Comment réaliser un audit IA en 2023

L'audit d'IA fait référence à l'évaluation des systèmes d'IA pour s'assurer qu'ils fonctionnent comme prévu sans biais ou la discrimination et sont conformes aux normes éthiques et juridiques. L'IA a connu une croissance exponentielle au cours de la dernière décennie. Par conséquent, les risques liés à l'IA sont devenus une préoccupation pour les organisations. Comme l'a dit Elon Musk :

"L'IA est un cas rare où je pense que nous devons être proactifs dans la réglementation plutôt que réactifs."

Les organisations doivent développer des stratégies de gouvernance, d'évaluation des risques et de contrôle pour les employés travaillant avec l'IA. La responsabilité de l'IA devient essentielle dans la prise de décision où les enjeux sont importants, comme le déploiement de la police dans un domaine et pas dans l'autre, l'embauche et le rejet de candidats.

Cet article présente un aperçu de l'audit d'IA, des cadres et des réglementations pour les audits d'IA, ainsi qu'une liste de contrôle pour l'audit des applications d'IA.

Facteurs à considérer

• Conformité : évaluation des risques liés à la conformité d'un système d'IA aux considérations juridiques, réglementaires, éthiques et sociales.
• Technologie : évaluation des risques liés aux capacités techniques, y compris l'apprentissage automatique, les normes de sécurité et les performances des modèles.

Défis pour l'audit des systèmes d'IA

• Biais : les systèmes d'IA peuvent amplifier les biais dans les données sur lesquelles ils sont formés et prendre des décisions injustes. Reconnaissant ce problème, un institut de recherche sur les problèmes de recherche de l'Université de Stanford, Human Centered AI (HAI), a lancé un défi d'innovation de 71,000 XNUMX $ pour concevoir de meilleurs audits d'IA. L'objectif de ce défi était d'interdire la discrimination dans les systèmes d'IA.
• Complexité : les systèmes d'IA, en particulier ceux qui utilisent l'apprentissage en profondeur, sont complexes et manquent d'interprétabilité.

Réglementations et cadres existants pour l'audit de l'IA

Règlementations et les cadres agissent comme l'étoile polaire pour l'audit de l'IA. Certains cadres et réglementations d'audit importants sont examinés ci-dessous.

Cadres d'audit

1. COBIT Framework (Control Objectives for Information and related Technology) : C'est le cadre de gouvernance et de gestion informatique d'une entreprise.
2. Cadre d'audit de l'IA de l'IIA (Institut des auditeurs internes) : ce cadre d'IA vise à évaluer la conception, le développement et le fonctionnement des systèmes d'IA et leur alignement avec les objectifs de l'organisation. Les trois principales composantes du cadre d'audit de l'IA de l'IIA sont la stratégie, la gouvernance et le facteur humain. Il comporte sept éléments qui sont les suivants :

• Cyber ​​résilience
• Compétences en IA
• Qualité des données
• Architecture et infrastructure de données
• Mesurer la performance
• Éthique
• La boîte noire

3. Cadre COSO ERM : Ce cadre fournit un cadre de référence pour évaluer les risques pour les systèmes d'IA dans une organisation. Il comporte cinq composantes pour l'audit interne :

• Environnement interne : s'assurer que la gouvernance et la gestion de l'organisation gèrent les risques liés à l'IA
• Définition des objectifs : Collaborer avec les parties prenantes pour élaborer une stratégie de gestion des risques
• Identification des événements : identification des risques dans les systèmes d'IA, tels que les biais involontaires, la violation de données
• Évaluation des risques : quel sera l'impact du risque ?
• Réponse au risque : comment l'organisation réagira-t-elle aux situations à risque, telles qu'une qualité de données sous-optimale ?

Règlementations

Le règlement général sur la protection des données (RGPD) est une loi de la réglementation de l'UE qui impose aux organisations l'obligation d'utiliser les données personnelles. Il a sept principes :

• Licéité, loyauté et transparence : le traitement des données personnelles doit respecter la loi
• Limitation de la finalité : utilisation des données uniquement dans un but précis
• Minimisation des données : les données personnelles doivent être adéquates et limitées
• Exactitude : les données doivent être exactes et à jour
• Limitation de stockage : ne stockez plus de données personnelles qui ne sont plus nécessaires
• Intégrité et confidentialité : les données personnelles utilisées pour être traitées en toute sécurité
• Responsabilité : le responsable du traitement doit traiter les données de manière responsable conformément aux conformités

D'autres règlements comprennent CCPA et LPRPDE.

Liste de contrôle pour l'audit de l'IA

Les sources de données

L'identification et la vérification des sources de données sont la principale considération dans l'audit des systèmes d'IA. Les auditeurs vérifient la qualité des données et si l'entreprise peut utiliser les données.

Validation croisée

S'assurer que le modèle est validé de manière appropriée est l'une des listes de contrôle des auditeurs. Les données de validation ne doivent pas être utilisées pour la formation et les techniques de validation doivent garantir la généralisabilité du modèle.

Hébergement sécurisé

Dans certains cas, les systèmes d'IA utilisent des données personnelles. Il est important d'évaluer si l'hébergement ou les services cloud répondent aux exigences de sécurité de l'information telles que les directives OWASP (Open Web Application Security Project).

IA explicable

IA explicable fait référence à l'interprétation et à la compréhension des décisions prises par le système d'IA et des facteurs qui l'affectent. Les auditeurs vérifient si les modèles sont suffisamment explicables en utilisant des techniques telles que LIME et SHAP.

Sorties du modèle

L'équité est la première chose que les auditeurs s'assurent dans les résultats des modèles. Les sorties du modèle doivent rester cohérentes lorsque des variables telles que le sexe, la race ou la religion sont modifiées. De plus, la qualité des prédictions à l'aide de la méthode de notation appropriée est également évaluée.

Commentaires sociaux

L'audit de l'IA est un processus continu. Une fois déployé, les auditeurs doivent voir l'impact social du système d'IA. Le système d'IA et la stratégie de risque doivent être modifiés et audités en conséquence en fonction des commentaires, de l'utilisation, des conséquences et de l'influence, positives ou négatives.

Entreprises qui auditent les pipelines et les applications d'IA

Les cinq grandes entreprises qui auditent l'IA sont les suivantes :

• Deloitte : Deloitte est le plus grand cabinet de services professionnels au monde et fournit des services liés à l'audit, à la fiscalité et au conseil financier. Deloitte utilise la RPA, l'IA et l'analyse pour aider les organisations à évaluer les risques de leurs systèmes d'IA.
• PwC : PwC est le deuxième plus grand réseau de services professionnels en termes de chiffre d'affaires. Ils ont développé des méthodologies d'audit pour aider les organisations à garantir la responsabilité, la fiabilité et la transparence.
• EY : En 2022, EY a annoncé un investissement d’un milliard de dollars dans une plateforme technologique basée sur l’IA afin de fournir des services d’audit de haute qualité. Les cabinets qui utilisent l’IA sont bien informés pour auditer les systèmes d’IA.
• KPMG : KPMG est le quatrième plus grand cabinet de services comptables. KPMG fournit des services personnalisés en matière de gouvernance de l'IA, d'évaluation des risques et de contrôles.
• Grant Thronton : Ils aident les clients à gérer les risques liés au déploiement de l'IA et à la conformité avec l'éthique et la réglementation en matière d'IA.

Avantages de l'audit des systèmes d'IA

• Gestion des risques : l'audit prévient ou atténue les risques associés aux systèmes d'IA.
• Transparence : l'audit garantit que les applications d'IA sont exemptes de préjugés et de discrimination.
• Conformités : l'audit des applications d'IA signifie que le système respecte les conformités légales et réglementaires.

Audit de l'IA : ce que l'avenir nous réserve

Les organisations, les autorités de réglementation et les auditeurs doivent se tenir au courant des progrès de l'IA, prendre conscience de ses menaces potentielles et réviser fréquemment les réglementations, les cadres et les stratégies pour garantir une utilisation équitable, sans risque et éthique.

En 2021, 193 États membres de UNESCO a adopté un accord mondial sur l'éthique de l'IA. L'IA est un écosystème en constante évolution.

Vous voulez plus de contenu lié à l'IA ? Visite unir.ai.