Biais et équité des systèmes basés sur l’IA dans la lutte contre la criminalité financière

Lorsqu’il s’agit de lutter contre la criminalité financière, des défis existent qui vont au-delà de la simple lutte contre les fraudeurs ou les mauvais acteurs.

Certaines des nouvelles technologies avancées qui sont lancées ont souvent leurs propres problèmes spécifiques qui doivent être pris en compte lors des étapes d’adoption pour lutter avec succès contre les fraudeurs sans conséquences réglementaires. Dans la détection de la fraude, la justice du modèle et les biais des données peuvent se produire lorsque le système est plus lourdement pondéré ou lorsqu’il manque de représentation de certains groupes ou catégories de données. En théorie, un modèle prédictif pourrait associer à tort des noms de famille d’autres cultures à des comptes frauduleux, ou faussement diminuer le risque au sein de segments de population pour certains types d’activités financières.

Les systèmes d’IA biaisés peuvent représenter une menace sérieuse lorsque les réputations peuvent être affectées et se produisent lorsque les données disponibles ne sont pas représentatives de la population ou du phénomène que l’on cherche à explorer. Ces données ne comprennent pas les variables qui capturent correctement le phénomène que l’on cherche à prédire. Ou, alternativement, les données peuvent inclure du contenu produit par des humains qui peut contenir des biais contre des groupes de personnes, hérités de l’expérience culturelle et personnelle, conduisant à des distorsions lors de la prise de décision. Même si les données peuvent sembler objectives au début, elles sont toujours collectées et analysées par des humains et peuvent donc être biaisées.

Il n’y a pas de solution miracle pour remédier aux dangers de la discrimination et de l’injustice dans les systèmes d’IA ou pour les solutions permanentes au problème de l’équité et de la mitigation des biais dans l’élaboration de modèles d’apprentissage automatique et leur utilisation, mais ces problèmes doivent être pris en compte pour des raisons à la fois sociales et commerciales.

Faire ce qui est juste dans l’IA

Aborder les biais dans les systèmes basés sur l’IA n’est pas seulement la bonne chose à faire, mais c’est également la chose intelligente pour les entreprises — et les enjeux pour les dirigeants d’entreprise sont élevés. Les systèmes d’IA biaisés peuvent mener les institutions financières sur la mauvaise voie en allouant des opportunités, des ressources, des informations ou une qualité de service de manière injuste. Ils ont même le potentiel d’enfreindre les libertés civiles, de nuire à la sécurité des individus ou d’avoir un impact sur le bien-être d’une personne si elle est perçue comme dédaigneuse ou offensante.

Il est important que les entreprises comprennent le pouvoir et les risques des biais d’IA. Même si cela est souvent inconnu de l’institution, un système basé sur l’IA biaisé pourrait utiliser des modèles ou des données préjudiciables qui exposent des biais de race ou de sexe dans une décision de prêt. Des informations telles que les noms et le sexe pourraient être des proxys pour catégoriser et identifier les demandeurs de manière illégale. Même si le biais est involontaire, il expose toujours l’organisation à des risques en ne respectant pas les exigences réglementaires et pourrait conduire à ce que certains groupes de personnes soient injustement refusés des prêts ou des lignes de crédit.

Actuellement, les organisations ne disposent pas des éléments nécessaires pour atténuer efficacement les biais dans les systèmes d’IA. Mais avec l’IA de plus en plus déployée dans les entreprises pour informer les décisions, il est essentiel que les organisations s’efforcent de réduire les biais, non seulement pour des raisons morales, mais également pour se conformer aux exigences réglementaires et générer des revenus.

Culture et mise en œuvre « conscientes de l’équité »

Les solutions axées sur la conception et la mise en œuvre « conscientes de l’équité » auront les résultats les plus bénéfiques. Les fournisseurs devraient avoir une culture analytique qui prend en compte l’acquisition, la gestion et la gestion responsables des données comme des composants nécessaires de l’équité algorithmique, car si les résultats d’un projet d’IA sont générés par des jeux de données biaisés, compromis ou déformés, les parties touchées ne seront pas suffisamment protégées contre les préjudices discriminatoires.

Voici les éléments d’équité des données que les équipes de science des données doivent garder à l’esprit :

• Représentativité : En fonction du contexte, soit la sous-représentation ou la sur-représentation de groupes défavorisés ou protégés par la loi dans l’échantillon de données peut conduire à la défavorisation systématique des parties vulnérables dans les résultats du modèle formé. Pour éviter ces types de biais d’échantillonnage, l’expertise de domaine sera cruciale pour évaluer l’adéquation entre les données collectées ou acquises et la population sous-jacente à modéliser. Les membres de l’équipe technique devraient proposer des moyens de remédiation pour corriger les défauts de représentation dans l’échantillonnage.
• Adéquation et suffisance : Il est important de comprendre si les données collectées sont suffisantes pour le but prévu du projet. Des ensembles de données insuffisants ne reflètent peut-être pas équitablement les qualités qui devraient être prises en compte pour produire un résultat justifié qui est conforme à l’objectif souhaité du système d’IA. Par conséquent, les membres de l’équipe de projet ayant des compétences techniques et politiques devraient collaborer pour déterminer si la quantité de données est suffisante et adaptée au but.
• Intégrité de la source et exactitude de la mesure : La mitigation efficace des biais commence dès le début des processus d’extraction et de collecte de données. Les sources et les outils de mesure peuvent introduire des facteurs discriminatoires dans un ensemble de données. Pour assurer une non-nocivité discriminatoire, l’échantillon de données doit avoir une intégrité de source optimale. Cela implique de garantir ou de confirmer que les processus de collecte de données impliquent des sources de mesure appropriées, fiables et impartiales et des méthodes de collecte robustes.
• Actualité et récence : Si les ensembles de données incluent des données obsolètes, les changements dans la distribution sous-jacente des données peuvent affecter négativement la généralisabilité du modèle formé. Étant donné que ces dérives distributionnelles reflètent des changements dans les relations sociales ou la dynamique de groupe, cette perte de précision concernant les caractéristiques réelles de la population sous-jacente peut introduire des biais dans le système d’IA. Pour prévenir les résultats discriminatoires, l’actualité et la récence de tous les éléments de l’ensemble de données doivent être examinées.
• Pertinence, adéquation et connaissance du domaine : La compréhension et l’utilisation des sources et des types de données les plus appropriés sont cruciales pour construire un système d’IA robuste et exempt de biais. Une solide connaissance du domaine de la distribution de la population sous-jacente et de l’objectif prédictif du projet est instrumentale pour sélectionner des entrées de mesure optimales qui contribuent à la résolution raisonnable de la solution définie. Les experts du domaine devraient collaborer étroitement avec les équipes de science des données pour aider à déterminer les catégories et les sources de mesure les plus appropriées.

Alors que les systèmes basés sur l’IA aident à automatiser les processus de prise de décision et à générer des économies, les institutions financières qui envisagent l’IA comme une solution doivent être vigilantes pour s’assurer que les décisions biaisées ne sont pas prises. Les dirigeants de la conformité devraient être en phase avec leur équipe de science des données pour confirmer que les capacités d’IA sont responsables, efficaces et exemptes de biais. Avoir une stratégie qui défend l’IA responsable est la bonne chose à faire, et cela peut également fournir un chemin pour se conformer aux réglementations futures sur l’IA. Les biais ne sont pas en train de se produire. Les dirigeants de la conformité devraient être en phase avec leur équipe de science des données pour confirmer que les capacités d’IA sont responsables, efficaces et exemptes de biais. Avoir une stratégie qui défend l’IA responsable est la bonne chose à faire, et cela peut également fournir un chemin pour se conformer aux réglementations futures sur l’IA.