Prof. Julia Stoyanovich, Directrice du Centre pour l’Intelligence Artificielle Responsable – Série d’entretiens

Julia Stoyanovich, est professeure à l’école d’ingénierie Tandon de l’Université de New York et directrice fondatrice du Centre pour l’Intelligence Artificielle Responsable. Elle a récemment témoigné devant le Comité des technologies du Conseil municipal de New York sur un projet de loi qui réglementerait l’utilisation de l’IA pour les décisions d’embauche et d’emploi.

Vous êtes la directrice fondatrice du Centre pour l’Intelligence Artificielle Responsable à l’Université de New York. Pouvez-vous partager avec nous certaines des initiatives entreprises par cette organisation ?

Je co-dirige le Centre pour l’Intelligence Artificielle Responsable (R/AI) à l’Université de New York avec Steven Kuyan. Steven et moi avons des intérêts et des expertises complémentaires. Je suis une universitaire, avec un background en informatique et un fort intérêt pour les travaux inspirés par l’utilisation à l’intersection de l’ingénierie des données, de la science des données responsable et de la politique. Steven est le directeur général des NYU Tandon Future Labs, un réseau d’incubateurs et d’accélérateurs de startups qui a déjà eu un impact économique considérable à New York. Notre vision pour R/AI est de faire en sorte que l’« intelligence artificielle responsable » soit synonyme d’« intelligence artificielle », grâce à une combinaison de recherche appliquée, d’éducation publique et d’engagement, et en aidant les entreprises, grandes et petites, à développer une intelligence artificielle responsable.

Au cours des derniers mois, R/AI a activement engagé des conversations autour de la surveillance des systèmes de décision automatisés (ADS). Notre approche est basée sur une combinaison d’activités éducatives et d’engagement politique.

La ville de New York envisage un projet de loi, Int 1894, qui réglementerait l’utilisation des ADS dans l’embauche grâce à une combinaison d’audits et de divulgations publiques. R/AI a soumis des commentaires publics sur le projet de loi, basés sur nos recherches et sur les connaissances que nous avons acquises auprès des chercheurs d’emploi à travers plusieurs activités d’engagement public.

Nous avons également collaboré avec The GovLab à l’Université de New York et avec l’Institut pour l’éthique de l’IA à l’Université technique de Munich sur un cours en ligne gratuit appelé « Éthique de l’IA : Perspectives mondiales » qui a été lancé plus tôt ce mois.

Un autre projet récent de R/AI qui a attiré beaucoup d’attention est notre série de bandes dessinées « Données, de manière responsable ». Le premier volume de la série s’appelle « Miroir, miroir », il est disponible en anglais, en espagnol et en français, et accessible avec un lecteur d’écran dans les trois langues. La bande dessinée a reçu le prix « Innovation du mois » de Metro Lab Network et GovTech, et a été couverte par The Toronto Star, entre autres.

Quels sont certains des problèmes actuels ou potentiels liés aux préjugés de l’IA dans les décisions d’embauche et d’emploi ?

C’est une question complexe qui nécessite que nous soyons clairs sur ce que nous entendons par « préjugés ». La chose clé à noter est que les systèmes de recrutement automatisés sont des « analyses prédictives » – ils prédisent l’avenir en fonction du passé. Le passé est représenté par des données historiques sur les individus qui ont été embauchés par l’entreprise, et sur la façon dont ces individus ont performé. Le système est ensuite « formé » sur ces données, ce qui signifie qu’il identifie des modèles statistiques et les utilise pour faire des prédictions. Ces modèles statistiques sont la « magie » de l’IA, c’est sur quoi les modèles prédictifs sont basés. Il est clair, mais important, que les données historiques à partir desquelles ces modèles ont été extraits sont silencieuses sur les individus qui n’ont pas été embauchés, car nous ne savons simplement pas comment ils auraient performé sur le poste qu’ils n’ont pas obtenu. Et c’est là que les préjugés entrent en jeu. Si nous embauchons systématiquement plus d’individus issus de groupes démographiques et socio-économiques spécifiques, alors l’appartenance à ces groupes, et les caractéristiques qui y sont associées, feront partie du modèle prédictif. Par exemple, si nous ne voyons que des diplômés des meilleures universités être embauchés pour des postes de direction, alors le système ne pourra pas apprendre que les personnes qui sont allées à une autre école pourraient également bien performer. Il est facile de voir un problème similaire pour le sexe, la race et le statut de personne handicapée.

Les préjugés dans l’IA sont beaucoup plus larges que les préjugés dans les données. Ils apparaissent lorsque nous essayons d’utiliser la technologie là où une solution technique est simplement inappropriée, ou lorsque nous fixons les mauvaises objectifs pour l’IA – souvent parce que nous n’avons pas un ensemble diversifié de voix à la table de conception, ou lorsque nous renonçons à notre capacité d’agir dans les interactions humaines – IA après le déploiement de l’IA. Chacune de ces raisons de préjugés mérite sa propre discussion qui sera probablement plus longue que l’espace de cet article le permet. Et donc, pour rester concentré, je vais revenir aux préjugés dans les données.

Lorsque j’explique les préjugés dans les données, j’aime utiliser la métaphore de la réflexion du miroir. Les données sont une image du monde, sa réflexion. Lorsque nous pensons aux préjugés dans les données, nous interrogeons cette réflexion. Une interprétation des « préjugés dans les données » est que la réflexion est déformée – notre miroir sous-représente ou sur-représente certaines parties du monde, ou déforme autrement les lectures. Une autre interprétation des « préjugés dans les données » est que, même si la réflexion était 100 % fidèle, elle serait toujours une réflexion du monde tel qu’il est aujourd’hui, et non de ce qu’il pourrait ou devrait être. Il est important de noter que ce n’est pas aux données ou à un algorithme de nous dire si c’est une réflexion parfaite d’un monde défectueux, ou une réflexion défectueuse d’un monde parfait, ou si ces distorsions se cumulent. C’est aux personnes – individus, groupes, société dans son ensemble – de parvenir à un consensus sur si nous sommes OK avec le monde tel qu’il est, ou, si non, comment nous devrions aller aboutir à l’améliorer.

Revenons aux analyses prédictives : plus les disparités sont fortes dans les données, en tant que réflexion du passé, plus elles seront probablement prises en compte par les modèles prédictifs, et répétées – et même exacerbées – dans le futur.

Si notre objectif est d’améliorer nos pratiques d’embauche avec un œil sur l’équité et la diversité, alors nous ne pouvons simplement pas confier ce travail aux machines. Nous devons faire le travail difficile d’identifier les véritables causes des préjugés dans l’embauche et l’emploi de face, et de négocier une solution socio-légale-technique avec l’input de toutes les parties prenantes. La technologie a certainement un rôle à jouer pour nous aider à améliorer le statu quo : elle peut nous aider à rester honnêtes sur nos objectifs et nos résultats. Mais prétendre que la dé-biaisation des données ou des analyses prédictives résoudra les problèmes profondément enracinés de la discrimination dans l’embauche est naïf, au mieux.

Vous avez récemment témoigné devant le Comité des technologies du Conseil municipal de New York, un commentaire frappant était le suivant : « Nous constatons que le budget de l’annonceur et le contenu de l’annonce contribuent tous deux de manière significative à la dérive de la livraison de l’annonce de Facebook (META ). De manière critique, nous observons une dérive significative dans la livraison le long des lignes de genre et raciales pour les « vraies » annonces d’emploi et de logement malgré des paramètres de ciblage neutres. » Quelles sont certaines des solutions pour éviter ce type de préjugés ?

Ce commentaire que j’ai fait est basé sur un article brillant de Ali et al. intitulé « Discrimination à travers l’optimisation : comment la livraison d’annonces de Facebook peut conduire à des résultats biaisés. » Les auteurs constatent que le mécanisme de livraison d’annonces lui-même est responsable de l’introduction et de l’amplification d’effets discriminatoires. Il va de soi que cette constatation est très problématique, en particulier lorsqu’elle se déroule contre l’arrière-plan d’opacité de Facebook et d’autres plateformes – Google (GOOGL ) et Twitter. Le fardeau repose sur les plateformes pour démontrer de manière urgente et convaincante qu’elles peuvent maîtriser les effets discriminatoires tels que ceux trouvés par Ali et al.. À défaut de cela, je ne peux pas justifier la poursuite de l’utilisation de la publicité ciblée personnalisée dans le logement, l’emploi et d’autres domaines où la vie et les moyens de subsistance des gens sont en jeu.

Comment les scientifiques des données et les développeurs d’IA peuvent-ils éviter les autres préjugés involontaires de se faufiler dans leurs systèmes ?

Il ne dépend pas entièrement des scientifiques des données, ou de tout autre groupe de parties prenantes, de s’assurer que les systèmes techniques sont alignés sur les valeurs sociétales. Mais les scientifiques des données sont, en effet, à l’avant-garde de cette bataille. En tant que scientifique en informatique moi-même, je peux attester de l’attrait de penser que les systèmes que nous concevons sont « objectifs », « optimaux » ou « corrects ». Le succès de la science et de la technologie de l’information – son influence et son utilisation généralisée – est à la fois une bénédiction et une malédiction. Nous, les technologistes, n’avons plus le luxe de nous cacher derrière les objectifs inaccessibles de l’objectivité et de la correction. Le fardeau repose sur nous pour réfléchir soigneusement à notre place dans le monde, et pour nous éduquer sur les processus sociaux et politiques que nous impactons. La société ne peut pas se permettre que nous allions vite et cassions des choses, nous devons ralentir et réfléchir.

Il est symbolique que la philosophie ait été jadis au centre de tous les discours scientifiques et sociétaux, puis est venue la mathématique, puis l’informatique. Maintenant, avec la science des données prenant le devant de la scène, nous sommes revenus au point de départ et avons besoin de reconnecter avec nos racines philosophiques.

Une autre recommandation que vous avez faite est de créer un public éclairé. Comment informer un public qui peut ne pas être familier avec l’IA, ou comprendre les problèmes associés aux préjugés de l’IA ?

Il y a un besoin urgent d’éduquer les personnes non techniques sur la technologie, et d’éduquer les personnes techniques sur les implications sociales. L’accomplissement de ces deux objectifs nécessitera un engagement fort et un investissement substantiel de la part de notre gouvernement. Nous devons développer des matériaux et des méthodes éducatives pour tous ces groupes, et trouver des moyens d’inciter la participation. Et nous ne pouvons pas laisser ce travail aux entités commerciales. L’Union européenne ouvre la voie, avec plusieurs gouvernements qui fournissent un soutien à l’éducation de base en IA de leurs citoyens, et en incorporant des programmes d’IA dans les programmes scolaires. Nous, à R/AI, travaillons sur un cours accessible au public et largement accessible, visant à créer un public engagé qui aidera à faire de l’IA ce que NOUS voulons qu’elle soit. Nous sommes très enthousiastes à propos de ce travail, veuillez rester à l’écoute pour plus d’informations dans le mois à venir.

Merci pour les réponses détaillées, les lecteurs qui souhaitent en savoir plus devraient visiter le Centre pour l’Intelligence Artificielle Responsable.