Les startups créent des outils pour surveiller l’IA et promouvoir une utilisation éthique de l’IA

Au cours de la dernière année, il semble que de plus en plus d’attention est portée à garantir que l’IA est utilisée de manière éthique. Google (GOOGL ) et Microsoft (MSFT ) ont tous deux récemment averti les investisseurs que la mauvaise utilisation des algorithmes d’IA ou les algorithmes d’IA mal conçus présentent des risques éthiques et juridiques. Pendant ce temps, l’État de Californie vient de décider de adopter un projet de loi qui interdit l’utilisation de la technologie de reconnaissance faciale par les agences de police de Californie.

Récemment, des startups comme Arthur ont tenté de concevoir des outils qui aideront les ingénieurs en IA à quantifier et à qualifier la performance de leurs modèles d’apprentissage automatique. Selon un article de Wired, Arthur tente de donner aux développeurs d’IA un ensemble d’outils qui facilitera la découverte de problèmes lors de la conception d’applications financières, comme la révélation de biais dans les décisions d’investissement ou de prêt.

Les efforts d’Arthur visent à résoudre le problème de la “boîte noire” de l’IA. Le problème de la boîte noire de l’IA décrit comment, contrairement au code traditionnel, qui peut être facilement interprété par ceux qui savent le lire, les systèmes d’apprentissage automatique cartographient les fonctionnalités vers le comportement sans révéler les raisons pour lesquelles ces comportements sont sélectionnés / comment les fonctionnalités ont été interprétées. En d’autres termes, dans un système de boîte noire, la mise en œuvre exacte de l’algorithme est opaque.

Les systèmes d’apprentissage automatique fonctionnent en extrayant des modèles à partir des données d’entrée et en raisonnant sur ces modèles. Cela est réalisé en faisant essentiellement écrire son propre code par un ordinateur en manipulant certaines fonctions mathématiques. Pour résoudre ce problème, les chercheurs et les ingénieurs ont besoin d’outils qui facilitent l’observation et l’analyse du comportement des logiciels d’apprentissage automatique. Les startups comme Arthur reconnaissent la difficulté de résoudre ce problème et ne prétendent pas avoir les solutions optimales, mais elles espèrent faire des progrès dans ce domaine et rendre l’ouverture de la boîte noire un peu plus facile. On espère que si les systèmes d’IA peuvent être analysés plus facilement, il sera plus facile de corriger des problèmes tels que les biais.

De grandes entreprises comme Facebook (META ) ont déjà des outils pour analyser les mécanismes internes des systèmes d’apprentissage automatique. Par exemple, Facebook a un outil appelé Fairness Flow, destiné à garantir que les publicités qui recommandent des emplois aux personnes ciblent des personnes de tous horizons. Cependant, il est probable que les grandes équipes d’IA ne voudront pas investir de temps pour créer de tels outils, et donc une opportunité commerciale existe pour les entreprises qui veulent créer des outils de surveillance pour les entreprises d’IA.

Arthur se concentre sur la création d’outils qui permettent aux entreprises de mieux maintenir et surveiller les systèmes d’IA après le déploiement du système. Les outils d’Arthur sont destinés à permettre aux entreprises de voir comment la performance de leur système évolue au fil du temps, ce qui leur permettrait théoriquement de détecter les manifestations potentielles de biais. Si le logiciel de recommandation de prêt d’une entreprise commence à exclure certains groupes de clients, un indicateur peut être défini pour indiquer que le système nécessite une révision pour garantir qu’il ne discrimine pas les clients en fonction d’attributs sensibles tels que la race ou le sexe.

Cependant, Arthur n’est pas la seule entreprise à créer des outils qui permettent aux entreprises d’IA d’examiner la performance de leurs algorithmes. De nombreuses startups investissent dans la création d’outils pour lutter contre les biais et garantir que les algorithmes d’IA sont utilisés de manière éthique. Weights & Biases est une autre startup qui crée des outils pour aider les ingénieurs en apprentissage automatique à analyser les problèmes potentiels de leur réseau. Toyota a utilisé les outils créés par Weights & Biases pour surveiller ses appareils d’apprentissage automatique pendant leur formation. Pendant ce temps, la startup Fiddler travaille à créer un ensemble différent d’outils de surveillance d’IA. IBM a même créé son propre service de surveillance appelé OpenScale.

Liz O’Sullivan, l’une des co-créatrices d’Arthur, a expliqué que l’intérêt pour la création d’outils pour aider à résoudre le problème de la boîte noire est motivé par une prise de conscience croissante du pouvoir de l’IA.

« Les gens commencent à réaliser à quel point ces systèmes peuvent être puissants, et qu’ils ont besoin de profiter des avantages d’une manière responsable », a déclaré O’Sullivan.