Alyssa Simpson Rochwerger, co-auteur de Real World AI – Série d’entretiens

Alyssa Rochwerger est une dirigeante de produit axée sur le client, dédiée à la création de produits qui résolvent des problèmes difficiles pour les personnes réelles. Elle a occupé de nombreux postes de direction de produit pour des organisations de machine learning. Elle a été vice-présidente du produit pour Figure Eight (acquis par Appen), vice-présidente de l’IA et des données chez Appen, et directrice du produit chez IBM Watson. Elle a récemment quitté ce domaine pour poursuivre son rêve d’utiliser la technologie pour améliorer les soins de santé. Actuellement, elle est directrice du produit chez Blue Shield of California, où elle est entourée de beaucoup de données, de problèmes difficiles et de nombreuses opportunités de faire une impact positif.

Nous discutons de son nouveau livre : Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable

Dans l’introduction du livre, vous décrivez comment, en tant que responsable de produit chez IBM, vous avez rencontré pour la première fois un problème avec un système d’IA qui délivrait des informations biaisées lorsqu’une photo d’une personne en fauteuil roulant était classée par l’algorithme comme « perdant ». À quel point cela a-t-il été un signal d’alarme pour vous en ce qui concerne les biais de l’IA ?

Je ne l’appellerais pas un signal d’alarme, mais plutôt ma première expérience de création d’un produit basé sur le machine learning (j’étais seulement quelques mois dans le rôle) et je ne savais pas encore suffisamment sur la façon dont cette technologie fonctionnait pour mettre en place des gardes et atténuer activement les biais indésirables. C’était une expérience révélatrice qui a aiguisé mon attention sur cette question – et m’a rendu acutely conscient, par la suite. L’équité, l’accès et l’inclusion sont des sujets qui me passionnent – et qui me passionnent depuis longtemps – j’ai même remporté un prix à l’université pour mon plaidoyer en faveur des étudiants handicapés. Cette expérience chez IBM m’a aidé à comprendre, d’un point de vue technique, à quel point il est facile pour les biais sociétaux systémiques d’être codés dans les produits basés sur le machine learning si l’équipe n’atténue pas activement. J’étais heureuse de travailler dans une institution qui se soucie profondément de l’équité et met des ressources pour atténuer.

Qu’est-ce que vous avez personnellement appris en recherchant et en écrivant ce livre ?

Sur le plan personnel – j’ai dû trouver du temps pour écrire ce livre tout en changeant de travail, en ayant un enfant de 1 an et en naviguant dans la COVID. J’ai appris à trouver du temps pour donner la priorité à cela, et à demander de l’aide à ma famille, ce qui m’a donné le temps de consacrer mon attention à l’écriture du livre.

Sur le plan professionnel – c’était merveilleux d’avoir autant de participants qui ont partagé leurs histoires avec nous pour publication. Les professionnels du machine learning, dans mon expérience, sont un groupe de personnes incroyablement réfléchies et généreuses – prêtes à aider les autres et à partager les leçons apprises. Malheureusement, beaucoup de ces histoires de leçons apprises n’ont pas été incluses dans ce livre ou ont dû être anonymisées de manière significative, en raison de la crainte de rendre publiques des informations qui pourraient faire paraître une entreprise ou un individu sous un mauvais jour si elles étaient prises dans la mauvaise lumière. Même si cela est certainement normal, personnellement, je trouve que c’est dommage – je suis un grand croyant dans l’apprentissage et la croissance à partir des expériences et des erreurs passées si elles peuvent être utiles pour les autres.

Quelles sont certaines des leçons les plus importantes que vous espérez que les gens retiendront de la lecture de ce livre ?

J’espère que les gens apprendront que le machine learning n’est pas super effrayant ou difficile à comprendre. Que c’est une technologie puissante mais parfois fragile qui nécessite des conseils et une structure pour résoudre des problèmes difficiles. Et que l’utilisation responsable et éthique de cette technologie est critique pour la maturité et le succès – et que se concentrer sur l’atténuation des biais nuisibles dès le départ est clé pour le succès commercial.

Un exemple de biais de genre de l’IA qui a été décrit dans le livre était l’émission de lignes de crédit plus basses aux femmes qu’aux hommes par la carte de crédit d’Apple. C’était un exemple de la façon dont l’omission du genre en tant qu’option a échoué à tenir compte d’autres variables qui peuvent servir de proxy pour le genre. L’exemple a montré que sans l’entrée « genre », il était impossible de déterminer que le résultat était biaisé jusqu’après la sortie finale du produit. Quels types d’entrées de données, selon vous, ne devraient jamais être omis pour éviter les biais contre le genre ou les minorités ?

Il n’y a pas de règle stricte – chaque ensemble de données, cas d’utilisation et situation est différent. Je encouragerais les praticiens à examiner les détails et la nuance du problème que l’algorithme de machine learning est appliqué pour résoudre – et quel biais nuisible pourrait être codé dans cette décision.

Le livre décrit comment une responsabilité première lors de la communication avec l’équipe d’IA est de définir avec précision les résultats qui sont importants pour l’entreprise. À votre avis, à quelle fréquence les entreprises échouent-elles à cette tâche ?

Je dirais que, dans mon expérience, la plupart du temps, les résultats ne sont pas définis ou ne sont définis qu’à un niveau large ou élevé. Entrer dans les détails sur les résultats spécifiques est une façon simple de mettre l’équipe sur la voie du succès dès le départ.

Le livre parle de l’importance de réaliser qu’un système d’IA n’est pas un système « Mettre en place et oublier » . Pouvez-vous discuter brièvement de cela ?

C’est l’erreur classique que la plupart des entreprises commettent lors du lancement d’un nouveau système de machine learning en production. La réalité change – le temps passe, ce qui était vrai hier (les données d’entraînement) ne l’est peut-être plus demain. Cela dépend de vos circonstances, mais dans la plupart des cas, il est important de pouvoir apprendre et s’adapter et prendre de meilleures décisions avec le temps en fonction de informations plus récentes.

Les produits basés sur le machine learning sont essentiellement des décideurs. Pour équivaloir à un exemple humain – c’est comme un arbitre dans un match de football à hauts enjeux. Beaucoup de fois, si c’est un arbitre bien formé avec de l’expérience, l’arbitre prend une bonne décision et le match continue – mais parfois, cet arbitre prend une mauvaise décision – ou n’est pas sûr de la décision à prendre – et doit revenir en arrière et examiner la vidéo – demander à quelques autres personnes pour prendre une décision sur un jeu particulier. De même – les produits de machine learning ont besoin de commentaires, de formation, et parfois ne sont pas sûrs. Ils ont besoin d’avoir des options de repli ainsi que de nouvelles informations pour apprendre et s’améliorer avec le temps. Un bon arbitre apprend avec le temps et améliore ses jugements.

Pouvez-vous parler de l’importance de créer une équipe multifonctionnelle qui puisse identifier quels problèmes sont les mieux résolus en utilisant l’IA ?

La technologie de machine learning est généralement bien adaptée pour résoudre des problèmes très difficiles et spécifiques qui ne sont pas résolus avec d’autres approches. Tout problème difficile – cela nécessite une équipe pour réussir. Lorsque les entreprises sont nouvelles dans l’IA – il y a souvent un récit faux selon lequel un seul scientifique de machine learning, ou même une équipe de machine learning, peut résoudre le problème par eux-mêmes. Je n’ai jamais trouvé cela être vrai. Cela nécessite une équipe avec différents antécédents et approches pour résoudre un problème difficile – et certainement pour déployer avec succès la technologie de machine learning en production.

Je vous remercie pour cette grande interview, pour les lecteurs (et en particulier les dirigeants d’entreprise) qui sont intéressés pour en savoir plus, je vous recommande de lire le livre Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable.