Alyssa Simpson Rochwerger, Co-Auteur de Real World AI – Série d’entretiens

Alyssa Rochwerger est une leader de produit axée sur le client, dédiée à la création de produits qui résolvent des problèmes difficiles pour les personnes réelles. Elle a occupé de nombreux postes de direction de produit pour des organisations de machine learning. Elle a été vice-présidente du produit pour Figure Eight (acquise par Appen), vice-présidente de l’IA et des données chez Appen, et directrice du produit chez IBM Watson. Elle a récemment quitté ce domaine pour poursuivre son rêve d’utiliser la technologie pour améliorer les soins de santé. Actuellement, elle est directrice du produit chez Blue Shield of California, où elle est entourée de beaucoup de données, de nombreux problèmes difficiles et de nombreuses opportunités de faire une impact positif.

Nous discutons de son nouveau livre : Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable

Dans l’introduction du livre, vous décrivez comment, en tant que responsable de produit chez IBM, vous avez rencontré pour la première fois un problème avec un système d’IA qui fournissait des informations biaisées lorsqu’une photo d’une personne en fauteuil roulant a été classée par l’algorithme comme « perdant ». À quel point cela a-t-il été un signal d’alarme pour vous concernant les biais de l’IA ?

Je ne l’appellerais pas un signal d’alarme, mais plutôt ma première expérience de création d’un produit basé sur le machine learning (j’étais seulement quelques mois dans le rôle) et je ne savais pas encore suffisamment sur la façon dont cette technologie fonctionnait pour mettre en place des garde-fous et atténuer activement les biais indésirables. C’était une expérience révélatrice qui a affûté mon attention sur cette question – et m’a rendu acutely conscient, par la suite. L’équité, l’accès et l’inclusion sont des sujets qui me passionnent – et qui me passionnent depuis longtemps – j’ai même remporté un prix à l’université pour mon plaidoyer en faveur des étudiants handicapés. Cette expérience chez IBM m’a aidé à comprendre, d’un point de vue technique, à quel point il est facile pour les biais sociétaux systémiques d’être encodés dans les produits basés sur le machine learning si l’équipe ne les atténue pas activement. J’étais heureuse de travailler dans une institution qui se soucie profondément de l’équité et qui met des ressources pour atténuer.

Qu’avez-vous personnellement appris en recherchant et en écrivant ce livre ?

Sur le plan personnel – j’ai dû trouver du temps pour écrire ce livre tout en changeant de travail, en ayant un enfant de 1 an et en naviguant dans la COVID. J’ai appris à trouver du temps pour donner la priorité à l’écriture de ce livre et à demander de l’aide à ma famille, ce qui m’a permis de consacrer mon attention à l’écriture du livre.

Sur le plan professionnel – c’était merveilleux d’avoir autant de participants qui ont partagé leurs histoires avec nous pour publication. Les professionnels du machine learning, dans mon expérience, sont un groupe incroyablement réfléchi et généreux – prêts à aider les autres et à partager les erreurs et les leçons apprises. Malheureusement, beaucoup de ces histoires de leçons apprises n’ont pas été incluses dans ce livre ou ont dû être anonymisées de manière significative, en raison de la crainte de rendre publiques des informations qui pourraient mettre une entreprise ou un individu dans une mauvaise lumière si elles étaient prises dans le mauvais sens. Même si cela est certainement normal, personnellement, je trouve que c’est dommage – je suis une grande croyante dans l’apprentissage et la croissance à partir des expériences et des erreurs passées si elles peuvent être utiles aux autres.

Quelles sont les leçons les plus importantes que vous espérez que les gens retiendront de la lecture de ce livre ?

J’espère que les gens apprendront que le machine learning n’est pas super effrayant ou difficile à comprendre. Que c’est une technologie puissante mais parfois fragile qui a besoin de guidance et de structure pour résoudre des problèmes difficiles. Et que l’utilisation responsable et éthique de cette technologie est critique pour la maturité et le succès – et que se concentrer sur l’atténuation des biais nuisibles dès le départ est clé pour le succès commercial.

Un exemple de biais de genre de l’IA qui a été décrit dans le livre était la carte de crédit d’Apple qui accordait des lignes de crédit plus basses aux femmes qu’aux hommes. C’était un exemple de la façon dont l’omission du genre en tant qu’option a échoué pour tenir compte d’autres variables qui peuvent servir de proxy pour le genre. L’exemple a montré que sans l’entrée « genre », il était impossible de déterminer que le résultat était biaisé jusqu’après la sortie du produit final. Quels types d’entrées de données, selon vous, ne devraient jamais être omis pour éviter les biais contre les femmes ou les minorités ?

Il n’y a pas de règle stricte – chaque ensemble de données, chaque cas d’utilisation et chaque situation est différent. Je encourage les praticiens à se plonger dans les détails et la nuance du problème que l’algorithme de machine learning est appliqué pour résoudre – et quel biais nuisible pourrait être codé dans cette décision.

Le livre décrit comment une responsabilité principale lors de la communication avec l’équipe d’IA est de définir avec précision les résultats qui sont importants pour l’entreprise. À votre avis, à quelle fréquence les entreprises échouent-elles dans cette tâche ?

Je dirais que, dans mon expérience, la plupart du temps, les résultats ne sont pas définis ou ne sont définis qu’à un niveau large ou vague. Se plonger dans les détails sur les résultats spécifiques est une façon facile de mettre l’équipe sur la voie du succès dès le départ.

Le livre parle de l’importance de réaliser qu’un système d’IA n’est pas un système de type « Mettre en place et oublier ». Pouvez-vous en discuter brièvement ?

C’est l’erreur classique que la plupart des entreprises commettent lors du lancement d’un nouveau système de ML en production. La réalité change – le temps passe, ce qui était vrai hier (les données d’entraînement) pourrait ne pas être vrai demain. Cela dépend de vos circonstances, mais dans la plupart des cas, il est important d’être en mesure d’apprendre et de s’adapter et de prendre de meilleures décisions avec le temps, sur la base d’informations plus récentes.

Les produits basés sur le machine learning sont essentiellement des décideurs. Pour équivaloir à un exemple humain – c’est comme un arbitre dans un match de football à haut risque. Souvent, si c’est un arbitre bien formé avec de l’expérience, l’arbitre prend une bonne décision et le match se poursuit – mais parfois, cet arbitre prend une mauvaise décision – ou n’est pas sûr de la décision à prendre – et doit revenir en arrière et examiner la vidéo – demander à quelques autres personnes pour prendre une décision sur une action spécifique. De même – les produits de ML ont besoin de rétroaction, de formation, et parfois ne sont pas confiants. Ils ont besoin d’avoir des options de repli ainsi que de nouvelles informations pour apprendre et s’améliorer avec le temps. Un bon arbitre apprend avec le temps et devient meilleur pour prendre des décisions.

Pouvez-vous parler de l’importance de créer une équipe multifonctionnelle qui peut identifier quels problèmes sont les mieux résolus en utilisant l’IA ?

La technologie de machine learning est généralement bien adaptée pour résoudre des problèmes très difficiles et spécifiques qui ne sont pas résolus avec d’autres approches. Tout problème difficile – cela nécessite une équipe pour réussir. Lorsque les entreprises sont nouvelles dans l’IA – il y a souvent un récit faux selon lequel un seul scientifique du machine learning, ou même une équipe de machine learning, peut résoudre le problème par eux-mêmes. Je n’ai jamais trouvé cela être vrai. Cela nécessite une équipe avec différents horizons et approches pour résoudre un problème difficile – et certainement pour déployer avec succès la technologie de machine learning en production.

Je vous remercie pour cette grande interview, pour les lecteurs (et en particulier les dirigeants d’entreprise) qui sont intéressés à en apprendre davantage, je recommande qu’ils lisent le livre Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable.