Wilson Pang, co-auteur de Real World AI – Série d'interviews

Wilson Pang a rejoint Appen en novembre 2018 en tant que CTO et est responsable des produits et de la technologie de l'entreprise. Wilson a plus de dix-neuf ans d'expérience en génie logiciel et en science des données. Avant de rejoindre Appen, Wilson était directeur des données de Ctrip en Chine, la deuxième plus grande agence de voyages en ligne au monde, où il dirigeait des ingénieurs de données, des analystes, des responsables de produits de données et des scientifiques pour améliorer l'expérience utilisateur et accroître l'efficacité opérationnelle qui a grandi l'entreprise. Auparavant, il était directeur principal de l'ingénierie chez eBay en Californie et a assuré la direction dans divers domaines, notamment les services et solutions de données, la science de la recherche, la technologie marketing et les systèmes de facturation. Il a travaillé comme architecte chez IBM avant eBay, créant des solutions technologiques pour divers clients. Wilson a obtenu sa maîtrise et son baccalauréat en génie électrique de l'Université du Zhejiang en Chine.

Nous discutons de son nouveau livre: Le monde réel de l'IA : un guide pratique pour un apprentissage automatique responsable

Vous décrivez comment, lorsque vous avez dirigé les équipes scientifiques de recherche d'eBay, l'une de vos premières leçons avec l'apprentissage automatique a été de comprendre l'importance de savoir quelles mesures mesurer. L'exemple donné était la façon dont la métrique "achats par session" ne tenait pas compte de la valeur monétaire d'un article. Comment les entreprises peuvent-elles mieux comprendre quelles mesures doivent être mesurées pour éviter des problèmes similaires ?

Commencez par les objectifs que votre équipe attribue au modèle d'IA. Dans notre cas, nous voulions générer plus de revenus grâce à l'apprentissage automatique. Lorsque vous attachez des métriques aux objectifs, réfléchissez à la mécanique que ces métriques produiront une fois que vous aurez publié le modèle et que les gens commenceront à interagir avec lui, mais notez également vos hypothèses. Dans notre cas, nous avons supposé que le modèle optimiserait les revenus, mais le nombre d'achats par session ne s'est pas traduit par cela, car le modèle optimisait pour un nombre élevé de ventes à faible valeur et, en fin de compte, nous n'étions pas ne gagne pas plus d'argent. Une fois que nous avons réalisé cela, nous avons pu modifier les métriques et orienter le modèle dans la bonne direction. Ainsi, la détermination des métriques granulaires, ainsi que la notation des hypothèses sont essentielles au succès d'un projet.

Qu'avez-vous personnellement appris en faisant des recherches et en écrivant ce livre ?

Nous avons beaucoup de problèmes différents qui peuvent être résolus par l'IA de différentes entreprises et de différentes industries. Les cas d'utilisation peuvent être très différents, la solution d'IA peut être différente, les données pour former cette solution d'IA peuvent être différentes. Cependant, malgré toutes ces différences, les erreurs commises par les gens au cours de leur parcours en IA sont assez similaires. Ces erreurs se sont produites encore et encore dans toutes sortes d'entreprises de toutes sortes d'industries.

Nous avons partagé quelques bonnes pratiques communes lors de la mise en œuvre de projets d'IA dans l'espoir d'aider davantage de personnes et d'entreprises à éviter ces erreurs et à leur donner la confiance nécessaire pour déployer une IA responsable.

Quelles sont certaines des leçons les plus importantes que vous espérez que les gens tireront de cette lecture ?

Nous croyons fermement que des utilisations réfléchies, responsables et éthiques de la technologie d'apprentissage automatique peuvent faire du monde un endroit plus juste, équitable et inclusif. La technologie d'apprentissage automatique promet de tout remodeler dans le monde des affaires, mais cela n'a pas à être difficile. Il existe des méthodes et des processus éprouvés que les équipes peuvent suivre et obtenir la confiance nécessaire pour déployer en production.

Une autre leçon clé est que les propriétaires de secteurs d'activité (comme les chefs de produit) et les membres de l'équipe du côté plus technique (comme les ingénieurs et les scientifiques des données) doivent parler un langage commun. Pour déployer avec succès l'IA, les dirigeants doivent combler le fossé entre les équipes, en fournissant aux spécialistes métier et au niveau C suffisamment de contexte pour converser efficacement avec les implémenteurs techniques.

Beaucoup de gens pensent d'abord au code lorsqu'ils pensent à l'IA. L'une des principales leçons du livre est que les données sont essentielles au succès d'un modèle d'IA. Il y a beaucoup de choses qui vont avec les données, de la collecte à l'étiquetage en passant par le stockage et chaque étape influencera le succès du modèle. Les déploiements d'IA les plus réussis sont ceux qui accordent une grande importance aux données et s'efforcent d'améliorer en permanence cet aspect de leur modèle ML.

Tout ce dont l'IA du monde réel a besoin, c'est d'une équipe interfonctionnelle et d'un esprit d'innovation.

Il s'agit de déterminer quand la précision d'un modèle d'IA est suffisamment élevée pour prendre en charge l'utilisation de l'IA. Quel est le moyen le plus simple d'évaluer le type de précision nécessaire ?

Cela dépend de vos cas d'utilisation et de votre tolérance au risque. Les équipes qui développent l'IA doivent toujours avoir une phase de test où elles déterminent les niveaux de précision et les seuils acceptables pour leurs organisations et leurs parties prenantes. Pour les cas d'utilisation de vie ou de mort - où il y a un préjudice potentiel si l'IA tourne mal, comme dans le cas des logiciels de détermination de la peine, des voitures autonomes, des cas d'utilisation médicale, la barre est très, très haute - et les équipes doivent mettre en place placer des contingences au cas où les modèles seraient erronés. Pour les cas d'utilisation plus tolérants aux pannes, où il y a beaucoup de subjectivité en jeu - comme le contenu, la recherche ou la pertinence des annonces, les équipes peuvent compter sur les commentaires des utilisateurs pour continuer à ajuster leurs modèles même en cours de production. Bien sûr, il existe ici aussi des cas d'utilisation à haut risque, où du matériel illégal ou immoral pourrait être montré aux utilisateurs, donc des garanties et des mécanismes de rétroaction doivent être en place ici aussi. 

Pouvez-vous définir l'importance de définir le succès d'un projet dès le départ ? 

Il est tout aussi important de commencer par un problème commercial que de définir le succès dès le départ, car les deux vont de pair. Suivant l'exemple du livre sur le concessionnaire automobile utilisant l'IA pour étiqueter les images, ils n'ont pas déterminé à quoi ressemblait le succès car ils n'avaient pas défini de problème commercial à résoudre. Pour eux, le succès aurait pu être un certain nombre de choses différentes, ce qui rend difficile la résolution d'un problème, même pour des équipes de personnes, sans parler d'un modèle d'apprentissage automatique avec une portée fixe. S'ils avaient décidé d'étiqueter tous les véhicules avec des bosses pour créer une liste de véhicules nécessitant une réparation et défini le succès comme étiquetant avec précision 80 % de toutes les bosses de véhicules dans l'inventaire des voitures d'occasion, alors quand ils auraient étiqueté avec précision 85 %, l'équipe l'aurait appelé un succès. Mais si ce succès n'est pas lié au problème commercial et à l'impact commercial direct, il est difficile d'évaluer le projet en dehors de la définition ciblée de la précision de l'étiquetage dans cet exemple. Ici, le problème commercial était plus complexe et l'étiquetage des bosses n'en est qu'un élément. Dans leur cas, ils auraient pu faire mieux en définissant le succès comme un gain de temps/d'argent sur le processus de réclamation ou en optimisant le processus de réparation de X %, puis en traduisant l'impact de l'étiquetage en résultats commerciaux réels.

Dans quelle mesure est-il important de s'assurer que les exemples de données de formation couvrent tous les cas d'utilisation qui se produiront lors du déploiement en production ?

Il est extrêmement important que le modèle soit formé sur tous les cas d'utilisation pour éviter les biais. Mais il est également important de noter que, s'il est impossible de couvrir absolument tous les cas d'utilisation en production, les équipes qui construisent l'IA doivent comprendre leurs données de production, ainsi que leurs données de formation afin de former l'IA à ce qu'elle rencontrera en production. . L'accès aux données de formation provenant de grands groupes diversifiés avec divers cas d'utilisation sera essentiel au succès du modèle. Par exemple, un modèle qui est formé pour reconnaître l'animal de compagnie des gens dans une image téléchargée doit être formé sur tous les types d'animaux de compagnie ; chiens, chats, oiseaux, petits mammifères, lézards, etc. Si le modèle ne s'entraîne que sur des chiens, des chats et des oiseaux, lorsque quelqu'un télécharge une image avec son cochon d'Inde, le modèle ne pourra pas l'identifier. Bien qu'il s'agisse d'un exemple très simple, il montre à quel point la formation sur autant de cas d'utilisation probables que possible est essentielle au succès d'un modèle.

Le livre traite de la nécessité de développer de bonnes habitudes d'hygiène des données de haut en bas. Quelles sont les premières étapes courantes pour entretenir cette habitude ?

De bonnes habitudes d'hygiène des données augmenteront la convivialité des données internes et les prépareront pour les cas d'utilisation de ML. L'ensemble de l'entreprise doit maîtriser l'organisation et le suivi de ses ensembles de données. Un moyen sûr d'y parvenir est d'en faire une exigence métier et de suivre la mise en œuvre afin qu'il y ait très peu de rapports qui finissent par être des tâches personnalisées, et les équipes travaillent de plus en plus avec des pipelines de données canalisés vers un référentiel central, avec une ontologie claire. Une autre bonne pratique consiste à conserver une trace du moment et de l'endroit où les données ont été collectées et de ce qui s'est passé avant qu'elles ne soient placées dans la base de données, ainsi qu'à établir des processus pour nettoyer périodiquement les données inutilisées ou obsolètes.

Merci pour la grande interview, pour les lecteurs qui souhaitent en savoir plus, je leur recommande de lire le livre Le monde réel de l'IA : un guide pratique pour un apprentissage automatique responsable.