Wilson Pang, co-auteur de Real World AI – Série d’entretiens

Wilson Pang a rejoint Appen en novembre 2018 en tant que directeur technique et est responsable des produits et de la technologie de l’entreprise. Wilson a plus de dix-neuf ans d’expérience dans l’ingénierie logicielle et la science des données. Avant de rejoindre Appen, Wilson était directeur des données de Ctrip en Chine, la deuxième plus grande agence de voyages en ligne au monde, où il a dirigé des ingénieurs de données, des analystes, des responsables de produits de données et des scientifiques pour améliorer l’expérience utilisateur et augmenter l’efficacité opérationnelle qui a fait croître l’entreprise. Auparavant, il était directeur principal de l’ingénierie chez eBay en Californie et a fourni un leadership dans divers domaines, notamment les services de données et les solutions, la science de la recherche, la technologie marketing et les systèmes de facturation. Il a travaillé en tant qu’architecte chez IBM avant d’arriver chez eBay, en construisant des solutions technologiques pour divers clients. Wilson a obtenu ses diplômes de master et de licence en ingénierie électrique de l’Université de Zhejiang en Chine.

Nous discutons de son nouveau livre : Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable

Vous décrivez comment, lorsque vous avez dirigé les équipes de science de la recherche d’eBay, l’une de vos premières leçons avec l’apprentissage automatique était de comprendre l’importance de savoir quels indicateurs de performance mesurer. L’exemple donné était comment l’indicateur « achats par session » n’a pas tenu compte de la valeur monétaire d’un article. Comment les entreprises peuvent-elles mieux comprendre quels indicateurs de performance doivent être mesurés pour éviter des problèmes similaires ?

Commencez par les objectifs que votre équipe attribue au modèle d’IA – dans notre cas, nous voulions augmenter les revenus avec l’apprentissage automatique. Lorsque vous attachez des indicateurs de performance aux objectifs, pensez à quelle mécanique ces indicateurs de performance produiront, une fois que le modèle est lancé et que les gens commencent à interagir avec lui, mais notez également vos hypothèses. Dans notre cas, nous avons supposé que le modèle allait optimiser les revenus, mais le nombre d’achats par session ne se traduisait pas par cela, car le modèle était optimisé pour un grand nombre de ventes à faible valeur, et à la fin de la journée, nous n’avons pas gagné plus d’argent. Une fois que nous avons réalisé cela, nous avons pu modifier les indicateurs de performance et orienter le modèle dans la bonne direction. Ainsi, la détermination des indicateurs de performance détaillés, ainsi que la prise en compte des hypothèses, sont essentielles au succès d’un projet.

Qu’avez-vous personnellement appris en recherchant et en écrivant ce livre ?

Nous avons de nombreux problèmes différents qui peuvent être résolus par l’IA à partir de différentes entreprises et de différents secteurs. Les cas d’utilisation peuvent être très différents, la solution d’IA peut être différente, les données pour former cette solution d’IA peuvent être différentes. Cependant, malgré toutes ces différences, les erreurs que les gens ont commises pendant leur parcours d’IA sont assez similaires. Ces erreurs se sont produites à nouveau et à nouveau dans toutes sortes d’entreprises et de secteurs.

Nous avons partagé certaines meilleures pratiques communes pour la mise en œuvre de projets d’IA avec l’espoir d’aider plus de personnes et d’entreprises à éviter ces erreurs et à gagner confiance dans le déploiement d’une IA responsable.

Quelles sont certaines des leçons les plus importantes que vous espérez que les gens retiendront de la lecture de ce livre ?

Nous croyons fermement que les utilisations réfléchies, responsables et éthiques de la technologie d’apprentissage automatique peuvent rendre le monde plus juste, plus équitable et plus inclusif. La technologie d’apprentissage automatique promet de remodeler tout dans le monde des affaires, mais elle n’a pas à être difficile. Il existe des méthodes et des processus éprouvés que les équipes peuvent suivre et obtenir la confiance pour déployer en production.

Une autre leçon clé est que les propriétaires de lignes d’activité (comme les responsables de produits) et les membres de l’équipe du côté technique (comme les ingénieurs et les scientifiques de données) doivent parler un langage commun. Pour déployer avec succès l’IA, les dirigeants doivent combler le fossé entre les équipes, en fournissant aux spécialistes de l’entreprise et au niveau C suffisamment de contexte pour converser efficacement avec les implementateurs techniques.

Beaucoup de gens pensent d’abord au code lorsqu’ils pensent à l’IA. L’une des leçons clés du livre est que les données sont essentielles au succès d’un modèle d’IA. Il y a beaucoup de choses qui sont liées aux données, de la collecte à l’étiquetage, au stockage et à chaque étape qui influencera le succès du modèle. Les déploiements d’IA les plus réussis sont ceux qui mettent l’accent sur les données et s’efforcent de continuellement améliorer cet aspect de leur modèle de ML.

Tout ce dont l’IA du monde réel a besoin est d’une équipe transversale et d’un esprit innovant.

Il est question de déterminer quand la précision d’un modèle d’IA est suffisamment élevée pour soutenir l’utilisation de l’IA. Quelle est la façon la plus simple d’évaluer le type de précision nécessaire ?

Cela dépend de vos cas d’utilisation et de votre tolérance aux risques. Les équipes qui développent l’IA devraient toujours avoir une phase de test où elles déterminent les niveaux de précision et les seuils acceptables pour leurs organisations et leurs parties prenantes. Pour les cas d’utilisation à vie ou à mort – où il y a un risque de préjudice si l’IA se trompe, comme dans le cas des logiciels de condamnation, des voitures autonomes, des cas d’utilisation médicaux, la barre est très, très élevée – et les équipes doivent mettre en place des mesures de sauvegarde en cas d’erreurs du modèle. Pour les cas d’utilisation plus tolérants aux erreurs, où il y a beaucoup de subjectivité en jeu – comme la pertinence du contenu, de la recherche ou des publicités, les équipes peuvent s’appuyer sur les commentaires des utilisateurs pour continuer à ajuster leurs modèles même lorsqu’ils sont en production. Bien sûr, il y a certains cas d’utilisation à haut risque ici, où du matériel illégal ou immoral peut être affiché aux utilisateurs, donc des mécanismes de sauvegarde et de commentaires doivent être mis en place ici également.

Pouvez-vous définir l’importance de définir le succès d’un projet dès le départ ?

C’est tout aussi important de commencer par un problème commercial que de définir le succès dès le départ, car les deux vont de pair. En suivant l’exemple du livre sur le concessionnaire automobile qui utilise l’IA pour étiqueter des images, ils n’ont pas déterminé à quoi ressemblait le succès, car ils n’avaient pas défini de problème commercial à résoudre. Le succès pour eux aurait pu être une multitude de choses différentes, ce qui rend difficile la résolution d’un problème, même pour des équipes de personnes, et encore plus pour un modèle d’apprentissage automatique avec une portée fixe. S’ils avaient défini le succès comme l’étiquetage précis de 80 % de tous les véhicules avec des bosses dans l’inventaire de voitures d’occasion, alors, lorsqu’ils auraient étiqueté avec précision 85 %, l’équipe aurait considéré cela comme un succès. Mais si ce succès n’est pas lié au problème commercial et à l’impact commercial direct, il est difficile d’évaluer le projet en dehors de la définition centrée sur la précision d’étiquetage dans cet exemple. Ici, le problème commercial était plus complexe et l’étiquetage des bosses n’en est qu’un aspect. Dans leur cas, ils auraient pu mieux définir le succès comme la sauvegarde de temps et d’argent sur le processus de réclamation ou l’optimisation du processus de réparation de X % et puis traduire l’impact de l’étiquetage en résultats commerciaux réels.

Combien est-il important de s’assurer que les exemples de données de formation couvrent tous les cas d’utilisation qui se produiront lors du déploiement en production ?

Il est extrêmement important que le modèle soit formé sur tous les cas d’utilisation pour éviter les préjugés. Mais il est également important de noter que, même si il est impossible de couvrir absolument tous les cas d’utilisation en production, les équipes qui construisent l’IA doivent comprendre leurs données de production, ainsi que leurs données de formation, afin de former l’IA à ce qu’elle rencontrera en production. L’accès à des données de formation provenant de grands groupes diversifiés avec divers cas d’utilisation sera essentiel au succès du modèle. Par exemple, un modèle formé pour reconnaître les animaux de compagnie des gens dans une image téléchargée doit être formé sur tous les types d’animaux de compagnie ; chiens, chats, oiseaux, petits mammifères, lézards, etc. Si le modèle n’est formé que sur les chiens, les chats et les oiseaux, alors, lorsqu’une personne télécharge une image avec son cobaye, le modèle ne pourra pas l’identifier. Même si c’est un exemple très simple, cela montre à quel point la formation sur autant de cas d’utilisation probables que possible est essentielle au succès d’un modèle.

Il est question dans le livre de la nécessité de développer de bonnes habitudes d’hygiène des données de haut en bas, quels sont les premiers pas pour cultiver cette habitude ?

De bonnes habitudes d’hygiène des données augmenteront l’utilité des données internes et les prépareront pour les cas d’utilisation de l’IA. L’ensemble de l’entreprise doit devenir compétent dans l’organisation et le suivi de ses ensembles de données. Une façon sûre de réaliser cela est de le rendre une exigence commerciale et de suivre la mise en œuvre afin qu’il y ait très peu de rapports qui se terminent par des travaux personnalisés, et que les équipes travaillent de plus en plus avec des pipelines de données canalisés vers un référentiel central, avec une ontologie claire. Une autre bonne pratique est de conserver un enregistrement de quand et où les données ont été collectées et ce qui leur est arrivé avant d’être placées dans la base de données, ainsi que d’établir des processus pour nettoyer les données inutilisées ou obsolètes périodiquement.

Je vous remercie pour cette grande interview, pour les lecteurs qui souhaitent en savoir plus, je vous recommande de lire le livre Le monde réel de l’IA : Un guide pratique pour un apprentissage automatique responsable.