Victor Thu, Président de Datatron – Série d’entretiens

Victor Thu est le Président de Datatron, une plate-forme qui aide les entreprises à exploiter le pouvoir de l’apprentissage automatique, en accélérant les déploiements, en détectant les problèmes précocement et en augmentant l’efficacité de la gestion de plusieurs modèles à grande échelle.

Votre parcours est en marketing de produits, lancement de produits et gestion de produits, comment ce parcours vous a-t-il mené à travailler dans l’apprentissage automatique et l’IA ?

J’adore la technologie et certains de mes amis proches me surnomment même le « technologie-whisperer ». J’aime prendre des sujets de technologie complexes et les traduire dans un langage que les gens peuvent comprendre, et m’éduquer sur de nouvelles technologies pour comprendre le « pourquoi » derrière les technologies qui comptent le plus pour les gens.

Ma première rencontre avec ce que j’appelle « l’IA moderne » remonte à quando j’ai regardé une présentation de conférence d’un célèbre professeur d’IA de Stanford, le Dr Fei-Fei Li. La présentation du Dr Li était si captivante qu’elle a marqué un tournant dans ma carrière. Cette présentation m’a convaincu que c’est là que je voulais être ensuite. Je voulais faire partie de la prochaine vague de technologie où nous utilisons l’IA et l’apprentissage automatique pour résoudre des défis commerciaux.

Depuis, j’ai travaillé avec de nombreuses startups d’IA et d’apprentissage automatique, travaillant à utiliser la technologie pour répondre à des besoins commerciaux réels. J’ai travaillé très étroitement avec des scientifiques en apprentissage automatique de niveau Ph.D., qui m’ont fourni une connaissance considérable en IA et en apprentissage automatique. Et je suis toujours en train d’apprendre aujourd’hui, car l’espace évolue très rapidement.

Donc, c’est vraiment ma passion pour la technologie et la façon de l’utiliser pour aider les autres qui m’a amené à travailler étroitement avec l’IA et l’apprentissage automatique.

Datatron se concentre sur les MLOps, pour les lecteurs qui ne connaissent pas ce terme, pourriez-vous le décrire spécifiquement ?

Les MLOps consistent essentiellement à codifier et à simplifier le processus très artisanal de passer des modèles d’IA et d’apprentissage automatique de la phase de prototype à la phase de production.

L’une des plus grandes idées fausses est que, une fois que les data scientists ont construit leurs modèles d’IA, ils peuvent les déployer rapidement. Cependant, la réalité est qu’il peut falloir jusqu’à un an avant qu’un modèle puisse être déployé.

La principale raison de ce retard est que les personnes qui ont une expertise dans le développement de modèles ne possèdent pas nécessairement une expertise en ingénierie logicielle. Une bonne comparaison est celle des architectes qui conçoivent des gratte-ciel – ils ne sont pas également les développeurs qui les construisent.

Les MLOps constituent essentiellement le pont entre les développeurs de modèles et l’ingénierie logicielle. Au lieu de devoir passer plus de 12 mois pour déployer des modèles, les MLOps peuvent réduire ce processus long à quelques jours seulement.

Dans un article que vous avez écrit pour nous en septembre 2021, vous avez discuté de la façon dont « Le principal obstacle pour apporter des solutions en production n’est pas la qualité des modèles, mais plutôt le manque d’infrastructure pour permettre aux entreprises de le faire. » Pourquoi est-ce un tel obstacle pour la plupart des entreprises ?

Il y a plusieurs facteurs qui contribuent à cela.

• L’idéalisation excessive du logiciel open source « gratuit ». Je veux d’abord souligner que nous aimons le logiciel open source et que nous croyons fermement qu’il a aidé l’industrie à progresser par bonds et par les prix. Cependant, beaucoup ne comprennent pas la complexité du logiciel open source en relation avec l’IA et l’apprentissage automatique. Aujourd’hui, il y a une pénurie grave de talents en IA et en apprentissage automatique. Lorsque vous couplez cela avec la recherche de logiciels ingénieurs (ingénieurs en apprentissage automatique ou en MLOps) qui savent gérer les propriétés uniques des codes d’IA et d’apprentissage automatique, pour ensuite s’attendre à embaucher et à construire une plate-forme MLOps à l’échelle de l’entreprise en interne en essayant de comprendre les 300+ projets MLOps open source, c’est se préparer à l’échec.
• Manque d’infrastructure pour soutenir les équipes d’ingénieurs. Les entreprises ont besoin d’un meilleur environnement pour configurer les ingénieurs pour réussir. Il faut une bande passante et un budget appropriés pour fournir aux équipes les outils corrects. L’IA est une technologie relativement nouvelle. Les entreprises qui font de l’IA ne savent pas toujours ce qu’elles doivent faire pour déployer des modèles rapidement, c’est pourquoi les MLOps sont un outil si vital.

Comment les MLOps résolvent-ils le problème de manque d’infrastructure ?

Les MLOps résolvent le problème de manque d’infrastructure de quatre manières :

1. Aucun changement de code propriétaire : les data scientists veulent de la flexibilité pour construire des modèles qui conviennent aux cas d’utilisation commerciale dans leur environnement, donc tout processus MLOps qui nécessite des changements de code complique l’intégrité de leurs modèles.
2. Automatisation/scripting : de nombreuses équipes scriptent des modèles de manière codée, ce qui prend beaucoup de temps. Les MLOps automatisent tout ce processus, ce qui permet d’économiser beaucoup de temps et d’énergie.
3. Mise à jour simplifiée : les modèles d’IA changent régulièrement pour s’adapter à leur environnement. Parfois, les data scientists doivent revenir pour mettre à jour les modèles fréquemment. Sans MLOps, il n’y a pas de moyen de éviter ces mises à jour répétitives.
4. Gestion de l’infrastructure sous-jacente : pour déployer des modèles, vous devez calculer le réseau et le stockage, ce qui nécessite des propriétés uniques des modèles d’IA et d’apprentissage automatique. Les outils MLOps ont la capacité de puiser dans les ressources correctes pour les mettre à l’échelle en conséquence.

Il y a également des exigences d’entreprise qui ne sont souvent pas prises en compte lors de la construction de votre propre outil MLOps, telles que : le contrôle d’accès basé sur les rôles (RBAC), l’intégration et l’interopérabilité, le support de différents outils d’apprentissage automatique, la résolution des vulnérabilités de sécurité et le départ inattendu de membres clés de l’équipe.

Quelles sont vos vues personnelles sur l’importance de la gouvernance de l’IA ?

Il y a eu de nombreuses histoires d’horreur sur les modèles d’IA qui ne fonctionnent pas correctement, allant de la mauvaise étiquette de certains groupes de personnes à des pertes financières massives pour des entreprises cotées en bourse.

La gouvernance de l’IA est extrêmement importante pour les entreprises lorsqu’elles ont des modèles d’IA en production. Cependant, cela n’est pas différent de la gouvernance des TI ou des affaires. Aujourd’hui, lorsque vos TI exécutent des applications dans le cloud ou même dans leurs propres centres de données, elles ont une série d’outils pour s’assurer que les applications fonctionnent correctement.

Une fois que vous avez des modèles d’IA en production, vous devez avoir des mécanismes et des outils pour aider à donner à l’entreprise et aux data scientists une visibilité sur ce que font les modèles.

En particulier à ce stade naissant de l’IA et de l’apprentissage automatique, il n’y a pas d’option « configurer et oublier ». Au début, vous devez surveiller comment votre modèle se comporte et apporter des ajustements appropriés. Avoir des capacités de surveillance appropriées pour qu’elles puissent vous alerter lorsque vos modèles se comportent en dehors des limites souhaitées est essentiel.

La gestion des risques de modèle (MRM) doit également prendre en compte les différentes personnes impliquées dans le développement et le déploiement du modèle. Quel contrôle d’accès avez-vous mis en place pour assurer l’intégrité des modèles ? Ou comment assurez-vous que les personnes de différents groupes n’utilisent pas vos modèles pour des cas d’utilisation pour lesquels vos modèles ne sont pas conçus ? Toutes ces questions que les équipes doivent se poser.

Comment Datatron aide-t-il à gérer les risques de modèle ?

Les MLOps permettent des mises à jour et des changements de modèles rapides. Par exemple, si un modèle rejette inappropriément les personnes sur une demande de prêt, les MLOps permettent de retirer le modèle et de réintroduire un nouveau, en gérant ainsi le risque de manière simple.

Il protège les modèles contre les dérives de biais et maintient les métriques clés pendant la production via un tableau de bord simple qui présente ces métriques à l’aide de données détaillées approfondies provenant d’une vue d’ensemble de haut niveau qui peut être facilement comprise par les décideurs commerciaux.

La plate-forme Datatron fournit une gouvernance de l’IA qui offre un niveau supérieur à une fonction de surveillance générique – en fournissant un contexte et une logique supplémentaires qui affichent une visibilité claire du modèle qui sont plus pertinentes pour les cas d’utilisation des clients.

Dans un article de blog sur Datatron, vous avez décrit comment Datatron adoptait la devise de l’IA fiable ™. Pouvez-vous décrire ce que cela signifie à votre avis ?

Lorsque nous avons créé cela, nous avons réfléchi à la façon dont nous sommes si à l’aise pour voler dans des avions de ligne commerciaux aujourd’hui parce qu’ils sont très fiables.

Malgré toutes ces discussions sur l’IA éthique, l’IA responsable, etc. le besoin clé est que les entreprises puissent utiliser l’IA et l’apprentissage automatique de manière fiable – tout comme si leurs employés prenaient un avion de ligne commercial.

L’utilisation de termes comme l’IA éthique, l’IA responsable a vraiment découlé du problème actuel des modèles d’IA qui ne font pas ce qu’ils sont censés faire, et qui sont donc considérés comme non fiables. Les entreprises ne sont pas disposées à utiliser l’IA parce qu’elles n’ont pas confiance en ce que leurs modèles ne sont pas biaisés. Cela signifie que leurs modèles sont non fiables et que Datatron est déterminé à changer cela.

Y a-t-il autre chose que vous aimeriez partager sur Datatron ?

Nous sommes l’un des rares acteurs MLOps qui sont éprouvés au Super Bowl – travaillant avec succès dans un scénario de haute pression, ce qui n’est pas typique pour une startup ou un outil open source. Le client, Domino’s Pizza , travaille avec Datatron pour déployer facilement et rapidement des modèles d’IA en production, qui ont ensuite été soumis à l’épreuve ultime pendant le Super Bowl.

Les MLOps sont vraiment la façon d’aider les modèles d’IA et d’apprentissage automatique à entrer en production tout en préservant les ressources et en réduisant les coûts. Nous sommes une source durable pour des modèles d’IA et d’apprentissage automatique réussis et servons de catalyseur pour les revenus. Les entreprises peuvent enfin obtenir un retour sur investissement de leurs projets d’IA et d’apprentissage automatique. Quels que soient vos marges, vous pouvez produire des résultats en utilisant les MLOps.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Datatron.