Victor Thu, Président de Datatron – Série d’entretiens

Victor Thu est le Président de Datatron, une plateforme qui aide les entreprises à exploiter le pouvoir de l’apprentissage automatique, en accélérant les déploiements, en détectant les problèmes précocement et en augmentant l’efficacité de la gestion de plusieurs modèles à grande échelle.

Votre background est en marketing de produits, lancement sur le marché et gestion de produits, comment ce background vous a-t-il mené à travailler dans l’apprentissage automatique et l’IA ?

J’adore la technologie et certains de mes amis proches me surnomment même le « technologie-whisperer ». J’aime prendre des sujets de technologie complexes et les traduire dans un langage que les gens peuvent comprendre, et m’éduquer sur les nouvelles technologies pour comprendre le « pourquoi » derrière les technologies qui comptent le plus pour les gens.

Ma première rencontre avec ce que j’appelle « l’IA moderne » est lorsque j’ai regardé une présentation clé par un professeur d’IA de Stanford célèbre, le Dr Fei-Fei Li. La présentation du Dr Li était si captivante qu’elle a servi de point de basculement pour moi dans ma carrière. Cette présentation m’a convaincu que c’est là que je voulais être ensuite. Je voulais faire partie de la prochaine vague de technologie où nous utilisons l’IA et l’apprentissage automatique pour résoudre des défis commerciaux.

Depuis, j’ai travaillé avec un certain nombre de startups d’IA et d’apprentissage automatique, travaillant à utiliser la technologie pour répondre à des besoins commerciaux réels. J’ai travaillé très étroitement avec des scientifiques en apprentissage automatique de niveau Ph.D., qui m’ont fourni une connaissance considérable en IA et en apprentissage automatique. Et je suis encore en train d’apprendre aujourd’hui, car l’espace évolue très rapidement.

Donc, c’est vraiment ma passion pour la technologie et la façon de l’utiliser pour aider les autres qui m’a amené à travailler étroitement avec l’IA et l’apprentissage automatique.

Datron se concentre sur MLOps, pour les lecteurs qui ne sont pas familiers avec ce terme, pourriez-vous le décrire spécifiquement ?

MLOps est essentiellement la codification et la simplification du processus très artisanal d’obtenir des modèles d’IA et d’apprentissage automatique du prototype à la production.

L’une des plus grandes idées fausses est que, une fois que les data scientists ont construit leurs modèles d’IA, ils peuvent les déployer rapidement. Cependant, la réalité est qu’il peut falloir jusqu’à un an avant qu’un modèle puisse être déployé.

La principale raison de ce retard est que les personnes qui ont une expertise dans le développement de modèles ne possèdent pas nécessairement une expertise en ingénierie logicielle. Une bonne comparaison est les architectes qui conçoivent des gratte-ciel – ils ne sont pas non plus les développeurs qui les construisent.

MLOps est essentiellement le pont entre les développeurs de modèles et l’ingénierie logicielle. Au lieu de devoir passer plus de 12 mois pour déployer des modèles, MLOps peut réduire ce processus long à quelques jours seulement.

Dans un article que vous avez écrit pour nous en septembre 2021, vous avez discuté de la façon dont « Le principal obstacle pour apporter des solutions en production n’est pas la qualité des modèles, mais plutôt le manque d’infrastructure pour permettre aux entreprises de le faire. » Pourquoi est-ce un tel obstacle pour la plupart des entreprises ?

Il y a plusieurs facteurs contributifs à cela.

• L’idéalisation excessive du logiciel open-source « gratuit ». Je veux d’abord souligner que nous aimons le logiciel open-source et que nous croyons fermement qu’il a aidé l’industrie à progresser par bonds et par poussées. Cependant, beaucoup ne comprennent pas la complexité du logiciel open-source en relation avec l’IA et l’apprentissage automatique. Aujourd’hui, il y a une pénurie sévère de talents en IA et en apprentissage automatique. Lorsque vous couplez cela avec la recherche d’ingénieurs logiciels (ingénieurs en apprentissage automatique ou ingénieurs MLOps) qui savent gérer les propriétés uniques des codes d’IA et d’apprentissage automatique, pour ensuite attendre de pouvoir embaucher et construire une plateforme MLOps à l’échelle de l’entreprise en interne en déterminant les 300+ projets MLOps open-source, c’est se préparer à l’échec.
• Manque d’infrastructure pour soutenir les équipes d’ingénierie.Les entreprises ont besoin d’un meilleur environnement pour permettre aux ingénieurs de réussir. Il faut une bande passante et un budget appropriés pour fournir aux équipes les outils corrects. L’IA est une technologie relativement nouvelle. Les entreprises qui font de l’IA ne savent pas toujours ce qu’elles doivent faire pour déployer des modèles rapidement, c’est pourquoi MLOps est un outil si vital.

Comment l’utilisation de MLOps résout-elle le problème de manque d’infrastructure ?

MLOps résout le problème de manque d’infrastructure de quatre manières :

1. Aucun changement de code propriétaire : les data scientists veulent la flexibilité de construire des modèles pour répondre aux cas d’utilisation commerciale dans leur environnement, donc tout processus MLOps qui nécessite des changements de code complique l’intégrité de leurs modèles.
2. Automatisation/scripting : de nombreuses équipes scriptent des modèles de manière codée, ce qui prend beaucoup de temps. MLOps automatise tout le processus, ce qui économise beaucoup de temps et d’énergie.
3. Mise à jour simplifiée : les modèles d’IA changent régulièrement pour s’adapter à leur environnement. Parfois, les data scientists doivent revenir en arrière pour mettre à jour les modèles fréquemment. Sans MLOps, il n’y a pas de moyen de éviter cette mise à jour répétitive.
4. Gestion de l’infrastructure sous-jacente : pour déployer des modèles, vous devez calculer le réseau et le stockage, ce qui nécessite des propriétés uniques des modèles d’IA et d’apprentissage automatique. Les outils MLOps ont la capacité de puiser dans les ressources correctes pour les mettre à l’échelle en conséquence.

Il y a également des exigences d’entreprise qui ne sont souvent pas prises en compte lors de la construction de votre propre outil MLOps, telles que : le contrôle d’accès basé sur les rôles (RBAC), l’intégration et l’interopérabilité, la prise en charge de différents outils d’apprentissage automatique, la résolution des vulnérabilités de sécurité et le départ inattendu de membres clés de l’équipe.

Quelle est votre opinion personnelle sur l’importance de la gouvernance de l’IA ?

Il y a eu de nombreuses histoires d’horreur sur les modèles d’IA qui ne fonctionnent pas correctement, allant de la mauvaise étiquette de certains groupes de personnes à la cause de pertes financières massives pour des entreprises cotées en bourse.

La gouvernance de l’IA est extrêmement importante pour les entreprises lorsqu’elles ont des modèles d’IA en production. Avec cela dit, ce n’est pas différent de la gouvernance des TI ou de la gouvernance commerciale. Aujourd’hui, lorsque vos TI exécutent des applications dans le cloud ou même dans leurs propres centres de données, ils ont une série d’outils pour s’assurer que les applications fonctionnent correctement.

Une fois que vous avez des modèles d’IA en production, vous devez avoir des mécanismes et des outils en place pour aider à donner aux entreprises et aux data scientists une visibilité sur ce que les modèles font.

En particulier à ce stade naissant de l’IA et de l’apprentissage automatique, il n’y a pas d’option « paramétrer et oublier ». Au début, vous devez surveiller comment votre modèle se comporte et apporter les ajustements appropriés. Avoir des capacités de surveillance appropriées pour qu’elles puissent vous alerter lorsque vos modèles se comportent en dehors des limites souhaitées est clé.

La gestion des risques de modèle (MRM) doit également prendre en compte les différentes personnes impliquées dans le développement et le déploiement du modèle. Quel contrôle d’accès avez-vous mis en place pour assurer l’intégrité des modèles ? Ou comment vous assurez-vous que les personnes de différents groupes n’utilisent pas accidentellement vos modèles pour des cas d’utilisation pour lesquels vos modèles ne sont pas conçus ? Toutes des questions que les équipes doivent se poser.

Comment Datatron aide-t-il à la gestion des risques de modèle ?

MLOps permet des mises à jour et des changements de modèles rapides. Par exemple, si un modèle rejette inappropriément les personnes dans une demande de prêt, MLOps permet de retirer le modèle et de réintroduire un nouveau, en gérant ainsi le risque de manière simple.

Il protège les modèles contre les dérives de biais et maintient les métriques clés tout en étant en production grâce à un tableau de bord simple qui présente ces métriques en utilisant des données détaillées approfondies d’une vue d’ensemble de haut niveau qui peut être facilement comprise par les décideurs commerciaux.

La plateforme Datatron de gouvernance de l’IA fournit un niveau supérieur à une fonctionnalité de surveillance générique – en donnant un contexte et une logique supplémentaires qui affichent une visibilité claire des modèles qui sont plus pertinents pour les cas d’utilisation des clients.

Dans un article de blog sur Datatron, vous avez décrit comment Datatron adoptait la devise de l’IA fiable ™. Pourriez-vous décrire ce que cela signifie pour vous ?

Lorsque nous avons créé cela, nous avons pensé à la façon dont nous sommes si à l’aise pour voler dans les avions de ligne aujourd’hui parce qu’ils sont très fiables.

Malgré toutes ces discussions sur l’IA éthique, l’IA responsable, etc. le besoin clé est que les entreprises puissent utiliser l’IA et l’apprentissage automatique de manière fiable – tout comme si leurs employés devaient monter dans un avion de ligne commercial.

Utiliser des termes comme l’IA éthique, l’IA responsable a vraiment découlé du problème des modèles d’IA actuels qui ne font pas ce qu’ils sont censés faire, et sont donc considérés comme non fiables. Les entreprises ne veulent pas utiliser l’IA parce qu’elles n’ont pas confiance en ce que leurs modèles ne sont pas biaisés. Cela signifie que leurs modèles sont non fiables et que Datatron est déterminé à changer cela.

Y a-t-il autre chose que vous aimeriez partager sur Datatron ?

Nous sommes l’un des rares acteurs MLOps qui sont éprouvés au Super Bowl – travaillant avec succès dans un scénario de haute pression, ce qui n’est pas typique pour une startup ou un outil open-source. Le client, Domino’s Pizza, travaille avec Datatron pour opérationnaliser facilement et rapidement des modèles d’IA en production, qui ont ensuite été soumis à l’épreuve ultime pendant le Super Bowl.

MLOps est vraiment la façon d’aider les modèles d’IA et d’apprentissage automatique à entrer en production tout en préservant les ressources et en réduisant les coûts. Nous sommes une source durable pour des modèles d’IA et d’apprentissage automatique réussis et servons de catalyseur pour les revenus. Les entreprises peuvent enfin obtenir leur retour sur investissement de leurs projets d’IA et d’apprentissage automatique. Quels que soient vos marges, vous pouvez produire des résultats en utilisant MLOps.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter Datatron.