Yotam Oren, PDG & Cofondateur de Mona Labs – Série d’entretiens

Yotam Oren, est le PDG & Cofondateur de Mona Labs, une plateforme qui permet aux entreprises de transformer les initiatives d’IA de simples expériences de laboratoire en opérations commerciales évolutives en comprenant vraiment comment les modèles ML se comportent dans les processus et applications commerciaux réels.

Mona analyse automatiquement le comportement de vos modèles d’apprentissage automatique sur des segments de données protégés et dans le contexte des fonctions commerciales, afin de détecter les préjugés potentiels de l’IA. Mona offre la possibilité de générer des rapports de transparence complets qui répondent aux normes et réglementations de l’industrie, et offrent la confiance que l’application IA est conforme et exempte de tout préjugé.

Qu’est-ce qui vous a initialement attiré vers l’informatique ?

L’informatique est une carrière populaire dans ma famille, donc c’était toujours une option viable à l’arrière de mon esprit. Bien sûr, la culture israélienne est très pro-technologie. Nous célébrons les technologistes innovants et j’ai toujours eu la perception que l’informatique m’offrirait une voie de croissance et de réalisation.

Malgré cela, ce n’est qu’à l’âge universitaire que cela est devenu une passion personnelle. Je n’étais pas l’un de ces enfants qui commençaient à coder au collège. Dans ma jeunesse, j’étais trop occupé à jouer au basket pour prêter attention aux ordinateurs. Après le lycée, j’ai passé près de 5 ans dans l’armée, dans des rôles de leadership opérationnel/combat. Donc, d’une certaine manière, je n’ai vraiment commencé à apprendre l’informatique que lorsque j’ai dû choisir une majeure universitaire. Ce qui a captivé mon attention immédiatement, c’est que l’informatique combinait la résolution de problèmes et l’apprentissage d’une langue (ou de langues). Deux choses qui m’intéressaient particulièrement. À partir de ce moment-là, j’étais accroché.

De 2006 à 2008, vous avez travaillé sur la cartographie et la navigation pour une petite entreprise, quels étaient certains de vos principaux enseignements de cette époque ?

Mon rôle chez Telmap était de construire un moteur de recherche sur des données de cartes et de localisation.

C’étaient les tout débuts de l’ère des “grandes données” dans l’entreprise. Nous n’appelions pas encore cela ainsi, mais nous acquérions d’énormes jeux de données et essayions de tirer les insights les plus impactants et les plus pertinents pour les présenter à nos utilisateurs finals.

L’une des réalisations frappantes que j’ai eues était que les entreprises (y compris la nôtre) n’utilisaient qu’une petite partie de leurs données (pour ne pas mentionner les données externes publiques). Il y avait un tel potentiel pour de nouveaux insights, de meilleurs processus et expériences.

L’autre enseignement était que pour obtenir plus de nos données, nous devions avoir de meilleures architectures, de meilleures infrastructures, etc.

Pouvez-vous partager l’histoire de la genèse derrière Mona Labs ?

Les trois fondateurs, nous avons passé notre carrière à travailler sur des produits de données.

Nemo, le directeur technique, est mon ami et camarade de classe à l’université, et l’un des premiers employés de Google Tel Aviv. Il a lancé un produit appelé Google Trends, qui comportait des analyses avancées et de l’apprentissage automatique basés sur les données du moteur de recherche. Itai, l’autre cofondateur et directeur produit, faisait partie de l’équipe de Nemo chez Google (et je l’ai rencontré via Nemo). Les deux étaient constamment frustrés que les systèmes IA soient laissés sans surveillance après leur développement initial et leur test. Malgré la difficulté de tester correctement ces systèmes avant la production, les équipes ne savaient pas vraiment comment leurs modèles prédictifs se comportaient au fil du temps. De plus, il semblait que la seule fois où ils recevaient des commentaires sur les systèmes IA était lorsqu’il y avait des problèmes graves et que l’équipe de développement était appelée pour une “intervention d’urgence” pour résoudre des problèmes catastrophiques.

Pendant la même période, j’étais consultant chez McKinsey & Co, et l’un des plus grands obstacles que j’ai vus aux programmes d’IA et de données massives dans les grandes entreprises était le manque de confiance que les parties prenantes commerciales avaient dans ces programmes.

Le fil conducteur est devenu clair pour Nemo, Itai et moi-même lors de conversations. L’industrie avait besoin d’une infrastructure pour surveiller les systèmes IA/ML en production. Nous avons élaboré la vision de fournir cette visibilité afin d’augmenter la confiance des parties prenantes commerciales et de permettre aux équipes IA de toujours avoir une poignée sur la façon dont leurs systèmes fonctionnent et d’itérer plus efficacement.

Et c’est ainsi que Mona a été fondée.

Quels sont certains des problèmes actuels liés au manque de transparence de l’IA ?

Dans de nombreuses industries, les organisations ont déjà investi des dizaines de millions de dollars dans leurs programmes d’IA, et ont vu certains succès initiaux en laboratoire et dans de petits déploiements. Mais passer à l’échelle, atteindre une adoption large et faire en sorte que l’entreprise fasse vraiment confiance à l’IA a été un défi massif pour presque tout le monde.

Pourquoi cela se produit-il ? Eh bien, cela commence par le fait que de grandes recherches ne se traduisent pas automatiquement par de grands produits (un client nous a dit un jour : “Les modèles ML sont comme des voitures, dès qu’ils quittent le labo, ils perdent 20 % de leur valeur”). Les grands produits ont des systèmes de soutien. Il y a des outils et des processus pour garantir que la qualité est maintenue au fil du temps, et que les problèmes sont détectés tôt et résolus efficacement. Les grands produits ont également une boucle de rétroaction continue, ils ont un cycle d’amélioration et une feuille de route. Par conséquent, les grands produits nécessitent une transparence profonde et constante.

Lorsqu’il y a un manque de transparence, vous obtenez :

• Des problèmes qui restent cachés pendant un certain temps et puis éclatent à la surface, provoquant des “interventions d’urgence”
• Des enquêtes et des atténuations manuelles longues et fastidieuses
• Un programme d’IA qui n’est pas fiable pour les utilisateurs et les sponsors commerciaux et qui échoue finalement à passer à l’échelle

Quels sont certains des défis derrière la transparence et la fiabilité des modèles prédictifs ?

La transparence est un facteur important pour instaurer la confiance, bien sûr. La transparence peut prendre de nombreuses formes. Il y a la transparence de prédiction unique qui peut inclure l’affichage du niveau de confiance à l’utilisateur, ou la fourniture d’une explication/rationale pour la prédiction. La transparence de prédiction unique vise principalement à aider l’utilisateur à se sentir à l’aise avec la prédiction. Et puis, il y a la transparence globale qui peut inclure des informations sur la précision prédictive, les résultats inattendus et les problèmes potentiels. La transparence globale est nécessaire pour l’équipe IA.

La partie la plus difficile de la transparence globale est de détecter les problèmes tôt, d’alerter le membre de l’équipe concerné afin qu’il puisse prendre des mesures correctives avant que les catastrophes ne se produisent.

Pourquoi il est difficile de détecter les problèmes tôt :

• Les problèmes commencent souvent petit et mijotent, avant de finalement éclater à la surface.
• Les problèmes commencent souvent en raison de facteurs externes ou incontrôlables, tels que les sources de données.
• Il y a de nombreuses façons de “diviser le monde” et rechercher de manière exhaustive des problèmes dans de petites poches peut entraîner beaucoup de bruit (fatigue d’alerte), du moins lorsqu’il s’agit d’une approche naive.

Un autre aspect difficile de la fourniture de transparence est la prolifération massive des cas d’utilisation de l’IA. Cela rend une approche “taille unique” presque impossible. Chaque cas d’utilisation de l’IA peut inclure des structures de données différentes, des cycles commerciaux différents, des métriques de succès différentes, et souvent des approches techniques et des piles différentes.

C’est donc une tâche monumentale, mais la transparence est si fondamentale pour le succès des programmes d’IA, vous devez le faire.

Pouvez-vous partager certains détails sur les solutions pour les modèles NLU / NLP et les chatbots ?

L’IA conversationnelle est l’un des principaux domaines d’application de Mona. Nous sommes fiers de soutenir des entreprises innovantes avec une large gamme de cas d’utilisation d’IA conversationnelle, notamment des modèles de langage, des chatbots et plus encore.

Un facteur commun à travers ces cas d’utilisation est que les modèles fonctionnent à proximité (et parfois de manière visible) des clients, donc les risques de performances incohérentes ou de mauvais comportement sont plus élevés. Il devient donc très important pour les équipes d’IA conversationnelle de comprendre le comportement du système à un niveau granulaire, ce qui est un domaine de force de la solution de surveillance de Mona.

Ce que fait la solution de Mona de manière unique, c’est de passer au crible systématiquement des groupes de conversations et de trouver des poches dans lesquelles les modèles (ou les bots) se comportent mal. Cela permet aux équipes d’IA conversationnelle d’identifier les problèmes tôt et avant que les clients ne les remarquent. Cette capacité est un facteur de décision clé pour les équipes d’IA conversationnelle lors du choix d’une solution de surveillance.

Pour résumer, Mona fournit une solution complète pour la surveillance de l’IA conversationnelle. Elle commence par garantir qu’il y a une source unique d’informations pour le comportement du système au fil du temps, et se poursuit par une traçabilité continue des indicateurs de performance clés, et des insights proactifs sur les poches de mauvais comportement – permettant aux équipes de prendre des mesures correctives préventives et efficaces.

Pouvez-vous offrir certains détails sur le moteur d’insights de Mona ?

Bien sûr. Commençons par la motivation. L’objectif du moteur d’insights est de mettre en surface des anomalies pour les utilisateurs, avec juste la bonne quantité d’informations contextuelles et sans créer de bruit ou conduire à une fatigue d’alerte.

Le moteur d’insights est un processus analytique unique. Dans ce processus, le moteur recherche des anomalies dans tous les segments de données, permettant une détection précoce des problèmes lorsqu’ils sont encore “petits”, et avant qu’ils n’affectent l’ensemble du jeu de données et les indicateurs de performance commerciaux en aval. Il utilise ensuite un algorithme propriétaire pour détecter les causes profondes des anomalies et s’assure que chaque anomalie n’est alertée qu’une seule fois afin d’éviter le bruit. Les types d’anomalies pris en charge incluent : les anomalies de série chronologique, les dérives, les valeurs aberrantes, la dégradation du modèle, etc.

Le moteur d’insights est hautement personnalisable via la configuration no-code/low-code intuitive de Mona. La personnalisation du moteur rend Mona la solution la plus flexible sur le marché, couvrant un large éventail de cas d’utilisation (par exemple, batch et streaming, avec/sans rétroaction commerciale / vérité de terrain, sur plusieurs versions de modèle ou entre formation et inférence, etc.).

Enfin, ce moteur d’insights est pris en charge par un tableau de bord de visualisation, dans lequel les insights peuvent être affichés, et un ensemble d’outils d’investigation pour permettre l’analyse de la cause profonde et une exploration plus approfondie des informations contextuelles. Le moteur d’insights est également entièrement intégré à un moteur de notification qui permet d’alimenter les insights dans les environnements de travail des utilisateurs, y compris les e-mails, les plateformes de collaboration, etc.

Le 31 janvier, Mona a présenté sa nouvelle solution d’équité IA, pouvez-vous partager avec nous des détails sur cette fonctionnalité et pourquoi elle est importante ?

L’équité IA est à propos de garantir que les algorithmes et les systèmes IA font des décisions non biaisées et équitables. Aborder et prévenir les biais dans les systèmes IA est crucial, car ils peuvent entraîner des conséquences importantes dans le monde réel. Avec la montée en puissance de l’IA, l’impact sur la vie quotidienne des gens serait visible dans de plus en plus d’endroits, notamment l’automatisation de notre conduite, la détection de maladies plus précise, l’amélioration de notre compréhension du monde, et même la création d’art. Si nous ne pouvons pas faire confiance à ce qu’il est équitable et sans biais, comment pourrions-nous le laisser se propager ?

L’une des principales causes de biais dans l’IA est simplement la capacité des données de formation à représenter le monde réel dans son intégralité. Cela peut provenir de discriminations historiques, de sous-représentation de certains groupes, ou même de manipulation intentionnelle des données. Par exemple, un système de reconnaissance faciale formé principalement sur des individus à la peau claire est susceptible d’avoir un taux d’erreur plus élevé dans la reconnaissance d’individus à la peau plus foncée. De même, un modèle de langage formé sur des données textuelles provenant d’un ensemble restreint de sources peut développer des biais si les données sont biaisées vers certaines visions du monde, sur des sujets tels que la religion, la culture, etc.

La solution d’équité IA de Mona donne aux équipes d’IA et commerciales la confiance que leur IA est exempte de biais. Dans les secteurs réglementés, la solution de Mona peut préparer les équipes à la conformité.

La solution d’équité de Mona est spéciale car elle repose sur la plateforme Mona – un pont entre les données et les modèles IA et leurs implications réelles dans le monde. Mona examine toutes les parties du processus commercial que le modèle IA sert en production, pour corrélater entre les données de formation, le comportement du modèle et les résultats réels du monde réel afin de fournir l’évaluation la plus complète de l’équité.

Deuxièmement, elle dispose d’un moteur analytique unique qui permet une segmentation flexible des données pour contrôler les paramètres pertinents. Cela permet des évaluations de corrélation précises dans le contexte approprié, en évitant le paradoxe de Simpson et en fournissant un score de biais “réel” profond pour n’importe quel indicateur de performance et sur n’importe quelle fonction protégée.

Donc, dans l’ensemble, je dirais que Mona est un élément fondamental pour les équipes qui ont besoin de construire et de mettre à l’échelle une IA responsable.

Quelle est votre vision pour l’avenir de l’IA ?

C’est une grande question.

Je pense qu’il est facile de prédire que l’IA continuera à croître en utilisation et en impact à travers divers secteurs et facettes de la vie des gens. Cependant, il est difficile de prendre au sérieux une vision qui est détaillée et qui tente de couvrir tous les cas d’utilisation et les implications de l’IA dans le futur. Car personne ne sait vraiment assez pour peindre ce tableau de manière crédible.

Cela étant dit, ce que nous savons avec certitude, c’est que l’IA sera entre les mains de plus de personnes et servira à plus de fins. Le besoin de gouvernance et de transparence augmentera donc considérablement.

Une véritable visibilité dans l’IA et son fonctionnement jouera deux rôles principaux. Premièrement, cela aidera à instaurer la confiance chez les gens et à lever les barrières de résistance pour une adoption plus rapide. Deuxièmement, cela aidera quiconque opère l’IA à s’assurer qu’il ne sort pas de contrôle.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter Mona Labs.