Yotam Oren, PDG et co-fondateur de Mona Labs – Série d’entretiens

Yotam Oren est le PDG et co-fondateur de Mona Labs, une plateforme qui permet aux entreprises de transformer les initiatives d’intelligence artificielle de simples expériences de laboratoire en opérations commerciales évolutives en comprenant vraiment comment les modèles de machine learning se comportent dans les processus et applications commerciaux réels.

Mona analyse automatiquement le comportement de vos modèles de machine learning à travers des segments de données protégés et dans le contexte des fonctions commerciales, afin de détecter les préjugés potentiels de l’IA. Mona offre la possibilité de générer des rapports de équité complets qui répondent aux normes et réglementations de l’industrie, et offrent la confiance que l’application d’IA est conforme et exempte de tout préjugé.

Qu’est-ce qui vous a initialement attiré vers l’informatique ?

L’informatique est une carrière populaire dans ma famille, donc c’était toujours une option viable. Bien sûr, la culture israélienne est très pro-technologie. Nous célébrons les technologistes innovants et j’ai toujours eu l’impression que l’informatique m’offrirait une voie de croissance et de réussite.

Malgré cela, ce n’est qu’à l’âge universitaire que cela est devenu une passion personnelle. Je n’étais pas l’un de ces enfants qui ont commencé à coder au collège. Dans ma jeunesse, j’étais trop occupé à jouer au basket pour prêter attention aux ordinateurs. Après le lycée, j’ai passé près de 5 ans dans l’armée, dans des rôles de leadership opérationnel et de combat. Donc, d’une certaine manière, je n’ai vraiment commencé à apprendre l’informatique que lorsque j’ai dû choisir une majeure universitaire. Ce qui a capturé mon attention immédiatement, c’est que l’informatique combinait la résolution de problèmes et l’apprentissage d’une langue (ou de langues). Deux choses qui m’intéressaient particulièrement. À partir de ce moment-là, j’étais accroché.

De 2006 à 2008, vous avez travaillé sur la cartographie et la navigation pour une petite entreprise, quels ont été vos principaux enseignements de cette époque ?

Mon rôle chez Telmap était de construire un moteur de recherche sur des données de cartes et de localisation.

C’étaient les tout débuts de la “donnée massive” dans l’entreprise. Nous n’appelions pas cela ainsi, mais nous acquérions des ensembles de données énormes et essayions de tirer les insights les plus impactants et les plus pertinents pour les présenter à nos utilisateurs finaux.

L’une des réalisations frappantes que j’ai eues était que les entreprises (y compris la nôtre) utilisaient si peu de leurs données (pour ne pas mentionner les données publiques disponibles). Il y avait tellement de potentiel pour de nouveaux insights, de meilleurs processus et expériences.

L’autre enseignement était que pour obtenir plus de nos données, nous devions avoir de meilleures architectures, de meilleures infrastructures, etc.

Pouvez-vous partager l’histoire de la création de Mona Labs ?

Nous sommes trois co-fondateurs, et nous avons tous travaillé avec des produits de données tout au long de notre carrière.

Nemo, le directeur technique, est mon ami d’université et camarade de classe, et l’un des premiers employés de Google (GOOGL ) Tel Aviv. Il a créé un produit appelé Google Trends, qui avait beaucoup d’analyses avancées et d’apprentissage automatique basé sur les données de recherche. Itai, l’autre co-fondateur et directeur produit, était dans l’équipe de Nemo à Google (et je l’ai rencontré via Nemo). Les deux étaient toujours frustrés que les systèmes à base d’IA soient laissés sans surveillance après le développement initial et les tests. Malgré la difficulté de tester correctement ces systèmes avant la production, les équipes ne savaient pas vraiment comment leurs modèles prédictifs fonctionnaient au fil du temps. De plus, il semblait que la seule fois où ils recevaient des commentaires sur les systèmes d’IA était lorsqu’il y avait des problèmes et que l’équipe de développement était appelée pour une “intervention d’urgence” pour résoudre des problèmes catastrophiques.

À la même époque, j’étais consultant chez McKinsey & Co, et l’un des plus grands obstacles que j’ai vus pour les programmes d’IA et de données massives dans les grandes entreprises était le manque de confiance que les parties prenantes commerciales avaient dans ces programmes.

Le fil conducteur ici est devenu clair pour Nemo, Itai et moi-même dans les conversations. L’industrie avait besoin d’une infrastructure pour surveiller les systèmes d’IA en production. Nous sommes arrivés à la vision de fournir cette visibilité pour augmenter la confiance des parties prenantes commerciales et permettre aux équipes d’IA de toujours avoir une poignée sur la façon dont leurs systèmes fonctionnent et d’itérer plus efficacement.

Et c’est ainsi que Mona a été fondée.

Quels sont les problèmes actuels liés au manque de transparence de l’IA ?

Dans de nombreuses industries, les organisations ont déjà dépensé des dizaines de millions de dollars dans leurs programmes d’IA, et ont vu certains succès initiaux dans le laboratoire et dans les déploiements à petite échelle. Mais passer à l’échelle, atteindre une adoption large et faire en sorte que l’entreprise fasse vraiment confiance à l’IA a été un défi énorme pour presque tout le monde.

Pourquoi cela se produit-il ? Eh bien, cela commence par le fait que de grandes recherches ne se traduisent pas automatiquement en de grands produits (un client nous a dit un jour : “Les modèles de machine learning sont comme des voitures, dès qu’ils quittent le laboratoire, ils perdent 20 % de leur valeur”). Les grands produits ont des systèmes de soutien. Il y a des outils et des processus pour garantir que la qualité est maintenue dans le temps et que les problèmes sont détectés tôt et résolus efficacement. Les grands produits ont également une boucle de rétroaction continue, ils ont un cycle d’amélioration et une feuille de route. Par conséquent, les grands produits nécessitent une transparence constante des performances.

Lorsqu’il n’y a pas de transparence, vous obtenez :

• Des problèmes qui restent cachés pendant un certain temps et qui éclatent ensuite à la surface, provoquant des “interventions d’urgence”
• Des enquêtes et des mesures d’atténuation manuelles et longues
• Un programme d’IA qui n’est pas fiable pour les utilisateurs commerciaux et les sponsors, et qui échoue finalement à passer à l’échelle

Quels sont les défis derrière la transparence et la fiabilité des modèles prédictifs ?

La transparence est un facteur important pour atteindre la confiance, bien sûr. La transparence peut prendre de nombreuses formes. Il y a la transparence de prédiction unique, qui peut inclure l’affichage du niveau de confiance pour l’utilisateur, ou la fourniture d’une explication/rationale pour la prédiction. La transparence de prédiction unique vise principalement à aider l’utilisateur à se sentir à l’aise avec la prédiction. Et puis, il y a la transparence globale, qui peut inclure des informations sur la précision prédictive, les résultats inattendus et les problèmes potentiels. La transparence globale est nécessaire pour l’équipe d’IA.

La partie la plus difficile de la transparence globale est la détection précoce des problèmes, l’alerte du membre de l’équipe concerné afin qu’il puisse prendre des mesures correctives avant que les catastrophes ne se produisent.

Pourquoi il est difficile de détecter les problèmes tôt :

• Les problèmes commencent souvent petit et mijotent avant d’éclater à la surface.
• Les problèmes commencent souvent en raison de facteurs externes ou incontrôlables, tels que les sources de données.
• Il y a de nombreuses façons de “diviser le monde” et chercher de manière exhaustive des problèmes dans de petites poches peut entraîner beaucoup de bruit (fatigue d’alerte), au moins lorsqu’une approche naive est utilisée.

Un autre aspect difficile de la fourniture de transparence est la prolifération des cas d’utilisation de l’IA. Cela rend une approche universelle presque impossible. Chaque cas d’utilisation d’IA peut inclure des structures de données différentes, des cycles commerciaux différents, des métriques de succès différentes et souvent des approches techniques et des piles différentes.

Donc, c’est une tâche monumentale, mais la transparence est si fondamentale pour le succès des programmes d’IA, donc vous devez le faire.

Pouvez-vous partager des détails sur les solutions pour les modèles NLU / NLP et les chatbots ?

L’IA conversationnelle est l’un des principaux domaines d’application de Mona. Nous sommes fiers de soutenir des entreprises innovantes avec une large gamme de cas d’utilisation d’IA conversationnelle, notamment les modèles de langage, les chatbots et plus encore.

Un facteur commun à travers ces cas d’utilisation est que les modèles opèrent près (et parfois visiblement) des clients, donc les risques de performances incohérentes ou de mauvais comportement sont plus élevés. Il est donc essentiel pour les équipes d’IA conversationnelle de comprendre le comportement du système à un niveau granulaire, ce qui est un domaine de force de la solution de surveillance de Mona.

Ce que fait la solution de Mona qui est vraiment unique, c’est la recherche systématique de groupes de conversations et la détection de poches dans lesquelles les modèles (ou les bots) se comportent mal. Cela permet aux équipes d’IA conversationnelle d’identifier les problèmes tôt et avant que les clients ne les remarquent. Cette capacité est un facteur de décision clé pour les équipes d’IA conversationnelle lors de la sélection de solutions de surveillance.

En résumé, Mona fournit une solution complète pour la surveillance de l’IA conversationnelle. Elle commence par garantir qu’il y a une source unique d’informations pour le comportement des systèmes au fil du temps, et se poursuit avec le suivi continu des indicateurs de performance clés et des insights proactifs sur les poches de mauvais comportement – permettant aux équipes de prendre des mesures correctives préventives et efficaces.

Pouvez-vous offrir des détails sur le moteur d’insights de Mona ?

Bien sûr. Commençons par la motivation. L’objectif du moteur d’insights est de mettre en évidence les anomalies aux utilisateurs, avec juste la bonne quantité d’informations contextuelles et sans créer de bruit ou conduire à une fatigue d’alerte.

Le moteur d’insights est un flux de travail analytique unique. Dans ce flux de travail, le moteur recherche des anomalies dans tous les segments des données, permettant une détection précoce des problèmes lorsqu’ils sont encore “petits” et avant qu’ils n’affectent l’ensemble du jeu de données et les indicateurs de performance clés commerciaux. Il utilise ensuite un algorithme propriétaire pour détecter les causes profondes des anomalies et s’assure que chaque anomalie n’est alertée qu’une seule fois afin d’éviter le bruit. Les types d’anomalies pris en charge incluent : les anomalies de série chronologique, les dérives, les valeurs aberrantes, la dégradation du modèle, etc.

Le moteur d’insights est hautement personnalisable via la configuration no-code/low-code intuitive de Mona. La personnalisabilité du moteur fait de Mona la solution la plus flexible sur le marché, couvrant un large éventail de cas d’utilisation (par exemple, batch et streaming, avec/sans rétroaction commerciale / vérité terrain, entre les versions de modèle ou entre l’entraînement et l’inférence, etc.).

Enfin, ce moteur d’insights est pris en charge par un tableau de bord de visualisation, dans lequel les insights peuvent être affichés, et un ensemble d’outils d’investigation pour permettre l’analyse de la cause profonde et l’exploration des informations contextuelles. Le moteur d’insights est également entièrement intégré à un moteur de notification qui permet d’alimenter les insights dans les environnements de travail des utilisateurs, y compris les e-mails, les plateformes de collaboration, etc.

Le 31 janvier, Mona a présenté sa nouvelle solution d’équité d’IA, pouvez-vous partager avec nous des détails sur cette fonctionnalité et pourquoi elle est importante ?

L’équité d’IA est à propos de garantir que les algorithmes et les systèmes à base d’IA prennent des décisions équitables et sans préjugés. Il est crucial de résoudre et de prévenir les préjugés dans les systèmes d’IA, car ils peuvent entraîner des conséquences importantes dans le monde réel. Avec la montée en puissance de l’IA, son impact sur la vie quotidienne des gens sera visible dans de plus en plus d’endroits, notamment l’automatisation de notre conduite, la détection de maladies plus précise, l’amélioration de notre compréhension du monde et même la création d’art. Si nous ne pouvons pas faire confiance à son équité et à son absence de préjugés, comment pourrions-nous laisser cela se poursuivre ?

L’une des principales causes de préjugés dans les systèmes d’IA est simplement la capacité des données de formation à représenter le monde réel dans son intégralité. Cela peut provenir de discriminations historiques, de sous-représentation de certains groupes ou même de manipulation intentionnelle des données. Par exemple, un système de reconnaissance faciale formé sur des individus à peau claire est susceptible d’avoir un taux d’erreur plus élevé pour reconnaître les individus à peau plus foncée. De même, un modèle de langage formé sur des données textuelles provenant d’une gamme étroite de sources peut développer des préjugés si les données sont biaisées vers certains points de vue, sur des sujets tels que la religion, la culture, etc.

La solution d’équité d’IA de Mona donne aux équipes d’IA et commerciales la confiance que leur IA est exempte de préjugés. Dans les secteurs réglementés, la solution de Mona peut préparer les équipes à la conformité.

La solution d’équité de Mona est spéciale car elle repose sur la plateforme Mona – un pont entre les données et les modèles d’IA et leurs implications réelles dans le monde. Mona examine toutes les parties du processus commercial que le modèle d’IA sert en production, pour établir des corrélations entre les données de formation, le comportement du modèle et les résultats réels dans le monde pour fournir l’évaluation la plus complète de l’équité.

Deuxièmement, elle dispose d’un moteur d’analyse unique qui permet une segmentation flexible des données pour contrôler les paramètres pertinents. Cela permet des évaluations de corrélation précises dans le contexte approprié, en évitant le paradoxe de Simpson et en fournissant un score de préjugé “réel” pour n’importe quel métrique de performance et pour n’importe quelle caractéristique protégée.

Donc, dans l’ensemble, je dirais que Mona est un élément fondamental pour les équipes qui ont besoin de construire et de mettre à l’échelle une IA responsable.

Quelle est votre vision pour l’avenir de l’IA ?

C’est une grande question.

Je pense que c’est facile de prédire que l’IA continuera de croître en utilisation et en impact dans divers secteurs et facettes de la vie des gens. Cependant, il est difficile de prendre au sérieux une vision qui est détaillée et qui tente de couvrir tous les cas d’utilisation et les implications de l’IA dans le futur. Car personne ne sait vraiment assez pour peindre ce tableau de manière crédible.

Cela étant dit, ce que nous savons avec certitude, c’est que l’IA sera entre les mains de plus de gens et servira plus de buts. Le besoin de gouvernance et de transparence augmentera donc considérablement.

Une véritable visibilité sur l’IA et son fonctionnement jouera deux rôles primordiaux. Premièrement, cela aidera à instaurer la confiance chez les gens et à lever les barrières de résistance pour une adoption plus rapide. Deuxièmement, cela aidera quiconque opère l’IA à s’assurer qu’elle ne sort pas de contrôle.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Mona Labs.