Yotam Oren, PDG et cofondateur de Mona Labs - Série d'interviews

Yotam Oren, est le PDG et cofondateur de Laboratoires Mona, une plate-forme qui permet aux entreprises de transformer des initiatives d'IA d'expériences en laboratoire en opérations commerciales évolutives en comprenant vraiment comment les modèles ML se comportent dans des processus et applications commerciaux réels.

Mona analyse automatiquement le comportement de vos modèles d'apprentissage automatique sur des segments de données protégés et dans le contexte des fonctions métier, afin de détecter les biais potentiels de l'IA. Mona offre la possibilité de générer des rapports d'équité complets qui répondent aux normes et réglementations du secteur, et garantissent que l'application d'IA est conforme et exempte de tout parti pris.

Qu'est-ce qui vous a d'abord attiré vers l'informatique ?

L'informatique est un cheminement de carrière populaire dans ma famille, donc c'était toujours à l'esprit comme une option viable. Bien sûr, la culture israélienne est très pro-tech. Nous célébrons les technologues innovants et j'ai toujours eu l'impression que CS m'offrirait une piste de croissance et de réussite.

Malgré cela, ce n'est devenu une passion personnelle que lorsque j'ai atteint l'âge universitaire. Je ne faisais pas partie de ces enfants qui ont commencé à coder au collège. Dans ma jeunesse, j'étais trop occupé à jouer au basket pour faire attention aux ordinateurs. Après le lycée, j'ai passé près de 5 ans dans l'armée, dans des rôles de leadership opérationnel/de combat. Donc, d'une certaine manière, je n'ai vraiment commencé à en apprendre davantage sur l'informatique que lorsque j'ai eu besoin de choisir une majeure académique à l'université. Ce qui a tout de suite attiré mon attention, c'est que l'informatique combinait résolution de problèmes et apprentissage d'une langue (ou de plusieurs langues). Deux choses m'ont particulièrement intéressé. Dès lors, j'ai été accro.

De 2006 à 2008, vous avez travaillé sur la cartographie et la navigation pour une petite startup, quelles ont été certaines de vos principales leçons à retenir de cette époque ?

Mon rôle chez Telmap consistait à créer un moteur de recherche basé sur des cartes et des données de localisation.

C'était les tout premiers jours du "big data" dans l'entreprise. Nous ne l'appelions même pas ainsi, mais nous acquérions d'énormes ensembles de données et essayions de tirer les informations les plus percutantes et les plus pertinentes à présenter à nos utilisateurs finaux.

L'une des réalisations frappantes que j'ai eues était que les entreprises (y compris nous) utilisaient si peu de leurs données (sans parler des données externes accessibles au public). Il y avait tellement de potentiel pour de nouvelles idées, de meilleurs processus et expériences.

L'autre point à retenir était que la possibilité d'obtenir davantage de nos données dépendait, bien sûr, de meilleures architectures, d'une meilleure infrastructure, etc.

Pourriez-vous partager l'histoire de la genèse derrière Mona Labs ?

Nous trois, cofondateurs, avons travaillé autour des produits de données tout au long de notre carrière.

Nemo, le directeur de la technologie, est mon ami d'université et camarade de classe, et l'un des premiers employés de Google Tel Aviv. Il y a lancé un produit appelé Google Trends, qui comportait de nombreuses analyses avancées et un apprentissage automatique basé sur les données des moteurs de recherche. Itai, l'autre co-fondateur et chef de produit, faisait partie de l'équipe de Nemo chez Google (et lui et moi nous sommes rencontrés via Nemo). Les deux étaient toujours frustrés que les systèmes pilotés par l'IA ne soient pas surveillés après le développement et les tests initiaux. Malgré la difficulté de tester correctement ces systèmes avant la production, les équipes ne savaient toujours pas si leurs modèles prédictifs fonctionnaient au fil du temps. De plus, il semblait que la seule fois où ils entendaient des commentaires sur les systèmes d'IA, c'était lorsque les choses allaient mal et que l'équipe de développement était appelée pour un «exercice d'incendie» pour résoudre des problèmes catastrophiques.

À peu près à la même époque, j'étais consultant chez McKinsey & Co, et l'un des principaux obstacles que j'ai constaté à la mise à l'échelle des programmes d'IA et de Big Data dans les grandes entreprises était le manque de confiance des parties prenantes de l'entreprise dans ces programmes.

Le fil conducteur ici est devenu clair pour Nemo, Itai et moi-même dans les conversations. L'industrie avait besoin d'une infrastructure pour surveiller les systèmes d'IA/ML en production. Nous avons eu la vision de fournir cette visibilité afin d'accroître la confiance des parties prenantes de l'entreprise et de permettre aux équipes d'IA de toujours avoir un contrôle sur le fonctionnement de leurs systèmes et d'itérer plus efficacement.

Et c'est là que Mona a été fondée.

Quels sont certains des problèmes actuels liés au manque de transparence de l'IA ?

Dans de nombreux secteurs, les organisations ont déjà dépensé des dizaines de millions de dollars dans leurs programmes d'IA et ont connu un certain succès initial en laboratoire et dans des déploiements à petite échelle. Mais passer à l'échelle, parvenir à une large adoption et amener l'entreprise à s'appuyer réellement sur l'IA a été un énorme défi pour presque tout le monde.

Pourquoi cela arrive-t-il? Eh bien, cela commence par le fait qu'une excellente recherche ne se traduit pas automatiquement par d'excellents produits (un client nous a dit un jour : "Les modèles ML sont comme des voitures, dès qu'ils quittent le laboratoire, ils perdent 20 % de leur valeur"). Les grands produits ont des systèmes de support. Il existe des outils et des processus pour s'assurer que la qualité est maintenue au fil du temps et que les problèmes sont détectés tôt et traités efficacement. Les bons produits ont également une boucle de rétroaction continue, ils ont un cycle d'amélioration et une feuille de route. Par conséquent, de bons produits nécessitent une transparence profonde et constante des performances.

Lorsqu'il y a un manque de transparence, vous vous retrouvez avec :

• Problèmes qui restent cachés pendant un certain temps, puis font irruption à la surface, provoquant des "exercices d'incendie"
• Enquêtes et mesures d'atténuation longues et manuelles
• Un programme d'IA auquel les utilisateurs professionnels et les sponsors ne font pas confiance et qui, en fin de compte, ne parvient pas à évoluer

Quels sont certains des défis à relever pour rendre les modèles prédictifs transparents et fiables ?

La transparence est un facteur important pour établir la confiance, bien sûr. La transparence peut prendre plusieurs formes. Il existe une transparence de prédiction unique qui peut inclure l'affichage du niveau de confiance à l'utilisateur ou la fourniture d'une explication/justification de la prédiction. La transparence de la prédiction unique vise principalement à aider l'utilisateur à se familiariser avec la prédiction. Et puis, il y a la transparence globale qui peut inclure des informations sur la précision prédictive, les résultats inattendus et les problèmes potentiels. L'équipe d'IA a besoin d'une transparence globale.

La partie la plus difficile de la transparence globale consiste à détecter les problèmes tôt, en alertant le membre de l'équipe concerné afin qu'il puisse prendre des mesures correctives avant que les catastrophes ne se produisent.

Pourquoi il est difficile de détecter les problèmes tôt :

• Les problèmes commencent souvent petit et mijotent, avant de finir par éclater à la surface.
• Les problèmes commencent souvent en raison de facteurs incontrôlables ou externes, tels que les sources de données.
• Il existe de nombreuses façons de "diviser le monde" et la recherche exhaustive de problèmes dans de petites poches peut entraîner beaucoup de bruit (fatigue d'alerte), du moins lorsque cela est fait dans une approche naïve.

Un autre aspect difficile de la transparence est la prolifération des cas d'utilisation de l'IA. Cela rend une approche unique presque impossible. Chaque cas d'utilisation de l'IA peut inclure différentes structures de données, différents cycles économiques, différentes mesures de réussite et souvent différentes approches techniques et même des piles.

C'est donc une tâche monumentale, mais la transparence est si fondamentale pour le succès des programmes d'IA que vous devez le faire.

Pourriez-vous partager quelques détails sur les solutions pour NLU / NLP Models & Chatbots ?

L'IA conversationnelle est l'un des principaux secteurs verticaux de Mona. Nous sommes fiers de soutenir les entreprises innovantes avec un large éventail de cas d'utilisation de l'IA conversationnelle, y compris des modèles de langage, des chatbots et plus encore.

Un facteur commun à ces cas d'utilisation est que les modèles fonctionnent à proximité (et parfois visiblement) des clients, de sorte que les risques de performances incohérentes ou de mauvais comportement sont plus élevés. Il devient si important pour les équipes d'IA conversationnelle de comprendre le comportement du système à un niveau granulaire, ce qui est l'un des points forts de la solution de surveillance de Mona.

Ce que fait la solution de Mona qui est tout à fait unique, c'est de passer au crible systématiquement des groupes de conversations et de trouver des poches dans lesquelles les modèles (ou bots) se comportent mal. Cela permet aux équipes d'IA conversationnelle d'identifier les problèmes tôt et avant que les clients ne les remarquent. Cette capacité est un facteur de décision essentiel pour les équipes d'IA conversationnelle lors de la sélection de solutions de surveillance.

Pour résumer, Mona fournit une solution de bout en bout pour la surveillance de l'IA conversationnelle. Cela commence par s'assurer qu'il existe une source unique d'informations sur le comportement des systèmes au fil du temps, et se poursuit par un suivi continu des indicateurs de performance clés et des informations proactives sur les poches de mauvaise conduite, permettant aux équipes de prendre des mesures correctives préventives et efficaces.

Pourriez-vous donner quelques détails sur le moteur d'insights de Mona ?

Bien sûr. Commençons par la motivation. L'objectif du moteur d'analyse est de signaler les anomalies aux utilisateurs, avec juste la bonne quantité d'informations contextuelles et sans créer de bruit ni entraîner de fatigue d'alerte.

Le moteur d'analyse est un flux de travail analytique unique en son genre. Dans ce flux de travail, le moteur recherche les anomalies dans tous les segments des données, permettant une détection précoce des problèmes lorsqu'ils sont encore "petits", et avant qu'ils n'affectent l'ensemble de données et les KPI métier en aval. Il utilise ensuite un algorithme propriétaire pour détecter les causes profondes des anomalies et s'assure que chaque anomalie n'est alertée qu'une seule fois afin d'éviter le bruit. Les types d'anomalies pris en charge incluent : les anomalies de séries chronologiques, les dérives, les valeurs aberrantes, la dégradation du modèle, etc.

Le moteur d'analyse est hautement personnalisable via la configuration intuitive sans code/code faible de Mona. La configurabilité du moteur fait de Mona la solution la plus flexible du marché, couvrant un large éventail de cas d'utilisation (par exemple, batch et streaming, avec/sans retour d'information métier/vérité terrain, entre les versions de modèles ou entre train et inférence, et plus ).

Enfin, ce moteur d'analyse est soutenu par un tableau de bord de visualisation, dans lequel les informations peuvent être visualisées, et un ensemble d'outils d'investigation pour permettre l'analyse des causes profondes et une exploration plus approfondie des informations contextuelles. Le moteur d'analyse est également entièrement intégré à un moteur de notification qui permet de fournir des informations aux propres environnements de travail des utilisateurs, y compris les e-mails, les plates-formes de collaboration, etc.

Le janvier 31st, Mona dévoilée sa nouvelle solution d'équité en matière d'IA, pourriez-vous partager avec nous des détails sur ce qu'est cette fonctionnalité et pourquoi elle est importante ?

L'équité de l'IA consiste à garantir que les algorithmes et les systèmes basés sur l'IA en général prennent des décisions impartiales et équitables. Il est crucial de traiter et de prévenir les biais dans les systèmes d'IA, car ils peuvent avoir des conséquences importantes dans le monde réel. Avec l'importance croissante de l'IA, l'impact sur la vie quotidienne des gens serait visible dans de plus en plus d'endroits, notamment en automatisant notre conduite, en détectant les maladies avec plus de précision, en améliorant notre compréhension du monde et même en créant de l'art. Si nous ne pouvons pas croire qu'il est juste et impartial, comment pourrions-nous lui permettre de continuer à se propager ?

L'une des principales causes de biais dans l'IA est simplement la capacité des données d'entraînement du modèle à représenter le monde réel dans son intégralité. Cela peut provenir d'une discrimination historique, d'une sous-représentation de certains groupes ou même d'une manipulation intentionnelle des données. Par exemple, un système de reconnaissance faciale formé sur des personnes principalement à la peau claire est susceptible d'avoir un taux d'erreur plus élevé dans la reconnaissance des personnes à la peau plus foncée. De même, un modèle de langage formé sur des données textuelles provenant d'un ensemble restreint de sources peut développer des biais si les données sont biaisées en faveur de certaines visions du monde, sur des sujets tels que la religion, la culture, etc.

La solution d'équité en matière d'IA de Mona donne aux équipes d'IA et aux équipes commerciales l'assurance que leur IA est exempte de biais. Dans les secteurs réglementés, la solution de Mona peut préparer les équipes à la préparation à la conformité.

La solution d'équité de Mona est spéciale car elle repose sur la plate-forme Mona - un pont entre les données et les modèles d'IA et leurs implications dans le monde réel. Mona examine toutes les parties du processus métier que le modèle d'IA sert en production, pour établir une corrélation entre les données de formation, le comportement du modèle et les résultats réels dans le monde réel afin de fournir l'évaluation la plus complète de l'équité.

Deuxièmement, il dispose d'un moteur analytique unique en son genre qui permet une segmentation flexible des données pour contrôler les paramètres pertinents. Cela permet des évaluations précises des corrélations dans le bon contexte, en évitant le paradoxe de Simpson et en fournissant un véritable « score de biais » profond pour toute mesure de performance et sur toute fonctionnalité protégée.

Donc, dans l'ensemble, je dirais que Mona est un élément fondamental pour les équipes qui ont besoin de créer et de faire évoluer une IA responsable.

Quelle est votre vision du futur de l'IA ?

c'est une grande question.

Je pense qu'il est simple de prédire que l'IA continuera de croître en termes d'utilisation et d'impact dans une variété de secteurs industriels et de facettes de la vie des gens. Cependant, il est difficile de prendre au sérieux une vision détaillée et en même temps essayant de couvrir tous les cas d'utilisation et les implications de l'IA à l'avenir. Parce que personne n'en sait vraiment assez pour peindre ce tableau de manière crédible.

Cela étant dit, ce que nous savons avec certitude, c'est que l'IA sera entre les mains de plus de personnes et servira à plus d'objectifs. Le besoin de gouvernance et de transparence augmentera donc considérablement.

Une véritable visibilité sur l'IA et son fonctionnement jouera deux rôles principaux. Premièrement, cela aidera à instaurer la confiance dans les gens et à lever les barrières de résistance pour une adoption plus rapide. Deuxièmement, cela aidera quiconque exploite l'IA à s'assurer qu'elle ne devienne pas incontrôlable.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter Laboratoires Mona.