Yotam Oren, CEO & Cofounder van Mona Labs – Interview Series

Yotam Oren is de CEO & Cofounder van Mona Labs, een platform dat ondernemingen in staat stelt om AI-initiatieven van lab-experimenten om te zetten in schaalbare bedrijfsoperaties door echt te begrijpen hoe ML-modellen zich gedragen in echte bedrijfsprocessen en -toepassingen.

Mona analyseert automatisch het gedrag van uw machine learning-modellen over beschermde gegevenssegmenten en in de context van de bedrijfsfuncties, om potentieel AI-vooroordeel te detecteren. Mona biedt de mogelijkheid om complete eerlijkheidsrapporten te genereren die voldoen aan de industrienormen en -regelgeving, en vertrouwen bieden dat de AI-toepassing compliant is en vrij van vooroordeel.

Wat trok je aanvankelijk aan bij informatica?

Informatica is een populaire carrièrepad in mijn familie, dus het was altijd een optie in mijn achterhoofd. Natuurlijk is de Israëlische cultuur zeer pro-tech. We vieren innovatieve technologieën en ik had altijd het gevoel dat informatica me een mogelijkheid zou bieden om te groeien en te presteren.

Desondanks werd het pas een persoonlijke passie toen ik universiteitsleeftijd bereikte. Ik was geen van die kinderen die op de middelbare school begon met programmeren. In mijn jeugd was ik te druk bezig met basketbal om aandacht te besteden aan computers. Na de middelbare school bracht ik ongeveer 5 jaar door in het leger, in operationele/gevechtsleiderschapsrollen. Dus, op een manier, begon ik pas echt meer over informatica te leren toen ik een academische major moest kiezen op de universiteit. Wat mijn aandacht meteen trok, was dat informatica het oplossen van problemen en het leren van een taal (of talen) combineerde. Twee dingen waarin ik bijzonder geïnteresseerd was. Vanaf dat moment was ik verslaafd.

Van 2006 tot 2008 werkte je aan mapping en navigatie voor een kleine startup, wat waren enkele van je belangrijkste inzichten uit deze periode?

Mijn rol bij Telmap was het bouwen van een zoekmachine bovenop kaart- en locatiegegevens.

Dit waren de allereerste dagen van “big data” in het bedrijfsleven. We noemden het niet zo, maar we verworven enorme datasets en probeerden de meest impactvolle en relevante inzichten te trekken om onze eindgebruikers te laten zien.

Een van de opvallende realisaties die ik had, was dat bedrijven (inclusief wij) zo weinig van hun gegevens gebruikten (laat staan openbaar beschikbare externe gegevens). Er was zo veel potentieel voor nieuwe inzichten, betere processen en ervaringen.

Het andere inzicht was dat het verkrijgen van meer van onze gegevens afhankelijk was van het hebben van betere architectuur, betere infrastructuur enz.

Kun je de oorsprongsverhaal achter Mona Labs delen?

De drie van ons, mede-oprichters, zijn onze hele carrière lang omgeven door dataprodukten.

Nemo, de chief technology officer, is mijn collega en klasgenoot van de universiteit, en een van de eerste medewerkers van Google (GOOGL ) Tel Aviv. Hij startte een product daar genaamd Google Trends, dat geavanceerde analytics en machine learning had op basis van zoekgegevens. Itai, de andere mede-oprichter en chief product officer, was op Nemo’s team bij Google (en ik ontmoette hem via Nemo). De twee van hen waren altijd gefrustreerd dat AI-gedreven systemen ongecontroleerd bleven na de initiële ontwikkeling en testing. Ondanks de moeilijkheid om deze systemen goed te testen voordat ze in productie gingen, wisten teams nooit goed hoe goed hun predictiemodellen het deden in de loop van de tijd. Bovendien leek het erop dat het enige moment dat ze feedback over AI-systemen kregen, was wanneer dingen slecht gingen en het ontwikkelteam werd opgeroepen voor een “brandweer” om catastrofale problemen te verhelpen.

Rond dezelfde tijd was ik consultant bij McKinsey & Co, en een van de grootste barrières die ik zag voor AI- en Big Data-programma’s om te schalen in grote ondernemingen, was het gebrek aan vertrouwen dat zakenstakeholders hadden in die programma’s.

Het gemeenschappelijke draad hier werd duidelijk voor Nemo, Itai en mij in gesprekken. De industrie had de infrastructuur nodig om AI/ML-systemen in productie te monitoren. We kwamen met het idee om deze zichtbaarheid te bieden om het vertrouwen van zakenstakeholders te vergroten en om AI-teams in staat te stellen om altijd een handvat te hebben op hoe hun systemen presteren en om efficiënter te itereren.

En dat is wanneer Mona werd opgericht.

Wat zijn enkele van de huidige problemen met het gebrek aan AI-transparantie?

In veel branches hebben organisaties al tientallen miljoenen dollars geïnvesteerd in hun AI-programma’s en hebben ze enig initieel succes gezien in het lab en in kleine schaalimplementaties. Maar het opschalen, het bereiken van brede adoptie en het krijgen van het bedrijf om echt te vertrouwen op AI, is een enorme uitdaging geweest voor bijna iedereen.

Waarom gebeurt dit? Nou, het begint met het feit dat geweldig onderzoek niet automatisch geweldige producten oplevert (een klant zei ons eens: “ML-modellen zijn als auto’s, zodra ze het lab verlaten, verliezen ze 20% van hun waarde”). Geweldige producten hebben ondersteunende systemen. Er zijn tools en processen om ervoor te zorgen dat de kwaliteit in de loop van de tijd wordt gehandhaafd en dat problemen vroeg worden opgespoord en efficiënt worden aangepakt. Geweldige producten hebben ook een continue feedbacklus, ze hebben een verbeteringscyclus en een roadmap. Gevolglijk vereisen geweldige producten diepe en constante prestatietransparantie.

Wanneer er een gebrek aan transparantie is, eindig je met:

• Problemen die een tijdlang verborgen blijven en dan plotseling aan de oppervlakte komen, waardoor “brandweeroefeningen” ontstaan
• Langdurige en handmatige onderzoeken en mitigaties
• Een AI-programma dat niet wordt vertrouwd door de zakenstakeholders en sponsors en uiteindelijk faalt om te schalen

Wat zijn enkele van de uitdagingen achter het maken van predictiemodellen transparant en betrouwbaar?

Transparantie is een belangrijke factor bij het bereiken van vertrouwen, natuurlijk. Transparantie kan op veel manieren komen. Er is single prediction transparantie, die kan omvatten het weergeven van het vertrouwensniveau aan de gebruiker, of het bieden van een verklaring/rationale voor de predictie. Single prediction transparantie is voornamelijk gericht op het helpen van de gebruiker om zich comfortabel te voelen met de predictie. En dan is er overall transparantie, die kan omvatten informatie over predictieve nauwkeurigheid, onverwachte resultaten en potentieel problemen. Overall transparantie is nodig voor het AI-team.

Het meest uitdagende deel van overall transparantie is het opsporen van problemen vroeg, waarschuwing van het relevante teamlid zodat ze corrigerende actie kunnen nemen voordat catastrofes optreden.

Waarom het moeilijk is om problemen vroeg op te sporen:

• Problemen beginnen vaak klein en sudderen, voordat ze uiteindelijk aan de oppervlakte komen.
• Problemen beginnen vaak door oncontroleerbare of externe factoren, zoals gegevensbronnen.
• Er zijn veel manieren om “de wereld te verdelen” en uitputtend te zoeken naar problemen in kleine pockets kan resulteren in veel lawaai (waarschuwingsmoeheid), tenminste wanneer dit op een naive manier wordt gedaan.

Een andere uitdagende aspect van het bieden van transparantie is de enorme verspreiding van AI-use cases. Dit maakt een “one-size-fits-all”-aanpak bijna onmogelijk. Elke AI-use case kan verschillende gegevensstructuren, verschillende bedrijfs cycli, verschillende succesmetrieken en vaak verschillende technische benaderingen en zelfs stacks omvatten.

Het is dus een monumentale taak, maar transparantie is zo fundamenteel voor het succes van AI-programma’s, dus je moet het doen.

Kun je enkele details delen over de oplossingen voor NLU / NLP-modellen en chatbots?

Conversational AI is een van Mona’s core-verticals. We zijn trots om innovatieve bedrijven te ondersteunen met een breed scala aan conversational AI-use cases, waaronder taalmodellen, chatbots en meer.

Een gemeenschappelijk factor over deze use cases is dat de modellen opereren dicht bij (en soms zichtbaar voor) klanten, dus de risico’s van inconsistent presteren of slecht gedrag zijn hoger. Het wordt zo belangrijk voor conversational AI-teams om systeemgedrag op een granulair niveau te begrijpen, wat een gebied van sterkte is van Mona’s monitoringoplossing.

Wat Mona’s oplossing doet, is uniek, namelijk systematisch zoeken naar groepen conversaties en het vinden van pockets waarin de modellen (of bots) zich misdragen. Dit stelt conversational AI-teams in staat om problemen vroeg te identificeren en voordat klanten ze opmerken. Deze capaciteit is een kritische beslissingsfactor voor conversational AI-teams bij het selecteren van monitoringoplossingen.

Om het samen te vatten, biedt Mona een end-to-end-oplossing voor conversational AI-monitoring. Het begint met het waarborgen dat er een enkele bron van informatie is voor het systeemgedrag in de loop van de tijd, en gaat verder met continue tracking van belangrijke prestatie-indicatoren en proactieve inzichten over pockets van misgedrag – waardoor teams efficiënte corrigerende maatregelen kunnen nemen.

Kun je enkele details bieden over Mona’s inzichtengine?

Zeker. Laten we beginnen met de motivatie. Het doel van de inzichtengine is om anomalieën naar de gebruikers te brengen, met precies het juiste niveau van contextuele informatie en zonder lawaai of waarschuwingsmoeheid te creëren.

De inzichtengine is een unieke analytische workflow. In deze workflow zoekt de engine naar anomalieën in alle segmenten van de gegevens, waardoor vroegdetectie van problemen mogelijk is wanneer ze nog “klein” zijn en voordat ze de hele dataset en de downstream bedrijfs-KPI’s beïnvloeden. Vervolgens gebruikt het een proprietair algoritme om de root causes van de anomalieën te detecteren en zorgt ervoor dat elke anomalie slechts één keer wordt gewaarschuwd, zodat lawaai wordt vermeden. Ondersteunde anomalietypen zijn: tijdsreeksanomalieën, drift, outliers, modeldegradatie en meer.

De inzichtengine is hoog aanpasbaar via Mona’s intuïtieve no-code/low-code-configuratie. De aanpasbaarheid van de engine maakt Mona de meest flexibele oplossing op de markt, waardoor een breed scala aan use cases wordt gedekt (bijv. batch en streaming, met/zonder bedrijfsfeedback/ground truth, over modelversies of tussen train en inferentie, en meer).

Tenslotte wordt deze inzichtengine ondersteund door een visualisatiedashboard, waarin inzichten kunnen worden bekeken, en een set onderzoekstools om root cause-analyse en verdere exploratie van de contextuele informatie mogelijk te maken. De inzichtengine is ook volledig geïntegreerd met een notificatie-engine die het mogelijk maakt om inzichten naar de gebruikers eigen werkomgevingen te sturen, waaronder e-mail, samenwerkingsplatforms enz.

Op 31 januari maakte Mona zijn nieuwe AI-fairness-oplossing bekend, kun je ons details delen over deze functie en waarom het ertoe doet?

AI-fairness gaat over het waarborgen dat algoritmes en AI-gedreven systemen in het algemeen onbevooroordeelde en eerlijke beslissingen nemen. Het aanpakken en voorkomen van vooroordelen in AI-systemen is cruciaal, omdat ze significante gevolgen in de echte wereld kunnen hebben. Met de groeiende prominentie van AI zou de impact op het dagelijks leven zichtbaar worden in steeds meer plaatsen, waaronder het automatiseren van ons rijden, het detecteren van ziektes met meer precisie, het verbeteren van onze kennis van de wereld en zelfs het creëren van kunst. Als we niet kunnen vertrouwen dat het eerlijk en onbevooroordeeld is, hoe zouden we het dan toestaan om verder te verspreiden?

Een van de belangrijkste oorzaken van vooroordelen in AI is eenvoudigweg de mogelijkheid van modeltrainingsgegevens om de echte wereld volledig te representeren. Dit kan voortkomen uit historische discriminatie, ondervertegenwoordiging van bepaalde groepen of zelfs intentionele manipulatie van gegevens. Bijvoorbeeld, een gezichtsherkenningssysteem getraind op voornamelijk lichtgetinte individuen heeft waarschijnlijk een hogere foutenratio bij het herkennen van individuen met donkerdere huidtinten. Evenzo kan een taalmodel getraind op tekstgegevens uit een smalle reeks bronnen vooroordelen ontwikkelen als de gegevens zijn gebogen naar bepaalde wereldbeelden, op onderwerpen zoals religie, cultuur enz.

Mona’s AI-fairness-oplossing geeft AI- en zaken teams vertrouwen dat hun AI vrij is van vooroordelen. In gereguleerde sectoren kan Mona’s oplossing teams voorbereiden op compliance readiness.

Mona’s fairness-oplossing is speciaal omdat het op het Mona-platform zit – een brug tussen AI-gegevens en -modellen en hun reële wereldimplicaties. Mona kijkt naar alle delen van het bedrijfsproces dat het AI-model in productie dient, om correlaties te maken tussen trainingsgegevens, modelgedrag en werkelijke reële wereldresultaten om de meest complete beoordeling van fairness te bieden.

Tenslotte zou ik zeggen dat Mona een fundamenteel element is voor teams die verantwoordelijke AI willen bouwen en schalen.

Wat is uw visie voor de toekomst van AI?

Dit is een grote vraag.

Ik denk dat het gemakkelijk is om te voorspellen dat AI zal blijven groeien in gebruik en impact over een breed scala aan industrieën en facetten van het leven van mensen. Echter, het is moeilijk om een visie te nemen die gedetailleerd is en tegelijkertijd probeert alle use cases en implicaties van AI in de toekomst te dekken. Omdat niemand echt genoeg weet om dat beeld geloofwaardig te schetsen.

Wat we zeker weten, is dat AI in handen zal zijn van meer mensen en zal dienen voor meer doeleinden. De behoefte aan governance en transparantie zal dus aanzienlijk toenemen.

Echte zichtbaarheid in AI en hoe het werkt zal twee belangrijke rollen spelen. Ten eerste zal het helpen om vertrouwen in mensen te installeren en weerstandbarrières te liften voor snellere adoptie. Ten tweede zal het helpen om ervoor te zorgen dat wie dan ook AI bedient, ervoor zorgt dat het niet uit de hand loopt.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Mona Labs bezoeken.