Yotam Oren, CEO & Cofounder of Mona Labs – Interview Serie

Yotam Oren, er CEO & Cofounder of Mona Labs, en platform, der giver virksomheder mulighed for at omdanne AI-initiativer fra laboratorieeksperimenter til skalerbare forretningsoperationer ved at forstå, hvordan ML-modeller opfører sig i virkelige forretningsprocesser og -applikationer.

Mona analyserer automatisk opførslen af dine machine learning-modeller på beskyttede datasegmenter og i sammenhæng med virksomhedsfunktioner for at opdage potentiel AI-forvrængning. Mona tilbyder mulighed for at generere komplette fairness-rapporter, der opfylder branchestandarder og regler, og giver tillid til, at AI-anvendelsen er compliant og fri for forvrængning.

Hvad var det, der oprindeligt tiltrak dig til datalogi?

Datalogi er en populær karrierevej i min familie, så det var altid en mulighed, der lå i baghånden. Selvfølgelig er den israelske kultur meget pro-tech. Vi fejrer innovative teknologer, og jeg havde altid den opfattelse, at datalogi ville give mig en mulighed for vækst og præstation.

Trods det blev det først en personlig passion, da jeg nåede universitetsalderen. Jeg var ikke en af dem, der startede med at kode i mellemskolen. I min ungdom var jeg for optaget af at spille basketball til at beskæftige mig med computere. Efter gymnasiet tilbragte jeg næsten 5 år i militæret i operative/ kamplederroller. Så på en måde lærte jeg først mere om datalogi, da jeg skulle vælge en akademisk hovedfag på universitetet. Det, der fik min opmærksomhed, var, at datalogi kombinerede løsning af problemer og læring af et sprog (eller sprog). To ting, jeg var særligt interesseret i. Fra da af var jeg fast besluttet.

Fra 2006 til 2008 arbejdede du med kortlægning og navigation for en lille startup, hvad var nogle af dine vigtigste takeaway fra denne periode?

Min rolle hos Telmap var at bygge en søgemaskine på toppen af kort- og lokalitetsdata.

Det var de meget tidlige dage for “big data” i virksomhederne. Vi kaldte det ikke endnu, men vi erhvervede enorme datasæt og forsøgte at trække de mest betydningsfulde og relevante indsighter ud til vores slutbrugere.

En af de slående erkendelser, jeg fik, var, at virksomheder (herunder os) kun brugte en lille del af deres data (for slet ikke at tale om offentligt tilgængelige eksterne data). Der var så meget potentiale for nye indsighter, bedre processer og oplevelser.

Den anden takeaway var, at vi for at få mere af vores data afhængigt af at have bedre arkitektur, bedre infrastruktur og så videre.

Kunne du dele historien bag Mona Labs?

De tre af os, co-foundere, har været omkring dataprodukter hele vores karriere.

Nemo, chief technology officer, er min collegeven og klassekammerat, og en af de første medarbejdere hos Google Tel Aviv. Han startede et produkt der, kaldet Google Trends, som havde mange avancerede analyser og maskinlæringsalgoritmer baseret på søgeengine-data. Itai, den anden co-founder og chief product officer, var på Nemos team hos Google (og han og jeg mødte hinanden gennem Nemo). De to af dem var altid frustrerede over, at AI-drevne systemer blev efterladt uden overvågning efter den første udvikling og test. Trods vanskelighederne ved at teste disse systemer før produktion, vidste teams ikke, hvor godt deres prædiktionsmodeller fungerede over tid. Derudover syntes det, som om de kun fik feedback om AI-systemer, når tingene gik galt, og udviklingsteamet blev kaldt til en “brandøvelse” for at løse katastrofale problemer.

Samtidig var jeg konsulent hos McKinsey & Co, og en af de største barrierer, jeg så for AI- og Big Data-programmer, der skal skaleres i store virksomheder, var manglen på tillid, som forretningsstakeholdere havde til disse programmer.

Den fælles tråd her blev tydelig for Nemo, Itai og mig selv i samtaler. Branchen havde brug for infrastruktur til at overvåge AI/ML-systemer i produktion. Vi fik visionen om at give denne synlighed for at øge tilliden hos forretningsstakeholdere og give AI-teams mulighed for at have styr på, hvordan deres systemer fungerer, og for at iterere mere effektivt.

Og det var da Mona blev grundlagt.

Hvad er nogle af de nuværende problemer med manglen på AI-gennemsigtighed?

I mange brancher har organisationer allerede brugt titusinder af millioner dollars på deres AI-programmer og har set en vis succes i laboratoriet og i småskala-deploymenter. Men at skaleres op, opnå bred accept og få forretningsvirksomheden til faktisk at stole på AI har været en kæmpe udfordring for næsten alle.

Hvorfor sker dette? Det starter med, at fremragende forskning ikke automatisk oversætter til fremragende produkter (En kunde fortalte os engang: “ML-modeller er som biler, det øjeblik de forlader laboratoriet, mister de 20% af deres værdi”). Fremragende produkter har understøttende systemer. Der er værktøjer og processer til at sikre, at kvaliteten opretholdes over tid, og at problemerne opdages tidligt og løses effektivt. Fremragende produkter har også en kontinuerlig feedback-løkke, de har en forbedringscyklus og en roadmap. Fremragende produkter kræver derfor dyb og konstant ydelsesgennemsigtighed.

Når der er manglen på gennemsigtighed, ender du med:

• Problemer, der forbliver skjult i en periode og så pludselig dukker op og forårsager “brandøvelser”
• Lange og manuelle undersøgelser og afhjælpninger
• Et AI-program, der ikke er tillidsfuldt for forretningsbrugere og sponsorer og til sidst fejler i at skaleres

Hvad er nogle af udfordringerne bag at gøre prædiktionsmodeller gennemsigtige og troværdige?

Gennemsigtighed er en vigtig faktor i at opnå tillid, naturligvis. Gennemsigtighed kan komme i mange former. Der er enkeltprædiktionsgennemsigtighed, der kan omfatte visning af tillidsniveauet til brugeren eller give en forklaring/rationale for prædiktionsresultatet. Enkeltprædiktionsgennemsigtighed er hovedsagelig rettet mod at hjælpe brugeren med at blive tryg ved prædiktionsresultatet. Og så er der samlet gennemsigtighed, der kan omfatte oplysninger om prædiktionsnøjagtighed, uventede resultater og potentielle problemer. Samlet gennemsigtighed er nødvendig for AI-teamet.

Det mest udfordrende aspekt af samlet gennemsigtighed er at opdage problemer tidligt, alarmere den relevante teammedlem, så de kan tage korrigerende handling, før katastrofer sker.

Hvorfor det er udfordrende at opdage problemer tidligt:

• Problemer starter ofte små og simrer, før de til sidst dukker op og forårsager katastrofer.
• Problemer starter ofte på grund af uafhængige eller eksterne faktorer, såsom datakilder.
• Der er mange måder at “dele verden” på, og udførligt at søge efter problemer i små lommer kan resultere i meget støj (alert træthed), når dette gøres på en naiv måde.

En anden udfordrende aspekt ved at give gennemsigtighed er den enorme spredning af AI-brugstilfælde. Dette gør en “one-size-fits-all”-tilgang næsten umulig. Hvert AI-brugs tilfælde kan omfatte forskellige datastrukturer, forskellige forretningscykler, forskellige succesmetrikker og ofte forskellige tekniske tilgange og selv stacks.

Så det er en monumental opgave, men gennemsigtighed er så fundamental for AI-programmers succes, så du må gøre det.

Kunne du dele nogle detaljer om løsningerne for NLU / NLP-modeller & chatbots?

Konversations-AI er en af Monas kernevertikaler. Vi er stolte af at støtte innovative virksomheder med en bred vifte af konversations-AI-brugs tilfælde, herunder sprogmodeller, chatbots og mere.

En fælles faktor på tværs af disse brugs tilfælde er, at modellerne opererer tæt (og nogle gange synligt) på kunder, så risikoen for inkonsistent præstation eller dårlig opførsel er højere. Det bliver så vigtigt for konversations-AI-teams at forstå systemopførslen på et detaljeret niveau, hvilket er et område, hvor Monas overvågningsløsning er stærk.

Hvad Monas løsning gør, der er ret unikt, er systematisk at sieve grupper af samtaler og finde lommer, hvor modellerne (eller botterne) opfører sig dårligt. Dette giver konversations-AI-teams mulighed for at identificere problemer tidligt og før kunderne lægger mærke til dem. Denne funktion er en kritisk beslutningsfaktor for konversations-AI-teams, når de vælger overvågningsløsninger.

For at samme det op giver Mona en løsning fra ende til anden for konversations-AI-overvågning. Den starter med at sikre, at der er en enkelt kilde til information om systemets opførsel over tid, og fortsætter med kontinuerlig sporing af nøglepræstationsindikatorer og proaktive indsighter om lommer af misopførsel – hvilket giver teams mulighed for at tage forebyggende, effektive korrigerende foranstaltninger.

Kunne du tilbyde nogle detaljer om Monas indsigtsmotor?

Selvfølgelig. Lad os begynde med motivationen. Formålet med indsigtsmotoren er at fremme anomalier for brugerne med kun den rigtige mængde kontekstinformation og uden at skabe støj eller føre til alert træthed.

Indsigtsmotoren er en enestående analytisk arbejdsgang. I denne arbejdsgang søger motoren efter anomalier i alle segmenter af data, hvilket giver tidlig opdaging af problemer, når de stadig er “små”, og før de påvirker det samlede datasæt og de nedstrøms forretnings-KPI’er. Den bruger herefter en proprietær algoritme til at opdage rodårsagerne til anomalierne og sikrer, at hver anomalie kun alarmeres en gang, så støj undgås. Anomalitets typer, der understøttes, omfatter: Tidsserieanomalier, drift, outliers, modeldegradering og mere.

Indsigtsmotoren er højtilgængelig via Monas intuitive no-code/low-code-konfiguration. Konfigurerbarheden af motoren gør Mona til den mest fleksible løsning på markedet, der dækker en bred vifte af brugs tilfælde (f.eks. batch og streaming, med/uden forretningsfeedback / grund sandhed, på tværs af modelversioner eller mellem træning og slutning, og mere).

Til sidst støttes indsigtsmotoren af en visualiseringsdashboard, hvor indsighter kan vises, og en samling undersøgelsesværktøjer til at muliggøre rodårsagsanalyse og yderligere udforskning af kontekstinformationen. Indsigtsmotoren er også fuldt integreret med en meddelelsesmotor, der giver mulighed for at føde indsighter til brugernes egne arbejdsmiljøer, herunder e-mail, samarbejdsplatforme og så videre.

Den 31. januar præsenterede Mona sin nye AI-fairness-løsning, kunne du dele med os detaljer om, hvad denne funktion er, og hvorfor den er vigtig?

AI-fairness handler om at sikre, at algoritmer og AI-drevne systemer generelt tager upartiske og retfærdige beslutninger. At håndtere og forhindre forvrængninger i AI-systemer er afgørende, da de kan resultere i betydelige virkelige konsekvenser. Med AI’s stigende fremtræden vil virkningen på menneskers daglige liv være synlig på flere og flere steder, herunder automatisering af vores kørsel, mere præcis sygdomsdiagnose, forbedring af vores forståelse af verden og endda skabelse af kunst. Hvis vi ikke kan stole på, at det er retfærdigt og upartisk, hvordan kan vi tillade det at fortsætte med at sprede sig?

En af de største årsager til forvrængninger i AI er simpelthen evnen af modeltræningsdata til at repræsentere den virkelige verden fuldt ud. Dette kan stamme fra historisk diskrimination, underrepræsentation af bestemte grupper eller endda bevidst manipulation af data. For eksempel er et ansigtsgenkendelsessystem, der er trænet på overvejende lyskødede individer, sandsynligvis at have en højere fejlrate i genkendelse af individer med mørkere hudtoner. Ligesom et sprogmodel, der er trænet på tekstdata fra et snævert udvalg af kilder, kan udvikle forvrængninger, hvis data er skævt mod bestemte verdenssyn, om emner som religion, kultur og så videre.

Monas AI-fairness-løsning giver AI- og forretningshold tillid til, at deres AI er fri for forvrængninger. I regulerede sektorer kan Monas løsning forberede hold på overholdelse.

Monas fairness-løsning er speciel, fordi den sidder på Mona-platformen – en bro mellem AI-data og -modeller og deres virkelige verdens implikationer. Mona ser på alle dele af forretningsprocessen, som AI-modellen betjener i produktion, for at korrelerer mellem træningsdata, modelopførsel og faktiske virkelige resultater for at give den mest omfattende vurdering af fairness.

For det andet har den en enestående analytisk motor, der giver mulighed for fleksibel segmentering af data for at kontrollere relevante parametre. Dette giver mulighed for nøjagtige korrelationsvurderinger i den rette kontekst, undgåelse af Simpsons paradoks og giver en dyb, virkelig “forvrængnings-score” for enhver performancesmetrik og på enhver beskyttet funktion.

Så, samlet set, ville jeg sige, at Mona er et grundlæggende element for hold, der behøver at bygge og skaleres ansvarlig AI.

Hvad er din vision for fremtidens AI?

Dette er et stort spørgsmål.

Jeg tror, det er let at forudsige, at AI vil fortsætte med at vokse i brug og påvirkning på tværs af en række brancher og aspekter af menneskers liv. Men det er svært at tage alvorligt en vision, der er detaljeret og samtidig forsøger at dække alle brugs tilfælde og implikationer af AI i fremtiden. Fordi ingen virkelig ved nok til at male det billede troværdigt.

Det, vi ved med sikkerhed, er, at AI vil være i hænderne på flere mennesker og tjene flere formål. Behovet for styring og gennemsigtighed vil derfor øge betydeligt.

Rigtig synlighed i AI og hvordan det fungerer vil spille to primære roller. Først vil det hjælpe med at indstille tillid hos mennesker og løfte barrierer for hurtigere adoption. Anden vil det hjælpe med at sikre, at AI ikke kommer ud af hånden.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Mona Labs.