Anslut dig till vårt nätverk!

Intervjuer

Yotam Oren, VD och medgrundare av Mona Labs – Intervjuserie

mm

publicerade

 on

Yotam Oren, är VD och medgrundare av Mona Labs, en plattform som gör det möjligt för företag att omvandla AI-initiativ från labbexperiment till skalbar affärsverksamhet genom att verkligen förstå hur ML-modeller beter sig i verkliga affärsprocesser och applikationer.

Mona analyserar automatiskt beteendet hos dina maskininlärningsmodeller över skyddade datasegment och i kontexten av affärsfunktionerna, för att upptäcka potentiell AI-bias. Mona erbjuder möjligheten att generera fullständiga rättviserapporter som uppfyller branschstandarder och föreskrifter, och erbjuder förtroende för att AI-applikationen är kompatibel och fri från fördomar.

Vad lockade dig från början till datavetenskap?

Datavetenskap är en populär karriärväg i min familj, så det var alltid i bakhuvudet som ett genomförbart alternativ. Naturligtvis är israelisk kultur väldigt pro-tech. Vi hyllar innovativa teknologer och jag har alltid haft uppfattningen att CS skulle erbjuda mig en bana för tillväxt och prestation.

Trots det blev det en personlig passion först när jag nådde universitetsåldern. Jag var inte en av de barn som började koda i mellanstadiet. I min ungdom var jag för upptagen med att spela basket för att vara uppmärksam på datorer. Efter gymnasiet tillbringade jag närmare 5 år i militären, i operativa/stridsledarroller. Så på ett sätt började jag egentligen bara lära mig mer om datavetenskap när jag behövde välja ett akademiskt huvudämne på universitetet. Det som direkt fångade min uppmärksamhet var att datavetenskap kombinerade problemlösning och att lära sig ett språk (eller språk). Två saker jag var särskilt intresserad av. Sedan dess var jag fast.

Från 2006 till 2008 arbetade du med kartläggning och navigering för en liten startup, vilka var några av dina viktigaste takeaways från den här eran?

Min roll på Telmap var att bygga en sökmotor ovanpå kart- och platsdata.

Det här var de allra första dagarna av "big data" i företaget. Vi kallade det inte ens så, men vi skaffade enorma datamängder och försökte dra de mest effektfulla och relevanta insikterna att visa upp för våra slutanvändare.

En av de slående insikterna jag hade var att företag (inklusive vi) använde så lite av sin data (för att inte tala om offentligt tillgänglig extern data). Det fanns så mycket potential för nya insikter, bättre processer och upplevelser.

Den andra takeawayen var att att kunna få ut mer av vår data, naturligtvis, berodde på bättre arkitekturer, bättre infrastruktur och så vidare.

Skulle du kunna dela med dig av historien bakom Mona Labs?

Vi tre, medgrundare, har funnits kring dataprodukter under hela vår karriär.

Nemo, teknikchefen, är min collegevän och klasskamrat och en av de första anställda på Google Tel Aviv. Han startade en produkt där som heter Google Trends, som hade mycket avancerad analys och maskininlärning baserad på sökmotordata. Itai, den andra medgrundaren och produktchefen, var med i Nemos team på Google (och han och jag träffades genom Nemo). De två var alltid frustrerade över att AI-drivna system lämnades oövervakade efter inledande utveckling och testning. Trots svårigheter att testa dessa system ordentligt innan produktionen, visste teamen fortfarande inte hur bra deras prediktiva modeller klarade sig över tiden. Dessutom verkade det som att den enda gången de fick höra någon feedback om AI-system var när det gick dåligt och utvecklingsteamet kallades till en "brandövning" för att åtgärda katastrofala problem.

Ungefär samtidigt var jag konsult på McKinsey & Co, och ett av de största hindren jag såg för att AI- och Big Data-program skulle skala i stora företag var bristen på förtroende som affärsintressenter hade för dessa program.

Den röda tråden här blev tydlig för Nemo, Itai och mig själv i samtal. Branschen behövde infrastrukturen för att övervaka AI/ML-system i produktionen. Vi kom på visionen att tillhandahålla denna synlighet för att öka förtroendet hos affärsintressenter och för att göra det möjligt för AI-team att alltid ha koll på hur deras system fungerar och att iterera mer effektivt.

Och det var då Mona grundades.

Vilka är några av de aktuella problemen med bristen på AI-transparens?

I många branscher har organisationer redan spenderat tiotals miljoner dollar på sina AI-program och har sett en viss initial framgång i labbet och i småskaliga implementeringar. Men det har varit en enorm utmaning för nästan alla att skala upp, uppnå bred användning och få verksamheten att faktiskt förlita sig på AI.

Varför händer det här? Tja, det börjar med det faktum att bra forskning inte automatiskt översätts till fantastiska produkter (En kund sa en gång till oss, "ML-modeller är som bilar, när de lämnar labbet förlorar de 20% av sitt värde"). Bra produkter har stödsystem. Det finns verktyg och processer för att säkerställa att kvaliteten bibehålls över tid, och att frågor fångas upp tidigt och åtgärdas effektivt. Bra produkter har också en kontinuerlig feedbackloop, de har en förbättringscykel och en färdplan. Följaktligen kräver fantastiska produkter djup och konstant prestandatransparens.

När det saknas transparens slutar du med:

  • Frågor som förblir dolda en tid och sedan brister in i ytan och orsakar "brandövningar"
  • Långa och manuella utredningar och åtgärder
  • Ett AI-program som inte litar på av företagsanvändare och sponsorer och som i slutändan misslyckas med att skala

Vilka är några av utmaningarna bakom att göra prediktiva modeller transparenta och pålitliga?

Transparens är naturligtvis en viktig faktor för att uppnå förtroende. Transparens kan komma i många former. Det finns en enkel förutsägelsetransparens som kan innefatta att visa nivån av förtroende för användaren eller tillhandahålla en förklaring/motivering för förutsägelsen. Transparens för enstaka förutsägelser är främst inriktad på att hjälpa användaren att bli bekväm med förutsägelsen. Och sedan finns det övergripande transparens som kan inkludera information om prediktiv noggrannhet, oväntade resultat och potentiella problem. Övergripande transparens behövs av AI-teamet.

Den mest utmanande delen av övergripande transparens är att upptäcka problem tidigt, varna den relevanta teammedlemmen så att de kan vidta korrigerande åtgärder innan katastrofer inträffar.

Varför det är utmanande att upptäcka problem tidigt:

  • Frågor börjar ofta små och puttrar, innan de så småningom spricker upp i ytan.
  • Problem uppstår ofta på grund av okontrollerbara eller externa faktorer, såsom datakällor.
  • Det finns många sätt att "dela upp världen" och att uttömmande leta efter problem i små fickor kan resultera i mycket buller (varningströtthet), åtminstone när detta görs på ett naivt sätt.

En annan utmanande aspekt av att tillhandahålla transparens är den stora spridningen av AI-användningsfall. Detta gör en enstaka tillvägagångssätt nästan omöjlig. Varje användningsfall för AI kan innehålla olika datastrukturer, olika affärscykler, olika framgångsmått och ofta olika tekniska tillvägagångssätt och till och med stackar.

Så det är en monumental uppgift, men transparens är så grundläggande för framgången för AI-program, så du måste göra det.

Kan du dela med dig av några detaljer om lösningarna för NLU / NLP-modeller och chatbots?

Conversational AI är en av Monas kärnvertikaler. Vi är stolta över att stödja innovativa företag med ett brett utbud av konversations-AI-användningsfall, inklusive språkmodeller, chatbots och mer.

En gemensam faktor i dessa användningsfall är att modellerna fungerar nära (och ibland synligt) kunderna, så riskerna för inkonsekvent prestanda eller dåligt beteende är högre. Det blir så viktigt för konverserande AI-team att förstå systembeteende på en granulär nivå, vilket är ett område med styrkor i Monas övervakningslösning.

Det som Monas lösning gör som är ganska unikt är att systematiskt sålla grupper av konversationer och hitta fickor där modellerna (eller botarna) missköter sig. Detta gör att konversations-AI-team kan identifiera problem tidigt och innan kunderna märker dem. Denna förmåga är en avgörande drivkraft för beslutsfattande AI-team när de väljer övervakningslösningar.

Sammanfattningsvis tillhandahåller Mona en helhetslösning för konversationsövervakning av AI. Det börjar med att säkerställa att det finns en enda informationskälla för systemens beteende över tid, och fortsätter med kontinuerlig spårning av nyckelprestandaindikatorer och proaktiva insikter om fickor av felaktigt beteende – vilket gör det möjligt för team att vidta förebyggande, effektiva korrigerande åtgärder.

Kan du ge några detaljer om Monas insiktsmotor?

Säker. Låt oss börja med motivationen. Syftet med insiktsmotorn är att synliggöra anomalier för användarna, med precis rätt mängd kontextuell information och utan att skapa brus eller leda till larmtrötthet.

Insiktsmotorn är ett unikt analytiskt arbetsflöde. I det här arbetsflödet söker motorn efter anomalier i alla segment av data, vilket möjliggör tidig upptäckt av problem när de fortfarande är "små", och innan de påverkar hela datasetet och nedströms affärs-KPI:er. Den använder sedan en egenutvecklad algoritm för att upptäcka grundorsakerna till anomalierna och ser till att varje anomali bara larmas på en gång så att brus undviks. Anomalityper som stöds inkluderar: tidsserieavvikelser, drifter, extremvärden, modellförsämring och mer.

Insiktsmotorn är mycket anpassningsbar via Monas intuitiva no-code/low-code-konfiguration. Konfigurerbarheten av motorn gör Mona till den mest flexibla lösningen på marknaden, som täcker ett brett spektrum av användningsfall (t.ex. batch och streaming, med/utan affärsfeedback/ground truth, över modellversioner eller mellan tåg och slutledning, med mera ).

Slutligen stöds denna insiktsmotor av en visualiseringsinstrumentpanel, där insikter kan ses, och en uppsättning undersökningsverktyg för att möjliggöra rotorsaksanalys och ytterligare utforskning av kontextuell information. Insiktsmotorn är också helt integrerad med en aviseringsmotor som möjliggör matning av insikter till användarnas egna arbetsmiljöer, inklusive e-post, samarbetsplattformar och så vidare.

Den 31 januari, Mona avtäckte dess nya AI fairness-lösning, kan du dela med oss ​​av information om vad den här funktionen är och varför den är viktig?

AI-rättvisa handlar om att säkerställa att algoritmer och AI-drivna system i allmänhet fattar opartiska och rättvisa beslut. Att åtgärda och förhindra fördomar i AI-system är avgörande, eftersom de kan resultera i betydande verkliga konsekvenser. Med AI:s ökande framträdande plats skulle inverkan på människors dagliga liv bli synlig på fler och fler platser, inklusive att automatisera vår körning, upptäcka sjukdomar mer exakt, förbättra vår förståelse av världen och till och med skapa konst. Om vi ​​inte kan lita på att det är rättvist och opartiskt, hur skulle vi tillåta det att fortsätta spridas?

En av huvudorsakerna till fördomar i AI är helt enkelt förmågan hos modellträningsdata att representera den verkliga världen i sin helhet. Detta kan bero på historisk diskriminering, underrepresentation av vissa grupper eller till och med avsiktlig manipulation av data. Till exempel har ett ansiktsigenkänningssystem som tränats på övervägande ljushyade individer sannolikt en högre felfrekvens när det gäller att känna igen individer med mörkare hudtoner. På liknande sätt kan en språkmodell som tränas på textdata från en snäv uppsättning källor utveckla fördomar om data är snedvriden mot vissa världsåskådningar, om ämnen som religion, kultur och så vidare.

Monas AI fairness-lösning ger AI och affärsteam förtroende för att deras AI är fri från fördomar. Inom reglerade sektorer kan Monas lösning förbereda team för efterlevnadsberedskap.

Monas rättvisa lösning är speciell eftersom den sitter på Mona-plattformen – en brygga mellan AI-data och modeller och deras verkliga implikationer. Mona tittar på alla delar av affärsprocessen som AI-modellen tjänar i produktionen, för att korrelera mellan träningsdata, modellbeteende och faktiska verkliga resultat för att ge den mest omfattande bedömningen av rättvisa.

För det andra har den en unik analysmotor som möjliggör flexibel segmentering av data för att kontrollera relevanta parametrar. Detta möjliggör noggranna korrelationsbedömningar i rätt sammanhang, undviker Simpsons paradox och ger ett djupt verkligt "bias-poäng" för alla prestandamått och på alla skyddade funktioner.

Så totalt sett skulle jag säga att Mona är ett grundläggande element för team som behöver bygga och skala ansvarsfull AI.

Vad är din vision för framtiden för AI?

Det här är en stor fråga.

Jag tror att det är okomplicerat att förutsäga att AI kommer att fortsätta att växa i användning och påverkan inom en mängd olika industrisektorer och aspekter av människors liv. Det är dock svårt att ta på allvar en vision som är detaljerad och som samtidigt försöker täcka alla användningsfall och implikationer av AI i framtiden. För ingen vet egentligen tillräckligt för att måla den bilden trovärdigt.

Med det sagt, vad vi med säkerhet vet är att AI kommer att vara i händerna på fler människor och tjäna fler syften. Behovet av styrning och transparens kommer därför att öka avsevärt.

Verklig insyn i AI och hur det fungerar kommer att spela två huvudroller. För det första kommer det att bidra till att ingjuta förtroende hos människor och lyfta motståndsbarriärer för snabbare adoption. För det andra kommer det att hjälpa alla som använder AI att säkerställa att det inte går ur hand.

Tack för den fina intervjun, läsare som vill veta mer bör besöka Mona Labs.

En av grundarna av unite.AI och en medlem av Forbes Technology Council, Antoine är en futurist som brinner för framtiden för AI och robotik.

Han är också grundare av Securities.io, en webbplats som fokuserar på att investera i disruptiv teknik.