Yotam Oren, administrerende direktør og medstifter av Mona Labs – Intervjuserie

Yotam Oren, er administrerende direktør og medstifter av Mona Labs, en plattform som gjør det mulig for bedrifter å transformere AI-initiativer fra laboratorieeksperimenter til skalerbare forretningsdrifter ved å virkelig forstå hvordan ML-modeller oppfører seg i virkelige forretningsprosesser og applikasjoner.

Mona analyserer automatisk oppførselen til maskinlæringsmodellene dine på tvers av beskyttede datasegmenter og i sammenheng med forretningsfunksjonene, for å oppdage potensiell AI-bias. Mona tilbyr muligheten til å generere komplette rettferdighetsrapporter som oppfyller bransjestandarder og forskrifter, og gir tillit til at AI-applikasjonen er kompatibel og fri for skjevheter.

Hva tiltrakk deg i utgangspunktet til informatikk?

Datavitenskap er en populær karrierevei i familien min, så det var alltid i bakhodet som et levedyktig alternativ. Selvfølgelig er israelsk kultur veldig pro-tech. Vi feirer innovative teknologer, og jeg har alltid hatt en oppfatning av at CS ville tilby meg en rullebane for vekst og prestasjon.

Til tross for det ble det en personlig lidenskap først da jeg nådde universitetsalderen. Jeg var ikke en av de barna som begynte å kode på ungdomsskolen. I min ungdom var jeg for opptatt med å spille basketball til å ta hensyn til datamaskiner. Etter videregående tilbrakte jeg nærmere 5 år i militæret, i operative/kamplederroller. Så på en måte begynte jeg egentlig bare å lære mer om informatikk da jeg trengte å velge en akademisk hovedfag på universitetet. Det som umiddelbart fanget oppmerksomheten min var at informatikk kombinerte å løse problemer og lære et språk (eller språk). To ting jeg var spesielt interessert i. Fra da av ble jeg hekta.

Fra 2006 til 2008 jobbet du med kartlegging og navigering for et lite oppstartsselskap, hva var noen av viktige ting fra denne epoken?

Min rolle i Telmap var å bygge en søkemotor på toppen av kart- og stedsdata.

Dette var de aller første dagene med "big data" i bedriften. Vi kalte det ikke engang det, men vi skaffet oss enorme datasett og prøvde å trekke frem den mest effektive og relevante innsikten for å vise frem til sluttbrukerne våre.

En av de slående erkjennelsene jeg hadde var at selskaper (inkludert oss) brukte så lite av dataene deres (for ikke å snakke om offentlig tilgjengelige eksterne data). Det var så mye potensial for ny innsikt, bedre prosesser og erfaringer.

Den andre takeawayen var at det å kunne få mer av dataene våre selvfølgelig var avhengige av å ha bedre arkitekturer, bedre infrastruktur og så videre.

Kan du dele opprinnelseshistorien bak Mona Labs?

Vi tre, medgründere, har vært rundt dataprodukter gjennom hele karrieren vår.

Nemo, teknologisjefen, er min collegevenn og klassekamerat, og en av de første ansatte i Google Tel Aviv. Han startet et produkt der kalt Google Trends, som hadde mye avansert analyse og maskinlæring basert på søkemotordata. Itai, den andre medgründeren og produktsjefen, var på Nemos team hos Google (og han og jeg møttes gjennom Nemo). De to var alltid frustrerte over at AI-drevne systemer ble forlatt uovervåket etter innledende utvikling og testing. Til tross for vanskeligheter med å teste disse systemene på riktig måte før produksjon, visste teamene fortsatt ikke hvor godt deres prediktive modeller gjorde det over tid. I tillegg så det ut til at den eneste gangen de fikk noen tilbakemelding om AI-systemer var når ting gikk dårlig og utviklingsteamet ble kalt til en "brannøvelse" for å fikse katastrofale problemer.

Omtrent samtidig var jeg konsulent i McKinsey & Co, og en av de største barrierene jeg så for å skalere AI- og Big Data-programmer i store bedrifter var mangelen på tillit som forretningsinteressenter hadde til disse programmene.

Den røde tråden her ble tydelig for Nemo, Itai og meg selv i samtaler. Industrien trengte infrastrukturen for å overvåke AI/ML-systemer i produksjon. Vi kom opp med visjonen om å gi denne synligheten for å øke tilliten til virksomhetens interessenter, og for å gjøre det mulig for AI-team å alltid ha kontroll på hvordan systemene deres gjør og å iterere mer effektivt.

Og det var da Mona ble grunnlagt.

Hva er noen av de aktuelle problemene med mangel på AI-gjennomsiktighet?

I mange bransjer har organisasjoner allerede brukt titalls millioner dollar på AI-programmene sine, og har sett en viss innledende suksess i laboratoriet og i småskala implementeringer. Men å skalere opp, oppnå bred adopsjon og få virksomheten til å faktisk stole på AI har vært en enorm utfordring for nesten alle.

Hvorfor skjer dette? Vel, det starter med det faktum at god forskning ikke automatisk oversettes til gode produkter (En kunde fortalte oss en gang, "ML-modeller er som biler, i det øyeblikket de forlater laboratoriet, mister de 20 % av verdien"). Flotte produkter har støttesystemer. Det finnes verktøy og prosesser for å sikre at kvaliteten opprettholdes over tid, og at problemer fanges opp tidlig og håndteres effektivt. Flotte produkter har også en kontinuerlig tilbakemeldingssløyfe, de har en forbedringssyklus og et veikart. Følgelig krever gode produkter dyp og konstant ytelsestransparens.

Når det er mangel på åpenhet, ender du opp med:

• Problemer som forblir skjult en stund og deretter bryter inn i overflaten og forårsaker "brannøvelser"
• Langvarige og manuelle undersøkelser og avbøtende tiltak
• Et AI-program som ikke er klarert av forretningsbrukere og sponsorer og som til slutt ikke klarer å skalere

Hva er noen av utfordringene bak å gjøre prediktive modeller transparente og pålitelige?

Åpenhet er selvfølgelig en viktig faktor for å oppnå tillit. Åpenhet kan komme i mange former. Det er enkelt prediksjonsgjennomsiktighet som kan inkludere å vise tillitsnivået til brukeren, eller gi en forklaring/rasjonal for spådommen. Enkel prediksjons åpenhet er hovedsakelig rettet mot å hjelpe brukeren med å bli komfortabel med prediksjonen. Og så er det generell åpenhet som kan inkludere informasjon om prediktiv nøyaktighet, uventede resultater og potensielle problemer. Generell åpenhet er nødvendig av AI-teamet.

Den mest utfordrende delen av generell åpenhet er å oppdage problemer tidlig, varsle det relevante teammedlemmet slik at de kan iverksette korrigerende tiltak før katastrofer inntreffer.

Hvorfor det er utfordrende å oppdage problemer tidlig:

• Problemene starter ofte i det små og småkoker, før de til slutt sprekker opp i overflaten.
• Problemer starter ofte på grunn av ukontrollerbare eller eksterne faktorer, for eksempel datakilder.
• Det er mange måter å "dele verden" på og uttømmende leting etter problemer i små lommer kan resultere i mye støy (varslingstrøtthet), i hvert fall når dette gjøres på en naiv tilnærming.

Et annet utfordrende aspekt ved å tilby åpenhet er den store utbredelsen av AI-brukssaker. Dette gjør en one-size fits all-tilnærming nesten umulig. Hver AI-brukstilfelle kan inkludere forskjellige datastrukturer, forskjellige forretningssykluser, forskjellige suksessmålinger og ofte forskjellige tekniske tilnærminger og til og med stabler.

Så det er en monumental oppgave, men åpenhet er så grunnleggende for suksessen til AI-programmer, så du må gjøre det.

Kan du dele noen detaljer om løsningene for NLU / NLP-modeller og chatbots?

Conversational AI er en av Monas kjernevertikaler. Vi er stolte av å støtte innovative selskaper med et bredt spekter av AI-brukstilfeller, inkludert språkmodeller, chatbots og mer.

En felles faktor på tvers av disse brukstilfellene er at modellene opererer nær (og noen ganger synlig) kundene, så risikoen for inkonsekvent ytelse eller dårlig oppførsel er høyere. Det blir så viktig for samtale-AI-team å forstå systematferd på et granulært nivå, som er et styrkeområde ved Monas overvåkingsløsning.

Det Monas løsning gjør som er ganske unikt er å systematisk sile grupper av samtaler og finne lommer der modellene (eller robotene) oppfører seg feil. Dette lar samtale-AI-team identifisere problemer tidlig og før kundene legger merke til dem. Denne evnen er en kritisk beslutningsdriver for samtale-AI-team når de velger overvåkingsløsninger.

For å oppsummere, leverer Mona en ende-til-ende-løsning for samtale-AI-overvåking. Det starter med å sikre at det er én enkelt informasjonskilde for systemenes oppførsel over tid, og fortsetter med kontinuerlig sporing av nøkkelytelsesindikatorer og proaktiv innsikt om lommer med feil oppførsel – noe som gjør det mulig for team å ta forebyggende, effektive korrigerende tiltak.

Kan du gi noen detaljer om Monas innsiktsmotor?

Sikker. La oss begynne med motivasjonen. Målet med innsiktsmotoren er å synliggjøre uregelmessigheter for brukerne, med akkurat den rette mengden kontekstuell informasjon og uten å skape støy eller føre til varslingstretthet.

Innsiktsmotoren er en unik analytisk arbeidsflyt. I denne arbeidsflyten søker motoren etter uregelmessigheter i alle segmenter av dataene, noe som muliggjør tidlig oppdagelse av problemer når de fortsatt er "små", og før de påvirker hele datasettet og nedstrøms forretnings-KPIer. Den bruker deretter en proprietær algoritme for å oppdage de grunnleggende årsakene til uregelmessighetene og sørger for at hver uregelmessighet bare varsles én gang slik at støy unngås. Anomalityper som støttes inkluderer: tidsserieavvik, drifter, uteliggere, modellforringelse og mer.

Innsiktsmotoren er svært tilpassbar via Monas intuitive no-code/low-code-konfigurasjon. Konfigurerbarheten til motoren gjør Mona til den mest fleksible løsningen på markedet, og dekker et bredt spekter av bruksområder (f.eks. batch og streaming, med/uten tilbakemeldinger fra virksomheten/grunnsannhet, på tvers av modellversjoner eller mellom tog og slutning, og mer ).

Til slutt støttes denne innsiktsmotoren av et visualiseringsdashbord, der innsikt kan sees, og et sett med undersøkelsesverktøy for å muliggjøre rotårsaksanalyse og videre utforskning av kontekstuell informasjon. Innsiktsmotoren er også fullt integrert med en varslingsmotor som muliggjør mating av innsikt til brukernes egne arbeidsmiljøer, inkludert e-post, samarbeidsplattformer og så videre.

31. januar Mona avduket den nye AI-rettferdighetsløsningen, kan du dele med oss ​​detaljer om hva denne funksjonen er og hvorfor den er viktig?

AI-rettferdighet handler om å sikre at algoritmer og AI-drevne systemer generelt tar objektive og rettferdige avgjørelser. Å adressere og forhindre skjevheter i AI-systemer er avgjørende, siden de kan resultere i betydelige konsekvenser i den virkelige verden. Med AIs økende fremtredende plass vil innvirkningen på folks daglige liv være synlig flere og flere steder, inkludert automatisering av kjøringen vår, oppdage sykdommer mer nøyaktig, forbedre forståelsen av verden og til og med skape kunst. Hvis vi ikke kan stole på at det er rettferdig og objektivt, hvordan vil vi la det fortsette å spre seg?

En av hovedårsakene til skjevheter i AI er ganske enkelt muligheten til modelltreningsdata til å representere den virkelige verden i sin helhet. Dette kan stamme fra historisk diskriminering, underrepresentasjon av visse grupper, eller til og med forsettlig manipulering av data. For eksempel vil et ansiktsgjenkjenningssystem som er trent på overveiende lyshudede individer sannsynligvis ha en høyere feilrate når det gjelder å gjenkjenne individer med mørkere hudtoner. På samme måte kan en språkmodell trent på tekstdata fra et smalt sett med kilder utvikle skjevheter hvis dataene er skjevt mot visse verdenssyn, om emner som religion, kultur og så videre.

Monas AI-rettferdighetsløsning gir AI og forretningsteam tillit til at deres AI er fri for skjevheter. I regulerte sektorer kan Monas løsning forberede team på compliance-beredskap.

Monas rettferdighetsløsning er spesiell fordi den sitter på Mona-plattformen – en bro mellom AI-data og -modeller og deres implikasjoner i den virkelige verden. Mona ser på alle deler av forretningsprosessen som AI-modellen tjener i produksjonen, for å korrelere mellom treningsdata, modellatferd og faktiske resultater i den virkelige verden for å gi den mest omfattende vurderingen av rettferdighet.

For det andre har den en enestående analytisk motor som muliggjør fleksibel segmentering av dataene for å kontrollere relevante parametere. Dette muliggjør nøyaktige korrelasjonsvurderinger i riktig kontekst, unngår Simpsons paradoks og gir en dyp reell "bias-score" for enhver ytelsesmåling og på alle beskyttede funksjoner.

Så totalt sett vil jeg si at Mona er et grunnleggende element for team som trenger å bygge og skalere ansvarlig AI.

Hva er din visjon for fremtiden til AI?

Dette er et stort spørsmål.

Jeg tror det er enkelt å forutsi at AI vil fortsette å vokse i bruk og innvirkning på tvers av en rekke industrisektorer og fasetter av folks liv. Det er imidlertid vanskelig å ta seriøst en visjon som er detaljert og som samtidig prøver å dekke alle brukstilfeller og implikasjoner av AI i fremtiden. Fordi ingen egentlig vet nok til å male det bildet troverdig.

Når det er sagt, det vi med sikkerhet vet er at AI vil være i hendene på flere mennesker og tjene flere formål. Behovet for styring og åpenhet vil derfor øke betydelig.

Reell synlighet i AI og hvordan det fungerer vil spille to hovedroller. For det første vil det bidra til å skape tillit hos folk og løfte motstandsbarrierer for raskere adopsjon. For det andre vil det hjelpe den som driver AI med å sikre at det ikke går ut av kontroll.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Mona Labs.