Yotam Oren, CEO & Cofounder of Mona Labs – Interview Series

Yotam Oren, je CEO & Cofounder of Mona Labs, platformy, která umožňuje podnikům transformovat iniciativy AI z laboratorních experimentů na škálovatelné obchodní operace tím, že skutečně rozumí, jak se chovají modely ML v reálných obchodních procesech a aplikacích.

Mona automaticky analyzuje chování vašich modelů strojového učení napříč chráněnými segmenty dat a v kontextu obchodních funkcí, aby detekovala potenciální AI předpojatost. Mona nabízí schopnost generovat kompletní zprávy o spravedlivosti, které splňují průmyslové standardy a předpisy, a nabízejí důvěru, že aplikace AI je v souladu a bez předpojatosti.

Co vás最初 přitáhlo k informatice?

Informatika je populární kariérní cesta v mé rodině, takže to vždy bylo v zadní části mého myšlení jako životaschopná možnost. Samozřejmě, izraelská kultura je velmi pro-tech. Oslavujeme inovativní technlogy a vždy jsem měl pocit, že informatika mi nabídne prostor pro růst a úspěch.

Navzdory tomu se to stalo mou osobní vášní až ve věku univerzity. Nejsem jeden z těch dětí, která začala programovat ve střední škole. V mládí jsem byl příliš zaneprázdněn hraním basketbalu, abych se věnoval počítačům. Po střední škole jsem strávil téměř 5 let v armádě, v operačních/bojových velitelských rolích. Takže jsem se vlastně začal učit o informatice více, až když jsem potřeboval zvolit akademický major na univerzitě. Co okamžitě upoutalo mou pozornost, byla skutečnost, že informatika kombinuje řešení problémů a učení se jazyku (nebo jazyků). Dvě věci, které mě zvlášť zajímaly. Od té doby jsem byl závislý.

Od roku 2006 do 2008 jste pracoval na mapování a navigaci pro malou firmu, co byly některé z vašich klíčových poznatků z této éry?

Moje role v Telmap byla budování vyhledávacího engine na základě mapových a lokalizačních dat.

Tyto byly velmi rané dny “big data” v podniku. Neříkali jsme tomu tehdy, ale získávali jsme enormní datasets a snažili se získat nejvýznamnější a nejrelevantnější informace, abychom je mohli ukázat našim koncovým uživatelům.

Jedním z úderných poznatků, které jsem měl, bylo, že společnosti (včetně nás) využívaly tak málo svých dat (natož veřejně dostupných externích dat). Bylo tolik potenciálu pro nové poznatky, lepší procesy a zkušenosti.

Dalším poznatkem bylo, že abychom získali více našich dat, záviselo to samozřejmě na tom, zda máme lepší architektury, lepší infrastrukturu a tak dále.

Můžete sdílet příběh o vzniku Mona Labs?

Tři z nás, spoluzakladatelé, jsme byli kolem datových produktů po celou naší kariéru.

Nemo, chief technology officer, je můj kolega z univerzity a jeden z prvních zaměstnanců Google Tel Aviv. Začal tam produkt nazvaný Google Trends, který měl spoustu pokročilých analytik a strojového učení na základě vyhledávacích dat. Itai, další spoluzakladatel a chief product officer, byl v Nemoově týmu v Google (a já jsem se s ním setkal přes Nema). Oběma jim vadilo, že AI-driven systémy byly ponechány bez dozoru po počátečním vývoji a testování. Navzdory obtížím při řádném testování těchto systémů před produkcí, týmy nevěděly, jak dobře jejich predikční modely fungovaly v průběhu času. Kromě toho se zdálo, že jediný čas, kdy slyšeli nějaké zpětné vazby o AI systémech, byl tehdy, když se věci pokazily a vývojový tým byl povolán k “hasičskému cvičení”, aby opravil katastrofální problémy.

Přibližně ve stejnou dobu jsem byl konzultantem v McKinsey & Co, a jedna z největších bariér, které jsem viděl pro programy AI a Big Data v velkých podnicích, byla absence důvěry, kterou měli obchodní stakeholdeři v těchto programech.

Společný závěr se stal jasným pro Nema, Itaiho a mě v našich rozhovorech. Průmysl potřeboval infrastrukturu pro monitorování AI/ML systémů v produkci. Přicházeli jsme s vizí poskytnout tuto viditelnost, aby se zvýšila důvěra obchodních stakeholderů a aby AI týmy vždy měly přehled o tom, jak jejich systémy fungují, a aby mohly iterovat efektivněji.

A tehdy byla Mona založena.

Jaké jsou některé z aktuálních problémů s nedostatkem AI transparentnosti?

Ve mnoha odvětvích již organizace investovaly desítky milionů dolarů do svých AI programů a viděly some počáteční úspěch v laboratoři a ve small-scale nasazeních. Ale škálování, dosažení široké adopce a získání podniku, aby skutečně spoléhal na AI, bylo pro téměř všechny obrovskou výzvou.

Proč se to děje? Začíná to skutečností, že skvělé výzkumy se automaticky nepřevádějí do skvělé produkce (zákazník nám jednou řekl: “ML modely jsou jako auta, okamžikem, kdy opustí laboratoř, ztratí 20% své hodnoty”). Skvělé produkty mají podpůrné systémy. Existují nástroje a procesy, které zajišťují, že kvalita je udržována v průběhu času, a že problémy jsou odhaleny brzy a řešeny efektivně. Skvělé produkty také mají kontinuální zpětnou vazbu, mají zlepšovací cyklus a roadmapu. Následně skvělé produkty vyžadují hlubokou a stálou transparentnost výkonu.

Když není transparentnost, skončíte s:

• Problémy, které zůstávají skryté po nějakou dobu a pak vybuchnou na povrch, způsobují “hasičská cvičení”
• Dlouhými a manuálními vyšetřováními a zmírňováním
• AI programem, který není důvěryhodný pro obchodní uživatele a sponzory a nakonec selhává ve škálování

Jaké jsou některé z výzev při vytváření predikčních modelů transparentních a důvěryhodných?

Transparentnost je důležitým faktorem při dosahování důvěry, samozřejmě. Transparentnost může pocházet z mnoha forem. Existuje transparentnost jednotlivých předpovědí, která může zahrnovat zobrazování úrovně důvěry uživatelům nebo poskytování vysvětlení/podnětu pro předpověď. Transparentnost jednotlivých předpovědí je zaměřena principalmente na pomoc uživatelům, aby se cítili pohodlně s předpovědí. A pak existuje celková transparentnost, která může zahrnovat informace o predikční přesnosti, neočekávaných výsledcích a potenciálních problémech. Celková transparentnost je potřebná pro AI tým.

Nejobtížnější část celkové transparentnosti je detekovat problémy brzy, upozornit relevantního člena týmu, aby mohl podniknout korektivní opatření, než nastanou katastrofy.

Proč je obtížné detekovat problémy brzy:

• Problémy často začínají malými a vaří, než nakonec vybuchnou na povrch.
• Problémy často začínají kvůli nekontrolovatelným nebo externím faktorům, jako jsou zdroje dat.
• Existuje mnoho způsobů, jak “rozdělit svět” a vyčerpávající hledání problémů v malých kapsách může vést k banyak šumu (alert fatigue), alespoň když se to dělá naivní přístup.

Další obtížnou součástí poskytování transparentnosti je obrovské rozšíření AI použití. To činí téměř nemožným najít jeden-size-fits-all přístup. Každé AI použití může zahrnovat různé datové struktury, různé obchodní cykly, různé metriky úspěchu a často různé technické přístupy a dokonce i stohy.

Takže to je monumentální úkol, ale transparentnost je tak fundamentální pro úspěch AI programů, takže to musíte udělat.

Můžete sdílet některé podrobnosti o řešeních pro NLU / NLP Modely & Chatboty?

Konverzační AI je jedním z hlavních vertikálů Mona. Jsme hrdí na to, že podporujeme inovativní společnosti s širokým spektrem konverzačních AI použití, včetně jazykových modelů, chatbotů a dalších.

Společným faktorem napříč těmito použitími je, že modely fungují blízko (a někdy viditelně) zákazníkům, takže rizika nekonzistentního výkonu nebo špatného chování jsou vyšší. Stává se tak důležité pro konverzační AI týmy, aby rozuměli chování systému na granulární úrovni, což je oblast silných stránek Mona monitorovacího řešení.

Co Mona řešení dělá, co je quite jedinečné, je systematicky prosévání skupin konverzací a nalezení kapes, ve kterých se modely (nebo boty) chovají špatně. To umožňuje konverzačním AI týmům identifikovat problémy brzy a předtím, než je zákazníci zaznamenají. Tato schopnost je kritickým rozhodujícím faktorem pro konverzační AI týmy při výběru monitorovacích řešení.

Shrňme to, Mona poskytuje komplexní řešení pro konverzační AI monitoring. Začíná to zajištěním, že existuje jediný zdroj informací o chování systému v průběhu času, a pokračuje kontinuálním sledováním klíčových ukazatelů výkonu a proaktivními informacemi o kapsách špatného chování – umožňující týmům, aby podnikly preventivní, efektivní korektivní opatření.

Můžete nabídnout některé podrobnosti o Mona Insight Engine?

Samozřejmě. Začneme s motivací. Cílem Insight Engine je povrchovat anomálie uživatelům, s právě správným množstvím kontextových informací a bez vytváření šumu nebo vedoucí k alert fatigue.

Insight Engine je jedinečný analytický workflow. V tomto workflow, engine hledá anomálie ve všech segmentech dat, aby umožnil brzy detekovat problémy, když jsou ještě “malé”, a předtím, než ovlivní celý dataset a downstream obchodní KPI. Pak používá proprietární algoritmus k detekci kořenových příčin anomálií a zajistí, aby každá anomálie byla upozorněna pouze jednou, aby se zabránilo šumu. Podporované typy anomálií zahrnují: časové anomálie, drift, outliers, model degradace a další.

Insight Engine je vysoce konfigurovatelný prostřednictvím Mona intuitivní no-code/low-code konfigurace. Konfigurovatelnost engine dělá Mona nejflexibilnějším řešením na trhu, pokrývajícím široké spektrum použití (například batch a streaming, s/bez obchodních zpětných vazeb / ground truth, napříč verzemi modelů nebo mezi tréninkem a inferencí a další).

Nakonec je tento Insight Engine podporován vizualizační dashboardem, ve kterém lze zobrazit informace a sadou vyšetřovacích nástrojů, aby umožnil analýzu kořenových příčin a další prohlížení kontextových informací. Insight Engine je také plně integrován s oznámením engine, který umožňuje krmit informace uživatelům do vlastních pracovních prostředí, včetně e-mailu, colaboračních platforem a tak dále.

Dne 31. ledna, Mona odhalila své nové AI fairness řešení, můžete sdílet s námi podrobnosti o tomto funciónu a proč je to důležité?

AI fairness je o zajištění, že algoritmy a AI-driven systémy obecně činí nezávislá a spravedlivá rozhodnutí. Řešení a prevence předpojatostí v AI systémech je zásadní, protože mohou vést k významným reálným důsledkům. S rostoucí prominencí AI bude jeho dopad na lidi viditelný v mnoha místech, včetně automatizace našeho řízení, detekce nemocí přesněji, zlepšení našeho porozumění světu a dokonce i vytváření umění. Pokud nemůžeme důvěřovat, že je to spravedlivé a nezávislé, jak bychom mohli dovolit, aby pokračovalo ve svém šíření?

Jedním z hlavních příčin předpojatostí v AI je prostě schopnost modelových tréninkových dat reprezentovat skutečný svět v plném rozsahu. To může pocházet z historické diskriminace, podreprezentace určitých skupin nebo dokonce úmyslné manipulace s daty. Například systém rozpoznávání obličeje, který byl trénován na převážně světlé pleti, je pravděpodobně mít vyšší chybovost při rozpoznávání osob s tmavší pletí. Podobně, jazykový model, který byl trénován na textových datech z úzkého spektra zdrojů, může vyvinout předpojatosti, pokud jsou data zkreslena směrem k určitým světovým názorům, na tématech, jako je náboženství, kultura a tak dále.

Mona AI fairness řešení dává AI a obchodním týmům důvěru, že jejich AI je bez předpojatostí. V regulovaných sektorech může Mona řešení připravit týmy na compliance připravenost.

Mona fairness řešení je speciální, protože sedí na Mona platformě – mostu mezi AI daty a modely a jejich reálnými světskými důsledky. Mona se dívá na všechny části obchodního procesu, který AI model obsluhuje v produkci, aby koreloval mezi tréninkovými daty, chováním modelu a skutečnými reálnými výsledky, aby poskytl nejkomplexnější hodnocení spravedlivosti.

Druhá, má jedinečný analytický engine, který umožňuje flexibilní segmentaci dat, aby kontroloval relevantní parametry. To umožňuje přesné korelační hodnocení v pravém kontextu, vyhýbající se Simpsonově paradoxu a poskytující hluboký reálný “bias score” pro jakoukoli metriku výkonu a na jakékoli chráněné funkci.

Celkově bych řekl, že Mona je základním prvkem pro týmy, které potřebují postavit a škálovat odpovědný AI.

Jaký je váš výhled do budoucnosti AI?

Toto je velká otázka.

Myslím, že je přímočaré předpovědět, že AI bude pokračovat v růstu použití a dopadu napříč různými průmyslovými sektory a aspekty lidí života. Ale je obtížné brát vážně vizi, která je detailní a zároveň se snaží pokrýt všechny použití a důsledky AI v budoucnosti. Protože nikdo opravdu neví dostatečně, aby mohl nakreslit ten obraz důvěryhodně.

To, co víme jistě, je, že AI bude v rukou více lidí a bude sloužit více účelům. Potřeba governance a transparentnosti bude proto výrazně zvýšena.

Skutečná viditelnost do AI a toho, jak funguje, bude hrát dvě primární role. První, pomůže vzbudit důvěru v lidi a zvednout bariéry odporu pro rychlejší adopci. Druhá, pomůže komukoli, kdo provozuje AI, zajistit, aby se nedostal z rukou.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se více dozvědět, by měli navštívit Mona Labs.