Yotam Oren, CEO & spoluzakladatel Mona Labs – Interview Series

Yotam Oren je CEO & spoluzakladatel Mona Labs, platformy, která umožňuje podnikům transformovat iniciativy umělé inteligence z laboratorních experimentů na škálovatelné obchodní operace tím, že skutečně rozumí, jak se chovají modely strojového učení v reálných obchodních procesech a aplikacích.

Mona automaticky analyzuje chování vašich modelů strojového učení napříč chráněnými segmenty dat a v kontextu obchodních funkcí, aby detekovala potenciální předpojatost umělé inteligence. Mona nabízí možnost generovat kompletní zprávy o spravedlnosti, které splňují průmyslové standardy a předpisy, a poskytují důvěru, že aplikace umělé inteligence je v souladu a bez předpojatosti.

Co vás původně přitáhlo k informatice?

Informatika je v mé rodině populární kariérní cesta, takže to vždy bylo v zadní části mého mozku jako životaschopná možnost. Samozřejmě, izraelská kultura je velmi pro-technologická. Oslavujeme inovativní technlogy a vždy jsem měl pocit, že informatika mi nabídne prostor pro růst a úspěch.

Přesto se to stalo mou osobní vášní až ve věku univerzity. Nebyl jsem jedním z těch dětí, které začaly programovat ve střední škole. V mládí jsem byl příliš zaneprázdněn hraním basketbalu, abych se věnoval počítačům. Po střední škole jsem strávil téměř 5 let v armádě, v operačních/bojových velitelských rolích. Takže jsem se vlastně začal učit o informatice až tehdy, když jsem potřeboval zvolit akademickou specializaci na univerzitě. Co okamžitě upoutalo mou pozornost, byla skutečnost, že informatika spojovala řešení problémů a učení se jazyka (nebo jazyků). Dvě věci, které mě zvlášť zajímaly. Od té doby jsem byl nadšen.

Od roku 2006 do 2008 jste pracoval na mapování a navigaci pro malou firmu, co byly některé z vašich hlavních poznatků z této éry?

Má role v Telmapu spočívala v budování vyhledávacího motoru na základě mapových a lokalizačních dat.

Byly to velmi rané dny “velkých dat” v podnikání. Neříkali jsme tomu tehdy, ale získávali jsme enormní datové sady a snažili se získat nejvýznamnější a nejrelevantnější poznatky, aby je ukázat našim koncovým uživatelům.

Jedním z úderných poznatků, které jsem měl, bylo, že společnosti (včetně nás) využívaly tak málo svých dat (natož veřejně dostupných externích dat). Bylo tolik potenciálu pro nové poznatky, lepší procesy a zkušenosti.

Dalším poznatkem bylo, že abychom mohli získat více našich dat, záviselo to samozřejmě na tom, zda máme lepší architekturu, lepší infrastrukturu a tak dále.

Můžete sdílet příběh o vzniku Mona Labs?

Tři z nás, spoluzakladatelé, jsme byli kolem produktů založených na datech po celou naší kariéru.

Nemo, hlavní technologický důstojník, je můj univerzitní kamarád a spolužák, a jeden z prvních zaměstnanců Google (GOOGL ) Tel Aviv. Začal tam produkt nazvaný Google Trends, který měl pokročilou analytiku a strojové učení založené na datech vyhledávače. Itai, druhý spoluzakladatel a hlavní produktový důstojník, byl na Nemoově týmu v Google (a já jsem se s ním seznámil přes Nema). Oba byli vždy frustrovaní tím, že systémy poháněné umělou inteligencí byly ponechány bez dozoru po počátečním vývoji a testování. Přestože bylo obtížné řádně testovat tyto systémy před produkcí, týmy nevěděly, jak dobře jejich predikční modely fungovaly v průběhu času. Navíc se zdálo, že jediný čas, kdy slyšeli nějaké zpětné vazby o systémech umělé inteligence, byl tehdy, když se věci pokazily a vývojový tým byl povolán k “hasičské” akci, aby opravil katastrofální problémy.

V té době jsem byl konzultantem v McKinsey & Co, a jedna z největších bariér, které jsem viděl pro programy umělé inteligence a velkých dat v velkých podnicích, byla absence důvěry, kterou měli obchodní stakeholdeři v těchto programech.

Společný vlákno se stalo jasným pro Nema, Itai a mě v našich rozhovorech. Průmysl potřeboval infrastrukturu pro monitorování systémů umělé inteligence v produkci. Přicházeli jsme s vizí poskytnout tuto viditelnost, aby se zvýšila důvěra obchodních stakeholderů a aby týmy umělé inteligence vždy měly přehled o tom, jak jejich systémy fungují, a aby mohly efektivněji iterovat.

A tehdy byla Mona založena.

Jaké jsou některé z aktuálních problémů s nedostatkem transparentnosti umělé inteligence?

V mnoha odvětvích již organizace investovaly desítky milionů dolarů do svých programů umělé inteligence a viděly some počáteční úspěchy v laboratoři a v malém měřítku. Ale škálování, dosažení širokého přijetí a získání podniku, aby skutečně spoléhal na umělou inteligenci, byla pro téměř každého obrovskou výzvou.

Proč se to děje? Začíná to tím, že skvělé výzkumy se automaticky nepřekládají do skvělé produkce (zákazník nám jednou řekl: “Modely strojového učení jsou jako auta, okamžikem, kdy opouštějí laboratoř, ztrácejí 20 % své hodnoty”). Skvělé produkty mají podpůrné systémy. Existují nástroje a procesy, které zajišťují, že kvalita je udržována v průběhu času, a že problémy jsou odhaleny brzy a řešeny efektivně. Skvělé produkty také mají kontinuální zpětnou vazbu, mají cyklus zlepšení a roadmapu. V důsledku toho skvělé produkty vyžadují hlubokou a stálou transparentnost výkonu.

Když chybí transparentnost, skončíte s:

• Problémy, které zůstávají skryté po nějakou dobu a pak náhle vyplavou na povrch a způsobí “hasičské” akce
• Dlouhými a manuálními vyšetřováními a zmírňováním
• Programem umělé inteligence, který není důvěryhodný pro obchodní uživatele a sponzory a v konečném důsledku selhává ve škálování

Jaké jsou některé z výzev spojených s vytvořením transparentních a důvěryhodných predikčních modelů?

Transparentnost je důležitým faktorem při dosahování důvěry, samozřejmě. Transparentnost může mít mnoho forem. Existuje transparentnost jednotlivých předpovědí, která může zahrnovat zobrazení úrovně spolehlivosti uživateli nebo poskytnutí vysvětlení/podnětu pro předpověď. Transparentnost jednotlivých předpovědí je zaměřena především na pomoc uživateli, aby se cítil pohodlně s předpovědí. A pak existuje celková transparentnost, která může zahrnovat informace o predikční přesnosti, neočekávaných výsledcích a potenciálních problémech. Celková transparentnost je potřebná pro tým umělé inteligence.

Nejobtížnější částí celkové transparentnosti je detekce problémů brzy, upozornění relevantního člena týmu, aby mohl podniknout nápravná opatření, než dojde ke katastrofám.

Proč je obtížné detekovat problémy brzy:

• Problémy často začínají malými a postupně se zhoršují, než nakonec vyplavou na povrch.
• Problémy často začínají v důsledku nekontrolovatelných nebo externích faktorů, jako jsou zdroje dat.
• Existuje mnoho způsobů, jak “rozdělit svět” a vyčerpávajícím způsobem hledat problémy v malých kapsách, což může vést k mnoha falešným poplachům (únavě z poplachů), alespoň když se to dělá naivními způsoby.

Další obtížnou stránkou transparentnosti je obrovské množství případů použití umělé inteligence. To dělá přístup “jedna velikost pro všechny” téměř nemožným. Každý případ použití umělé inteligence může zahrnovat různé datové struktury, různé obchodní cykly, různé metriky úspěchu a často různé technické přístupy a dokonce i technologické zásoby.

Takže to je monumentální úkol, ale transparentnost je tak zásadní pro úspěch programů umělé inteligence, že to musíte udělat.

Můžete sdílet některé podrobnosti o řešeních pro modely NLU / NLP a chatboty?

Conversational AI je jednou z hlavních vertikál Mona. Jsme hrdí na to, že podporujeme inovativní společnosti s širokou škálou případů použití conversational AI, včetně jazykových modelů, chatbotů a dalšího.

Společným faktorem napříč těmito případy použití je, že modely fungují blízko (a někdy viditelně) zákazníkům, takže rizika nekonzistentního výkonu nebo špatného chování jsou vyšší. Stává se proto velmi důležité, aby týmy conversational AI rozuměly chování systému na granulární úrovni, což je oblast silných stránek monitorovacího řešení Mona.

Co dělá řešení Mona jedinečným, je systematické prohledávání skupin konverzací a nalezení kapslí, ve kterých modely (nebo boti) nefungují správně. To umožňuje týmům conversational AI identifikovat problémy brzy a předtím, než je zákazníci zaznamenají. Tato schopnost je kritickým rozhodovacím faktorem pro týmy conversational AI při výběru monitorovacích řešení.

Shrnutí, Mona poskytuje komplexní řešení pro monitoring conversational AI. Začíná tím, že zajišťuje, že existuje jediný zdroj informací o chování systému v průběhu času, a pokračuje kontinuálním sledováním klíčových ukazatelů výkonu a proaktivními informacemi o kapslích špatného chování – umožňující týmům podniknout preventivní a efektivní nápravná opatření.

Můžete nabídnout některé podrobnosti o Mona Insight Engine?

Samozřejmě. Začněme s motivací. Cílem Insight Engine je poskytnout uživatelům anomálie s právě dostatečným množstvím kontextových informací a bez vytváření hluku nebo vedoucí k únavě z poplachů.

Insight Engine je jedinečný analytický workflow. V tomto workflow hledá engine anomálie ve všech segmentech dat, aby umožnil brzkou detekci problémů, když jsou ještě “malé”, a předtím, než ovlivní celý datový soubor a následné obchodní KPI. Poté používá proprietární algoritmus k detekci kořenových příčin anomálií a zajišťuje, aby každá anomálie byla upozorněna pouze jednou, aby se zabránilo hluku. Podporované typy anomálií zahrnují: časové řady, drift, outliery, degradaci modelu a další.

Insight Engine je vysoce přizpůsobitelný prostřednictvím intuitivní konfigurace Mona bez kódu/nízkého kódu. Přizpůsobitelnost engine dělá Mona nejflexibilnějším řešením na trhu, pokrývajícím širokou škálu případů použití (například batch a streaming, s/bez obchodních zpětných vazeb/podkladů, napříč verzemi modelů nebo mezi tréninkem a inferencí a dalšími).

Nakonec je tento Insight Engine podporován vizualizačními dashboardy, ve kterých lze zobrazit přehledy, a sadou vyšetřovacích nástrojů pro umožnění analýzy kořenových příčin a dalšího prozkoumání kontextových informací. Insight Engine je také plně integrován s oznámacím engine, který umožňuje krmit přehledy do pracovního prostředí uživatelů, včetně e-mailu, platforem pro spolupráci a dalších.

Dne 31. ledna Mona odhalila své nové řešení pro spravedlnost umělé inteligence, můžete sdílet s námi podrobnosti o této funkci a proč je důležitá?

Spravedlnost umělé inteligence se týká zajištění, aby algoritmy a systémy poháněné umělou inteligencí činily nezávislá a rovná rozhodnutí. Řešení a prevence předpojatostí v systémech umělé inteligence je zásadní, protože mohou mít významné reálné důsledky. S rostoucí prominencí umělé inteligence by její dopad na každodenní život lidí byl vidět na stále více místech, včetně automatizace našeho řízení, detekce nemocí s větší přesností, zlepšení našeho porozumění světa a dokonce i vytváření umění. Pokud nemůžeme důvěřovat, že je to spravedlivé a nezávislé, jak bychom mohli dovolit, aby pokračovalo ve svém šíření?

Jedním z hlavních příčin předpojatostí v systémech umělé inteligence je prostě schopnost trénovacích dat reprezentovat skutečný svět v plném rozsahu. To může pocházet z historické diskriminace, podreprezentace certain skupin nebo dokonce úmyslné manipulace s daty. Například systém rozpoznávání obličeje, který byl trénován na převážně světlé pleti, má pravděpodobně vyšší chybovost při rozpoznávání jedinců s tmavší pletí. Podobně jazykový model, který byl trénován na textových datech z úzké sady zdrojů, může vyvinout předpojatosti, pokud jsou data zkreslena směrem k určitým světovým názorům, tématům, jako je náboženství, kultura a další.

Řešení Mona pro spravedlnost umělé inteligence poskytuje týmům umělé inteligence a obchodním týmům důvěru, že jejich umělá inteligence je bez předpojatostí. V regulovaných sektorech může řešení Mona připravit týmy na soulad s předpisy.

Řešení pro spravedlnost Mona je zvláštní, protože je umístěno na platformě Mona – mostu mezi daty a modely umělé inteligence a jejich reálnými důsledky. Mona se dívá na všechny části obchodního procesu, které model umělé inteligence obsluhuje v produkci, aby koreloval mezi trénovacími daty, chováním modelu a skutečnými reálnými výsledky, a poskytuje tak nejkomplexnější hodnocení spravedlnosti.

Druhým je, že má jedinečný analytický engine, který umožňuje flexibilní segmentaci dat pro kontrolu relevantních parametrů. To umožňuje přesné korelační hodnocení v pravém kontextu, vyhýbá se Simpsonově paradoxu a poskytuje hluboký reálný “skóre předpojatosti” pro jakoukoli metriku výkonu a na jakékoli chráněné funkce.

Takže celkově bych řekl, že Mona je základním prvkem pro týmy, které potřebují budovat a škálovat zodpovědnou umělou inteligenci.

Jaký je váš výhled do budoucnosti umělé inteligence?

To je velká otázka.

Dумаю, že je snadné předpovědět, že umělá inteligence bude pokračovat ve svém růstu a dopadu v různých odvětvích a aspektech lidského života. Ale je obtížné předpovědět detailní vizi, která pokrývá všechny případy použití a důsledky umělé inteligence v budoucnosti. Protože nikdo opravdu neví dost, aby mohl nakreslit tuhle obraz.

Co víme jistě, je, že umělá inteligence bude v rukou více lidí a bude sloužit více účelům. Potřeba řízení a transparentnosti se proto výrazně zvýší.

Skutečná viditelnost do umělé inteligence a toho, jak funguje, bude hrát dvě hlavní role. Zaprvé, pomůže vzbudit důvěru u lidí a odstranit bariéry odporu pro rychlejší přijetí. Zadruhé, pomůže těm, kteří provozují umělou inteligenci, zajistit, aby nedošlo ke ztrátě kontroly.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Mona Labs.