Yotam Oren, generálny riaditeľ a spoluzakladateľ Mona Labs – seriál rozhovorov

Yotam Oren je generálnym riaditeľom a spoluzakladateľom spoločnosti Mona Labs, platforma, ktorá umožňuje podnikom transformovať iniciatívy AI z laboratórnych experimentov na škálovateľné obchodné operácie skutočným pochopením toho, ako sa modely ML správajú v skutočných obchodných procesoch a aplikáciách.

Mona automaticky analyzuje správanie vašich modelov strojového učenia v rámci chránených dátových segmentov a v kontexte obchodných funkcií, aby odhalila potenciálne skreslenie AI. Mona ponúka možnosť generovať kompletné správy o férovosti, ktoré spĺňajú priemyselné štandardy a predpisy, a ponúkajú istotu, že aplikácia AI je v súlade a nie je zaujatá.

Čo ťa na začiatku zaujalo na informatike?

Počítačová veda je v mojej rodine populárnou kariérnou dráhou, takže bola vždy v úzadí ako životaschopná možnosť. Samozrejme, izraelská kultúra je veľmi pro-tech. Oslavujeme inovatívnych technológov a vždy som mal pocit, že CS mi ponúkne dráhu pre rast a úspechy.

Napriek tomu sa z toho stala osobná vášeň, až keď som dosiahol vysokoškolský vek. Nebol som jedným z tých detí, ktoré začali programovať na strednej škole. V mladosti som bol príliš zaneprázdnený hraním basketbalu, aby som sa venoval počítačom. Po strednej škole som strávil takmer 5 rokov v armáde v operačných/bojových vedúcich úlohách. Svojím spôsobom som sa teda o informatike začal viac učiť až vtedy, keď som si potreboval vybrať akademický smer na univerzite. Okamžite ma zaujalo, že informatika spája riešenie problémov a učenie sa jazyka (alebo jazykov). Dve veci ma obzvlášť zaujímali. Odvtedy ma to chytilo.

V rokoch 2006 až 2008 ste pracovali na mapovaní a navigácii pre malý startup. Aké boli niektoré z vašich kľúčových poznatkov z tejto éry?

Mojou úlohou v Telmape bolo vybudovať vyhľadávací nástroj na mape a údajoch o polohe.

Boli to prvé dni „veľkých dát“ v podniku. Ani sme to tak nenazývali, ale získavali sme obrovské súbory údajov a snažili sme sa získať čo najúčinnejšie a najrelevantnejšie poznatky, ktoré by sme mohli prezentovať našim koncovým používateľom.

Jedným z pozoruhodných poznatkov, ktoré som mal, bolo, že spoločnosti (vrátane nás) využívali tak málo svojich údajov (nehovoriac o verejne dostupných externých údajoch). Bolo tu toľko potenciálu pre nové poznatky, lepšie procesy a skúsenosti.

Ďalším poznatkom bolo, že schopnosť získať viac našich údajov sa, samozrejme, spoliehala na lepšiu architektúru, lepšiu infraštruktúru atď.

Mohli by ste sa podeliť o príbeh vzniku Mona Labs?

My traja, spoluzakladatelia, sme sa počas svojej kariéry pohybovali okolo dátových produktov.

Nemo, hlavný technologický riaditeľ, je môj priateľ a spolužiak z vysokej školy a jeden z prvých zamestnancov Google Tel Aviv. Spustil tam produkt s názvom Google Trends, ktorý mal veľa pokročilých analýz a strojového učenia na základe údajov vyhľadávacích nástrojov. Itai, ďalší spoluzakladateľ a hlavný produktový riaditeľ, bol v Nemovom tíme v Google (a on a ja sme sa stretli cez Nemo). Obaja boli vždy frustrovaní, že systémy poháňané AI zostali po počiatočnom vývoji a testovaní nemonitorované. Napriek ťažkostiam pri správnom testovaní týchto systémov pred výrobou tímy stále nevedeli, ako dobre si ich prediktívne modely v priebehu času viedli. Okrem toho sa zdalo, že spätnú väzbu o systémoch AI počuli iba vtedy, keď sa veci nedarili a vývojový tím bol povolaný na „požiarne cvičenie“ na odstránenie katastrofických problémov.

Približne v rovnakom čase som bol konzultantom v spoločnosti McKinsey & Co a jednou z najväčších prekážok, ktoré som videl pri rozširovaní programov AI a veľkých dát vo veľkých podnikoch, bol nedostatok dôvery zainteresovaných strán v tieto programy.

Nemo, Itai a ja sme v rozhovoroch vyjasnili spoločnú niť. Priemysel potreboval infraštruktúru na monitorovanie systémov AI/ML vo výrobe. Prišli sme s víziou poskytnúť túto viditeľnosť, aby sme zvýšili dôveru obchodných zainteresovaných strán a umožnili tímom AI mať vždy prehľad o tom, ako sa ich systémom darí, a efektívnejšie opakovať.

A vtedy vznikla Mona.

Aké sú niektoré zo súčasných problémov s nedostatočnou transparentnosťou AI?

V mnohých odvetviach už organizácie minuli desiatky miliónov dolárov na svoje programy AI a zaznamenali určitý počiatočný úspech v laboratóriu a pri nasadení v malom rozsahu. Ale škálovanie, dosiahnutie širokého prijatia a prinútenie firmy, aby sa skutočne spoliehala na AI, bolo obrovskou výzvou pre takmer každého.

Prečo sa to deje? Začína to tým, že veľký výskum sa automaticky nepretaví do skvelých produktov (Zákazník nám raz povedal: „Modely ML sú ako autá, v momente, keď opustia laboratórium, stratia 20 % svojej hodnoty“). Skvelé produkty majú podporné systémy. Existujú nástroje a procesy na zabezpečenie toho, aby sa kvalita udržala v priebehu času a aby sa problémy zachytili včas a efektívne sa riešili. Skvelé produkty majú tiež nepretržitú spätnú väzbu, majú cyklus zlepšovania a plán. V dôsledku toho si skvelé produkty vyžadujú hlbokú a stálu transparentnosť výkonu.

Keď chýba transparentnosť, skončíte s:

• Problémy, ktoré zostanú nejaký čas skryté a potom vybuchnú na povrch a spôsobia „požiarne cvičenia“
• Zdĺhavé a manuálne vyšetrovanie a zmierňovanie
• Program umelej inteligencie, ktorému obchodní používatelia a sponzori nedôverujú a v konečnom dôsledku sa nedokáže škálovať

Aké sú niektoré z výziev, ktoré stoja za transparentnosťou a dôveryhodnosťou prediktívnych modelov?

Dôležitým faktorom pri získavaní dôvery je samozrejme transparentnosť. Transparentnosť môže mať mnoho podôb. Existuje transparentnosť jednotlivých predpovedí, ktorá môže zahŕňať zobrazenie úrovne spoľahlivosti pre používateľa alebo poskytnutie vysvetlenia/dôvodu predpovede. Transparentnosť jednotlivých predpovedí je väčšinou zameraná na to, aby pomohla používateľovi pohodlne sa s predikciou oboznámiť. A potom je tu celková transparentnosť, ktorá môže zahŕňať informácie o presnosti predikcie, neočakávaných výsledkoch a potenciálnych problémoch. Tím AI potrebuje celkovú transparentnosť.

Najnáročnejšou časťou celkovej transparentnosti je včasné odhalenie problémov, upovedomenie príslušného člena tímu, aby mohol prijať nápravné opatrenia skôr, ako dôjde ku katastrofe.

Prečo je náročné včas odhaliť problémy:

• Problémy sa často začínajú v malých rozmeroch a pomaly sa rozochvejú, až nakoniec vybuchnú na povrch.
• Problémy často začínajú v dôsledku nekontrolovateľných alebo externých faktorov, ako sú zdroje údajov.
• Existuje mnoho spôsobov, ako „rozdeliť svet“ a vyčerpávajúce hľadanie problémov v malých vreckách môže viesť k veľkému hluku (pozorná únava), aspoň keď sa to robí naivným prístupom.

Ďalším náročným aspektom poskytovania transparentnosti je obrovské množstvo prípadov použitia AI. Vďaka tomu je univerzálny prístup takmer nemožný. Každý prípad použitia AI môže zahŕňať rôzne dátové štruktúry, rôzne obchodné cykly, rôzne metriky úspechu a často rôzne technické prístupy a dokonca aj zásobníky.

Ide teda o monumentálnu úlohu, ale transparentnosť je pre úspech programov AI taká zásadná, takže to musíte urobiť.

Mohli by ste sa podeliť o nejaké podrobnosti o riešeniach pre modely NLU / NLP a chatboty?

Konverzačná umelá inteligencia je jednou zo základných vertikál spoločnosti Mona. Sme hrdí na to, že podporujeme inovatívne spoločnosti so širokou škálou konverzačných prípadov použitia AI vrátane jazykových modelov, chatbotov a ďalších.

Spoločným faktorom v týchto prípadoch použitia je, že modely fungujú blízko (a niekedy viditeľne) zákazníkom, takže riziká nekonzistentného výkonu alebo zlého správania sú vyššie. Pre konverzačné tímy AI sa stáva tak dôležité, aby pochopili správanie systému na podrobnej úrovni, čo je oblasť silných stránok monitorovacieho riešenia Mona.

To, čo Monino riešenie robí, že je celkom jedinečné, je systematické preosievanie skupín konverzácií a hľadanie vreciek, v ktorých sa modelky (alebo roboty) správajú nesprávne. To umožňuje konverzačným tímom AI identifikovať problémy včas a skôr, ako si ich zákazníci všimnú. Táto schopnosť je rozhodujúcim faktorom pri rozhodovaní pre konverzačné tímy AI pri výbere monitorovacích riešení.

Aby som to zhrnul, Mona poskytuje komplexné riešenie pre konverzačné monitorovanie AI. Začína sa zabezpečením existencie jediného zdroja informácií o správaní systémov v priebehu času a pokračuje nepretržitým sledovaním kľúčových ukazovateľov výkonnosti a proaktívnymi pohľadmi na miesta nesprávneho správania, čo umožňuje tímom prijať preventívne a účinné nápravné opatrenia.

Mohli by ste poskytnúť nejaké podrobnosti o nástroji Mona?

Samozrejme. Začnime s motiváciou. Cieľom nástroja prehľadu je odhaliť anomálie používateľom pomocou správneho množstva kontextových informácií a bez vytvárania hluku alebo vedúceho k únave.

Nástroj insightov je jedinečný analytický pracovný postup. V tomto pracovnom postupe vyhľadávací nástroj anomálie vo všetkých segmentoch údajov, čo umožňuje včasné odhalenie problémov, keď sú ešte „malé“, a ešte predtým, než ovplyvnia celý súbor údajov a nadväzujúce obchodné KPI. Potom používa vlastný algoritmus na zistenie základných príčin anomálií a zabezpečí, aby bola každá anomália upozornená iba raz, aby sa predišlo hluku. Medzi podporované typy anomálií patria: anomálie časových radov, posuny, odľahlé hodnoty, degradácia modelu a ďalšie.

Nástroj insightov je vysoko prispôsobiteľný prostredníctvom intuitívnej konfigurácie Mona bez kódu/nízkeho kódu. Konfigurovateľnosť motora robí z Mona najflexibilnejšie riešenie na trhu, ktoré pokrýva širokú škálu prípadov použitia (napr. dávkové a streamovanie, s/bez obchodnej spätnej väzby/základnej pravdy, medzi verziami modelu alebo medzi vlakom a odvodením a ďalšie ).

Nakoniec je tento nástroj na vytváranie prehľadov podporovaný vizualizačným panelom, v ktorom je možné prezerať prehľady, a súborom vyšetrovacích nástrojov, ktoré umožňujú analýzu základných príčin a ďalšie skúmanie kontextových informácií. Nástroj prehľadov je tiež plne integrovaný s nástrojom na oznamovanie, ktorý umožňuje poskytovanie prehľadov do vlastného pracovného prostredia používateľov vrátane e-mailu, platforiem spolupráce atď.

31. januára Mona odhalená jeho nové riešenie pre spravodlivosť AI, mohli by ste sa s nami podeliť o podrobnosti o tom, čo je táto funkcia a prečo je dôležitá?

Spravodlivosť AI je o zabezpečení toho, aby algoritmy a systémy riadené AI vo všeobecnosti robili nestranné a spravodlivé rozhodnutia. Riešenie a prevencia predsudkov v systémoch AI je kľúčová, pretože môžu viesť k významným dôsledkom v reálnom svete. S rastúcim významom AI by bol vplyv na každodenný život ľudí viditeľný na čoraz väčšom počte miest, vrátane automatizácie našej jazdy, presnejšieho zisťovania chorôb, zlepšovania nášho chápania sveta a dokonca aj tvorby umenia. Ak nemôžeme veriť, že je to spravodlivé a nezaujaté, ako by sme dovolili, aby sa ďalej šírilo?

Jednou z hlavných príčin zaujatosti v AI je jednoducho schopnosť modelových tréningových údajov plne reprezentovať skutočný svet. Môže to prameniť z historickej diskriminácie, nedostatočného zastúpenia určitých skupín alebo dokonca z úmyselnej manipulácie s údajmi. Napríklad systém rozpoznávania tváre trénovaný na jedincoch prevažne so svetlou pokožkou bude mať pravdepodobne vyššiu chybovosť pri rozpoznávaní jedincov s tmavším odtieňom pleti. Podobne aj jazykový model trénovaný na textových údajoch z úzkeho súboru zdrojov môže vyvolať zaujatosť, ak sú údaje skreslené smerom k určitým svetonázorom, k témam ako náboženstvo, kultúra atď.

Mona's AI Fairness riešenie dáva AI a obchodným tímom istotu, že ich AI je bez predsudkov. V regulovaných sektoroch dokáže riešenie Mona pripraviť tímy na pripravenosť na dodržiavanie predpisov.

Riešenie Mona pre spravodlivosť je špeciálne, pretože je založené na platforme Mona – most medzi údajmi a modelmi AI a ich dôsledkami v reálnom svete. Mona sa pozerá na všetky časti obchodného procesu, ktorým model AI slúži vo výrobe, aby korelovala medzi tréningovými údajmi, správaním modelu a skutočnými výsledkami v reálnom svete, aby poskytla čo najkomplexnejšie hodnotenie spravodlivosti.

Po druhé, má jedinečný analytický nástroj, ktorý umožňuje flexibilnú segmentáciu údajov na riadenie relevantných parametrov. To umožňuje presné hodnotenie korelácií v správnom kontexte, vyhýba sa Simpsonovmu paradoxu a poskytuje hlboké skutočné „skóre zaujatosti“ pre akúkoľvek metriku výkonu a pre akúkoľvek chránenú funkciu.

Celkovo by som teda povedal, že Mona je základným prvkom pre tímy, ktoré potrebujú budovať a škálovať zodpovednú AI.

Aká je vaša vízia budúcnosti AI?

Toto je veľká otázka.

Myslím si, že je jednoduché predpovedať, že AI bude naďalej rásť v používaní a vplyve v rôznych priemyselných odvetviach a aspektoch života ľudí. Je však ťažké brať vážne víziu, ktorá je podrobná a zároveň sa snaží pokryť všetky prípady použitia a dôsledky AI v budúcnosti. Pretože nikto nevie dosť na to, aby ten obraz namaľoval dôveryhodne.

Ako už bolo povedané, s istotou vieme, že AI bude v rukách viacerých ľudí a bude slúžiť viacerým účelom. Potreba riadenia a transparentnosti sa preto výrazne zvýši.

Skutočný prehľad o AI a o tom, ako funguje, bude hrať dve hlavné úlohy. Po prvé, pomôže to vzbudiť dôveru v ľudí a odstrániť bariéry odporu pre rýchlejšie prijatie. Po druhé, pomôže každému, kto prevádzkuje AI, zabezpečiť, aby sa nevymkla spod kontroly.

Ďakujeme za skvelý rozhovor, čitatelia, ktorí sa chcú dozvedieť viac, by mali navštíviť Mona Labs.