Victor Thu, prezident Datatronu – rozhovorová série

Victor Thu je prezident Datatronu, platformy, která pomáhá podnikům využít sílu strojového učení, urychlováním nasazení, detekcí problémů v rané fázi a zvyšováním efektivity správy více modelů ve velkém měřítku.

Vaše pozadí je v produktovém marketingu, go-to-market a produktovém managementu, jak vás toto pozadí vedlo k práci ve strojovém učení a umělém inteligenci?

Mám rád technologii a někteří z mých blízkých přátel mě dokonce nazývají “technologickým šepotem.” Rád beru složité technologické téma a překládám je do jazyka, který lidé mohou pochopit, a vzdělávám se v nových technologiích, abych pochopil “proč” za technologiemi, které jsou pro lidi nejdůležitější.

Můj první setkání s tím, co nazývám “moderní umělou inteligencí”, bylo, když jsem sledoval keynote prezentaci slavného profesora umělé inteligence ze Stanfordu, Dr. Fei-Fei Li. Prezentace Dr. Li byla tak přesvědčivá, že se stala zlomovým bodem v mé kariéře. Ta prezentace mě přesvědčila, že tohle je místo, kam chci jít dál. Chtěl jsem být součástí další vlny technologií, kde využíváme umělou inteligenci a strojové učení k řešení obchodních výzev.

Od té doby jsem pracoval s mnoha startupy zaměřenými na umělou inteligenci a strojové učení, snažícími se využít tuto technologii k řešení skutečných obchodních potřeb. Pracoval jsem velmi úzce s vědci s titulem Ph.D. v oblasti strojového učení, kteří mi poskytli obrovské znalosti v oblasti umělé inteligence a strojového učení. A stále se učím, protože tento prostor se vyvíjí velmi rychle.

Takže to byla skutečně moje vášeň pro technologii a způsob, jak ji využít k pomoci ostatním, co mě přivedlo k blízké spolupráci s umělou inteligencí a strojovým učením.

Datatron se zaměřuje na MLOps, pro čtenáře, kteří s tímto termínem nejsou seznámeni, můžete vysvětlit, co to přesně je?

MLOps je v podstatě kodifikace a zjednodušení velmi řemeslného procesu přechodu AI a ML modelů z prototypu do produkce.

Jedním z největších mýtů je, že jakmile datové vědci postaví své AI modely, mohou je rychle nasadit do produkce. Realita je však taková, že může trvat až rok, než lze model nasadit.

Hlavním důvodem tohoto zpoždění je, že lidé, kteří mají odborné znalosti v oblasti vývoje modelů, nemusejí mít také odborné znalosti v oblasti softwarového inženýrství. Dobrým srovnáním je architekt, který navrhuje mrakodrapy – on není také vývojář, který je staví.

MLOps je v podstatě mostem mezi vývojáři modelů a softwarovým inženýrstvím. Místo toho, aby se muselo trvat více než 12 měsíců, aby se modely nasadily do produkce, MLOps může zkrátit tento proces na pouhé dny.

V článku, který jste napsal pro nás v září 2021, jste diskutoval o tom, jak “Hlavní překážka při uvádění řešení do produkce není kvalita modelů, ale spíše nedostatek infrastruktury, která by umožnila společnostem to udělat.” Proč je to taková překážka pro většinu společností?

Existuje několik přispívajících faktorů k tomu.

• Přeceněný “volný” open-source software. Chci nejprve zdůraznit, že milujeme open-source software a pevně věříme, že pomohl průmyslu pokročit obrovským způsobem. Nicméně, mnoho lidí nerozumí složitosti open-source v souvislosti s umělou inteligencí a strojovým učením. Dnes je tu vážný nedostatek talentů v oblasti umělé inteligence a strojového učení. Když k tomu přidáte hledání softwarových inženýrů (inženýrů strojového učení nebo MLOps inženýrů), kteří znají, jak zvládat jedinečné vlastnosti kódů umělé inteligence a strojového učení, a poté očekáváte, že najmete a postavíte podnikový MLOps platformu interně, abyste zjistili, jak fungují 300+ open-source MLOps projektů, je to nastavení pro selhání.
• Nedostatek infrastruktury pro podporu inženýrských týmů. Společnosti potřebují lepší prostředí, aby mohli inženýry úspěšně nasadit. Musí být správná šířka pásma a rozpočet, aby se poskytly týmy správným nástrojům. Umělá inteligence je poměrně nová technologie. Podniky, které dělají umělou inteligenci, nevědí vždy, co potřebují udělat, aby modely rychle nasadily, a proto je MLOps tak důležitým nástrojem.

Jak použití MLOps řeší problém s nedostatkem infrastruktury?

MLOps řeší problém s nedostatkem infrastruktury čtyřmi způsoby:

1. Žádné proprietární změny kódu: Datoví vědci chtějí flexibilitu při budování modelů, aby odpovídaly obchodním případům ve svých prostředích, a proto jakýkoli MLOps proces, který vyžaduje změny kódu, komplikuje integritu jejich modelů.
2. Automatizace/skriptování: Mnoho týmů skriptuje modely pevným způsobem, což vyžaduje hodně času. MLOps automatizuje celý proces, šetří čas a energii.
3. Zjednodušení aktualizací: AI modely se mění pravidelně, aby se přizpůsobily svému prostředí. Někdy datoví vědci musí jít zpět a aktualizovat modely často. Bez MLOps není žádný způsob, jak se vyhnout této opakované aktualizaci.
4. Správa základní infrastruktury: Abyste mohli modely nasadit, potřebujete výpočetní síť a úložiště, což vyžaduje jedinečné vlastnosti modelů umělé inteligence a strojového učení. MLOps nástroje mají schopnost získat přístup k správným zdrojům a škálovat je podle potřeby.

Existují také podnikové požadavky, které jsou často přehlíženy při budování vlastního MLOps nástroje, jako je role-based přístupový kontrol (RBAC), integrace a interoperabilita, podpora různých nástrojů strojového učení, řešení bezpečnostních zranitelností a neočekávaný odchod klíčových členů týmu.

Jaké jsou vaše osobní názory na důležitost řízení umělé inteligence?

Byly nesčetné hororové příběhy o modelech umělé inteligence, které nefungovaly správně, od nesprávného označení určitých skupin lidí až po způsobení obrovských finančních ztrát veřejně obchodovaným společnostem.

Řízení umělé inteligence je kriticky důležité pro podniky, které mají modely umělé inteligence v produkci. S tím said, není to nic jiného než jiné IT nebo obchodní řízení. Dnes, když vaše IT běží aplikace v cloudu nebo dokonce ve svých vlastních datových centrech, máte řadu nástrojů, které zajistí, že aplikace fungují správně.

Jakmile máte modely umělé inteligence v produkci, musíte mít mechanismy a nástroje, které vám pomohou dát podniku a datovým vědcům přehled o tom, co modely dělají.

Zvláště v tomto raném stádiu umělé inteligence a strojového učení není možnost “nastavit a zapomenout”. Na začátku musíte sledovat, jak se váš model chová, a dělat příslušné úpravy. Mít správné monitorovací schopnosti, aby vás upozornily, když se vaše modely chovají mimo požadované hranice, je klíčové.

Řízení modelového rizika (MRM) musí také zohlednit různé osoby, které se podílejí na vývoji a nasazení modelu. Jaký přístupový kontrol máte zaveden, aby zajistil integritu modelů? Nebo jak zajistíte, aby osoby z různých skupin nezneužívaly vaše modely pro případy, pro které nejsou modely určeny? To jsou všechny otázky, které si týmy musí položit.

Jak Datatron pomáhá s řízením modelového rizika?

MLOps umožňuje rychlé aktualizace a změny modelů. Například, pokud je model nesprávně odmítá určitou skupinu lidí na žádosti o půjčku, MLOps umožňuje vám vzít model zpět a znovu nasadit nový, čímž se snižuje riziko jednoduchým způsobem.

Chrání modely před.bias drift a udržuje klíčové metriky, zatímco v produkci, prostřednictvím jednoduchého dashboardu, který tyto metriky zobrazuje pomocí hlubokých podrobných dat z vysoké úrovně, které lze snadno pochopit obchodními rozhodčími.

Platforma Datatron pro řízení umělé inteligence poskytuje úroveň nad generickou monitorovací schopností – poskytuje další kontext a logiku, která zobrazuje jasnou viditelnost modelu, která je více relevantní pro použití zákazníků.

V blogovém příspěvku na Datatron jste popsali, jak Datatron přijal mantru Reliable AI ™. Můžete vysvětlit, co to podle vás znamená?

Když jsme přišli s touto mantrou, mysleli jsme na to, jak jsme tak pohodlně létají v komerčních letadlech dnes, protože jsou velmi spolehlivé.

Přes všechny tyto diskuse o etické umělé inteligenci, zodpovědné umělé inteligenci atd. je klíčová potřeba pro podniky používat umělou inteligenci a strojové učení spolehlivě – stejně jako kdyby jejich zaměstnanci nastoupili do komerčního letadla.

Používání termínů jako etická umělá inteligence, zodpovědná umělá inteligence, skutečně vyplynulo z problému, že současné modely umělé inteligence nedělají to, co mají, a proto jsou považovány za nespolehlivé. Podniky nejsou ochotny používat umělou inteligenci, protože nemají důvěru, že jejich modely nejsou zkreslené. To znamená, že jejich modely jsou nespolehlivé a Datatron se snaží to změnit.

Je něco jiného, co byste rádi sdíleli o Datatronu?

Jsme jedním z mála hráčů v oblasti MLOps, kteří jsou “Super Bowl” ověřeni – pracují úspěšně v prostředí s vysokým stresem, což není typické pro startup nebo open-source nástroj. Klient, Domino’s Pizza , spolupracuje s Datatronem, aby snadno a rychle operationalizoval modely umělé inteligence v produkci, které byly poté testovány během Super Bowlu.

MLOps je skutečně způsobem, jak pomoci modelům umělé inteligence a strojového učení do produkce, zatímco zachovává zdroje a snižuje náklady. Jsme udržitelným zdrojem pro úspěšné modely umělé inteligence a strojového učení a sloužíme jako katalyzátor pro výnosy. Podniky mohou konečně získat návratnost svých investic do projektů umělé inteligence a strojového učení. Bez ohledu na vaše marže můžete produkovat výsledky pomocí MLOps.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Datatron.