Navrina Singh, CEO a zakladatelka Credo AI – Interview Series

Navrina Singh je CEO a zakladatelka Credo AI, společnosti, která navrhuje první komplexní platformu pro správu AI, která umožňuje společnostem a jednotlivcům lépe rozumět a dodávat důvěryhodnou a etickou AI, zůstat před novými předpisy a zásadami a vytvořit záznam AI, který je auditovatelný a transparentní po celou organizaci. Společnost působí v utajení a тихounce buduje působivou zákaznickou základnu, která zahrnuje jednoho z největších vládních dodavatelů a finančních služeb na světě, mezi jinými společnostmi z Fortune 100.

Vyrostla jste v malém městě v Indii s skromnými začátky, jak jste se dostala k inženýrství a oboru AI?

Pocházím ze střední třídy; můj otec byl v armádě čtyřicet let a má matka byla učitelka, která se stala módní návrhářkou. Od raného věku mě vždy podporovali v mém smyslu pro zvědavost, lásku k vědeckým objevům a poskytli mi bezpečné místo, kde jsem mohla prozkoumávat „co kdyby“.

Když jsem vyrůstala v Indii, ženám nebyly poskytovány tolik příležitostí jako mužům. Mnohé rozhodnutí byly již učiněny pro dívku na základě toho, co bylo přijatelné pro společnost. Jediným způsobem, jak se dostat pryč a zajistit dobrý život pro svou rodinu, byla výchova.

Po dokončení střední školy jsem vlastnila svůj první počítač, který byl mým oknem do světa. Byl jsem opravdu do hardwaru a strávila jsem hodiny online, učila se, jak rozebrat základní desky, sestavit robotické aplikace, učit se programovat, opravovat elektriku v mém domě (yikes!) a mnoho dalšího. Inženýrství se stalo mým bezpečným prostorem, kde jsem mohla experimentovat, prozkoumávat, stavět a zažívat svět, který jsem chtěla být součástí prostřednictvím svých vynálezů. Byl jsem inspirována a nadšena z toho, jak technologie mohla být mocným nástrojem pro změnu, zejména pro ženy.

Vyrůstala jsem, mé prostředky byly omezené, ale možnosti nebyly. Vždy jsem snila o tom, že přijdu do Spojených států, abych postavila silnější základ v technologiích pro řešení největších výzev, kterým čelí lidstvo. Imigrovala jsem sem v roce 2001, abych pokračovala ve své inženýrské cestě na University of Wisconsin Madison.

Během své téměř dvou desetiletí v inženýrství jsem měla privilegium pracovat napříč několika frontovými technologiemi, od mobilních až po rozšířenou realitu.

V roce 2011 jsem začala prozkoumávat umělou inteligenci, abych postavila nové vyvíjející se podniky v Qualcomm (QCOM ). Také jsem strávila čas budováním podniků a aplikací v AI napříč řečí, viděním a NLP v Microsoftu a Qualcomm, během posledních deseti let. Jak jsem se více učila o AI a strojovém učení, stalo se zřejmým, že tato frontová technologie bude masivně narušovat naše životy za hranice toho, co si můžeme představit.

Budování podnikové škály umělé inteligence mě také přimělo uvědomit si, že tato technologie může našim lidem a komunitám ublížit, pokud nebude kontrolována. My, jako lídři, musíme přijmout extrémní odpovědnost za technologie, které stavíme. Musíme být proaktivní v maximalizaci jejích výhod pro lidstvo a minimalizaci jejích rizik. Nakonec „co vytváříme, vytváří nás“. Stavět zodpovědně je kritické, což mě inspirovalo k další fázi mé kariéry, a to budování správy AI.

Kdy jste poprvé začala vážně uvažovat o správě AI?

Zatímco jsem byla vedoucí inovací v Qualcomm, prozkoumáváme možnosti, které AI mohla přinést našim vyvíjejícím se podnikům. Naše počáteční práce se soustředila na spolupráci robotů, které se používaly v dodavatelském řetězci. To byla moje první zkušenost se „skutečnými“ riziky AI, zejména ve vztahu k fyzické bezpečnosti lidí, kteří pracovali vedle těchto robotických systémů.

Během tohoto období jsme strávili významný čas se startupy, jako je Soul Machines, učení nových použití a hledání způsobů, jak se s nimi spojit, aby urychlily naši práci. Soul Machines vydala novou verzi svého baby avataru, „Baby X“. Sledování tohoto neuronového sítě poháněného dítěte, aktivně se učí ze světa kolem něj, mě přimělo zastavit se a uvědomit si neúmyslné důsledky této technologie. Moje dcera Ziya se narodila kolem stejného času a my si ji rádi nazývali Baby „Z“ po Soul Machines Baby „X“. Mluvila jsem o tom довольно hodně, včetně Women In Product Keynote v roce 2019.

Učební cesty Baby X a Baby Z byly zlověstně podobné! Jak Ziya rostla, poskytli jsme jí počáteční slovní zásobu a nástroje, aby se učila. Postupem času začala chápat svět a spojovat věci sama. Baby X, neuronová síť dítě, se také učilo prostřednictvím vizuálních senzorů a rozpoznávání řeči a rychle budilo hluboké porozumění lidskému světu.

Těchto raných AI okamžiků mi ukázalo, že je kritické najít způsoby, jak řídit rizika a umístit efektivní zábrany kolem této mocné technologie, aby se zajistilo, že je nasazena pro dobro.

Můžete sdílet příběh o vzniku Credo AI?

Po Qualcomm jsem byla najata, aby vedla komercializaci AI technologií v Microsoftu ve skupině pro rozvoj podnikání a následně ve skupině produktů. Během mého působení jsem měla privilegium pracovat na spektru AI technologií s aplikacemi v případech od Konverzační AI až po inteligenci smluv, a od vizuálních kontrol až po speech-powered produktové objevy.

Jenže semeno AI správy, zasazené v Qualcomm, pokračovalo v růstu, jak jsem pokračovala ve svědkování rostoucí „deficitu dohledu“ ve vývoji AI technologií. Jako produktový lídr, pracující s týmem datové vědy a inženýrství, jsme byli motivováni postavit vysoce výkonnou AI aplikaci poháněnou strojovým učením a nasadit ji rychle na trh.

Shledali jsme, že dodržování předpisů a správu považujeme za brzdu, která zpomaluje tempo inovací. Nicméně, mé rostoucí obavy z deficitu správy mezi technickými a dohledem profesionály v riziku, dodržování předpisů, auditu, mě motivovaly k pokračování v prozkoumávání výzev při realizaci AI správy.

Všechny nezodpovězené otázky o AI správě mě přiměly hledat odpovědi. Proto jsem začala zakládat neziskovou organizaci MERAT (Marketplace for Ethical and Responsible AI tools) s cílem vytvořit ekosystém pro startupy a Global 2000s zaměřené na odpovědný vývoj AI.

Přes počáteční experimenty v MERAT se stalo zřejmým, že nejsou startupy, které umožňují multi-stakeholder nástroje pro komplexní správu AI a ML aplikací – až do Credo AI. Tato mezera byla mou příležitostí realizovat misi vedení AI úmyslně. Moje hypotéza se neustále potvrzovala, že další frontová revoluce AI bude vedena správou. Podniky, které přijmou správu, vyjdou jako lídři v důvěryhodných značkách.

Byla jsem oslovena AI Fondem, inkubátorem založeným Andrew Ng, renomovaným AI odborníkem. AI Fond se soustředil na stejné téma AI auditability a správy, se kterým jsem se zabývala posledních deset let.

Credo AI byla založena 28. února 2020 s financováním od AI Fondu.

Credo znamená „soubor hodnot, který řídí vaše akce“. S Credo AI, naše vize je vybavit podniky, aby vytvořily AI s nejvyššími etickými standardy.

V předchozím rozhovoru jste diskutovali, jak budou značky v budoucnosti důvěryhodné nejen na základě toho, jak staví a nasazují AI, ale také na základě toho, jak škálovat AI, aby sloužila lidstvu. Můžete vysvětlit?

Umělá inteligence je jednou z technologických změn tohoto století a nabízí transformační příležitosti pro ekonomiku a společnost. Je na cestě k přispění téměř 16 bilionů dolarů do globální ekonomiky do roku 2030.

Jenže minulá léta upozornila na hlavní AI hrozby (a ne, nejsou to robotičtí pánové!) již zde. Například algoritmy soudnictví optimalizované pro minimální recidivu (návrat do kriminálního chování) mohou zavést předpojatost a odepřít podmíněné propuštění těm, kteří si to zaslouží.

Sociální algoritmy optimalizované pro zapojení mohou rozdělit národ.

Nespravedlivé algoritmy mohou být důvodem, proč nezískáte práci nebo přijetí na univerzitu.

Čím více autonomie poskytujeme našim nástrojům, tím širší je rozsah neúmyslných důsledků. Extraordinární měřítko generuje extraordinární dopad, ale ne vždy ten, který máme v úmyslu (o tom píšu v Credo AI Manifestu).

Předpovídám, že podniky, které investují do AI správy, aby postavily technologii zodpovědně a zavázaly se k etickému použití dat, budou schopny vzbudit důvěru napříč svými zúčastněnými stranami – zákazníky, spotřebiteli, investory, zaměstnanci a dalšími.

Jak Credo AI pomáhá společnostem zůstat odpovědnými?

Odpovědnost znamená povinnost přijmout odpovědnost za své akce. V kontextu vývoje a nasazení AI to znamená, že podniky potřebují nejen souhlasit s tím, co „dobře vypadá pro ně“, ale také úmyslně učinit kroky k prokázání akce na těchto dohodnutých cílech a přijmout odpovědnost za výsledky.

Credo AI má za cíl být sherpa pro podniky ve svých etických a odpovědných AI iniciativách, aby je držela odpovědnými za různé zúčastněné strany: uživatele, zaměstnance, regulátory, auditory, investory, výkonné a další. Credo AI proto uvedla na trh reálnou, kontextově řízenou, komplexní a nepřetržitou řešení pro dodání etické a odpovědné AI v měřítku.

Budování odpovědnosti a důvěry v AI je dynamický proces. Organizace musí souhlasit s podnikovými hodnotami, kodifikovat tyto hodnoty, postavit je do své organizační infrastruktury, pozorovat dopad a opakovat proces s různými hlasy, které poskytují vstup na každé úrovni. Credo AI umožňuje tuto odpovědnost prostřednictvím komplexního a reálného řešení pro správu dodržování předpisů a měření rizika pro nasazení AI v měřítku.

Používáním řešení Credo AI pro správu podniky mohou:

• Souhlasit s požadavky na správu pro své AI použití a modely, s přizpůsobitelnými balíčky zásad a nástroji pro podporu při výběru metrik hodnocení modelu.
• Vyšetřit a prozkoumat data a ML modely proti těmto dohodnutým cílům
• Analýzovat technické specifikace na akční dopad rizika pro podnik na každé úrovni vývoje a nasazení modelu, aby jste mohli chytit a opravit problémy se správou, než se stanou masivními problémy

Zaznamenáním rozhodnutí a akcí na každém bodě Credo AI zachytí původ rozhodnutí, která vedla ke vzniku modelů jako důkaz. Tento důkaz bude záznamem, který bude sdílen interně se zúčastněnými stranami podniku a externě s auditory, a který bude budovat důvěru v úmysly AI.

Tento důkaz pomůže vývojářským týmům předpovědět a zabránit neúmyslným důsledkům a bude standardizovat způsob, jakým hodnotíme účinnost a důvěryhodnost AI modelů.

Jsme na samém počátku umožnění AI správy prostřednictvím komplexních hodnocení a zajištění a těšíme se na spolupráci s více podniky, aby podpořily odpovědnost.

Jak Credo AI pomáhá společnostem odvrátit se od toho, aby AI správa byla pouze následnou myšlenkou?

V dnešním světě je nedostatek jasnosti kolem toho, co skutečně znamená „odpovědná“, „etická“ a „důvěryhodná“ AI, a jak mohou podniky dodržovat tyto principy. Pomáháme podnikům předefinovat tuto klíčovou otázku, pomocí platformy Credo AI SaaS k prokázání „ekonomiky etiky“.

S Credo AI mohou podniky nejen dodávat spravedlivou, souladnou a auditovatelnou AI, ale také budovat důvěru zákazníků.

Budování důvěry zákazníků může rozšířit zákaznickou základnu podniku a odemknout více prodejů. Například podniky mohou poskytnout nejlepší možnou zákaznickou zkušenost pomocí etické AI ve svých zákaznických chatbootech nebo odpovědně používat AI k pochopení uživatelské aktivity a navrhnout další obsah nebo produkty pro ně. Extrémně spokojení zákazníci pak nabízejí nejlepší reklamu, sdílejí svou zkušenost s přáteli a rodinou.

<p Navíc mohou podniky také vidět, jak spolupráce napříč technickými a dohledem funkcemi může pomoci snížit náklady díky rychlejšímu dodržování předpisů, informovanému řízení rizik, snížení značkových a regulačních rizik. Pomáháme organizacím nasadit etickou AI, budováním mostu mezi technickými metrikami a hmatatelnými obchodními výsledky. Jak stále více lidí si uvědomuje, že šampionát etické AI zahrnuje mnohem více než zaškrtnutí „regulačního dodržování“ políčka. Ale má moc dodat mnohem více než příspěvek k více spravedlivému světu, což by samo o sobě bylo důstojným výsledkem.

Když podnik dodržuje vysoké etické standardy, může očekávat reálné obchodní výsledky, jako je zvýšení příjmů. Přesunutí perspektivy z abstraktního „měkkého“ konceptu na objektivní obchodní rozhodnutí bylo klíčovým způsobem, jak nám pomoci umístit AI správu jako kritickou součást ekonomického a sociálního motoru pro podnik.

Nedávno vytvořila administrativa Bidena Národní poradní komisi pro umělou inteligenci. Jaký je podle vás dopad této komise na AI podniky?

Vlády po celém světě se plně soustředí na regulaci AI, a podniky musí být připraveny. Administrativa Bidenova thoughtfully vytvořila Národní AI poradenskou komisi a investice do Bílého domu OSTP je dobrým prvním krokem k přenesení akce do diskusí kolem zákona o právech pro governance AI systémů. Nicméně, musí se udělat ještě hodně práce, aby se realizovalo, co znamená odpovědná AI pro naši zemi a ekonomiku.

Domnívám se, že rok 2022 je pozicionován jako rok akce pro odpovědnou AI. Je to budíček pro podniky, které chtějí implementovat nebo posílit svou AI etickou framework. Nyní je čas pro společnosti, aby zhodnotily svou stávající framework pro mezery, nebo pro společnosti, které postrádají přístup, aby implementovaly solidní framework pro důvěryhodnou AI, aby je připravily na úspěch a vedení v éře AI.

Měli bychom očekávat více tvrdých a měkkých regulací, které se objeví. Kromě akcí Bílého domu je zde spousta impulsu od ostatních tvůrců politik a agentur, jako je návrh Senátu o algoritmické odpovědnosti, pokyny Federální obchodní komise (FTC) kolem AI předpojatosti a další.

Pokud se posuneme do budoucnosti, jak důležité bude AI etika a AI správa za pět let?

Jsme na samém počátku AI správy. Abych zdůraznila, jak je AI správa kritická, zde jsou některé z mých předpovědí pro příštích několik let:

• Etická AI správa se stane top prioritou organizace

Podniky pokračují ve investicích a získávají výhody z použití AI ve svých podnikání. IDC předpovídá, že výdaje na AI dosáhnou 340 miliard dolarů v roce 2022. Bez správy budou podniky váhat investovat do AI kvůli obavám z předpojatosti, bezpečnosti, přesnosti, souladu těchto systémů.

Bez důvěry budou spotřebitelé také váhat akceptovat AI založené produkty nebo sdílet data, aby postavily tyto systémy. Během příštích pěti let se etická AI správa stane prioritou v ředitelství a důležitým metrikou, kterou společnosti musí zveřejnit a nahlásit, aby vybudovaly důvěru napříč svými zúčastněnými stranami.

• Nové socio-technické kategorie práce se objeví v rámci podniku

Jsme již svědky etiky orientovaných organizací, které investují významně do budoucnosti svého rozvoje, aby zajistily spravedlivou, souladnou a auditovatelnou AI aplikaci.

Aby podniky vedly v AI, musí urychlit učení o AI regulačním prostředí a implementaci struktur odpovědnosti v měřítku. Jak se vyvíjí oblast etické AI implementace, může se objevit nová socio-technická kategorie práce, která bude zprostředkovávat tyto konverzace a převzít vedení v této oblasti. Tato nová součást pracovní síly by mohla fungovat jako zprostředkovatelé mezi technickými a dohledem funkcemi, pomáhající vyvinout společné standardy a cíle.

• Nové AI poháněné zkušenosti budou vyžadovat přísnější správu

Rizika AI existují v reálném světě a ve virtuálním světě, ale jsou dále zesílena ve druhém. Když podniky vstupují do Metaverse bez dostatečné AI kontroly, riskují, že vystaví své zákazníky nebezpečí, jako je krádež identity a podvody. Je zásadní, aby se AI a správa problémů řešily v reálném světě, aby se zajistilo, že spotřebitelé budou v bezpečí v Metaverse.

• Nové ekosystémy v etické AI správě se objeví

Svět se probudil k myšlence, že AI správa představuje základní stavební kámen pro operacionalizaci odpovědné AI. Během příštích několika let uvidíme konkurenční a dynamický trh poskytovatelů služeb, které budou poskytovat nástroje, služby, vzdělávání a další schopnosti, aby podpořily tuto masivní potřebu.

<p Navíc uvidíme konsolidaci a rozšíření stávajících MLops a GRC platforem, aby se přinesly funkce správy a hodnocení do AI.

Ještě něco, co byste chtěla sdílet o Credo AI?

Etická AI správa je budoucí investice, kterou si nemůžete dovolit neudělat, a dnes je nejlepší den, aby jste začali.

Děkuji za podrobný rozhovor a za sdílení všech svých poznatků týkajících se AI správy a etiky, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Credo AI.