Alyssa Simpson Rochwerger, Spoluautorka knihy Real World AI – Rozhovorová série

Alyssa Rochwerger je zákaznicky orientovaný produktový lídr, který se věnuje vytváření produktů, které řeší složité problémy pro skutečné lidi. Působila ve mnoha produktových lídrských rolích pro organizace strojového učení. Působila jako VP produktu pro Figure Eight (získanou společností Appen), VP AI a dat ve společnosti Appen a ředitelka produktu v IBM Watson. Nedávno opustila tento obor, aby se věnovala svému snu o využití technologií ke zlepšení zdravotní péče. V současné době působí jako ředitelka produktu v Blue Shield of California, kde je ráda obklopena mnoha daty, složitými problémy a možnostmi, jak mít pozitivní dopad.

Diskutujeme o její nové knize: Skutečný svět AI: Praktický průvodce pro odpovědné strojové učení

V úvodu knihy popisujete, jak jste jako produktový manažer IBM poprvé narazila na problém s AI systémem, který poskytoval zkreslené informace, když byl snímek osoby na vozíku klasifikován algoritmem jako “poražený”. Jak velkým probuzením to pro vás bylo, pokud jde o zkreslení AI?

Nejsem si jistá, zda bych to nazvala probuzením, ale spíše prvním zážitkem s vytvářením produktu založeného na strojovém učení (byla jsem pouze několik měsíců v roli) a nevěděla jsem dostatečně mnoho o tom, jak tato technologie funguje, abych mohla vhodně nastavit ochrany a aktivně zmírnit nežádoucí zkreslení. Byla to otevřená zkušenost, která upoutala mou pozornost k této otázce – a učinila mě si vědomou toho, že je snadné zakódovat systémové společenské zkreslení do produktů založených na strojovém učení, pokud tým není aktivně zmírňovat. Byla jsem ráda, že jsem pracovala v instituci, která se hluboce stará o rovnost a vkládá prostředky do zmírnění.

Co jste osobně zjistila při výzkumu a psaní této knihy?

Na osobní úrovni – musela jsem najít čas na psaní této knihy, zatímco jsem měnila práci, měla jsem 1-ročního syna a zároveň jsem se musela vyrovnat s COVIDem. Našla jsem, jak najít čas, aby se psaní knihy stalo prioritou, a jak požádat o pomoc svou rodinu, aby mi poskytla čas, abych se mohla věnovat psaní.

Profesionálně – bylo skvělé mít tolik účastníků, kteří ochotně a laskavě sdíleli své příběhy s námi pro publikaci. Odborníci na strojové učení, se kterými jsem měla zkušenosti, jsou neuvěřitelně uvážliví a laskaví lidé – ochotní pomoci ostatním a sdílet chyby a zkušenosti. Bohužel, mnoho z těchto příběhů se nemohlo zahrnout do této knihy nebo muselo být anonymizováno, protože existovaly obavy z veřejného sdílení informací, které by mohly vypadat špatně, pokud by byly vytrženy z kontextu. Přestože je to jistě normální, osobně si myslím, že je to škoda – jsem velkým zastáncem učení a růstu z minulých zkušeností a chyb, pokud mohou být užitečné pro ostatní.

Jaké jsou některé z nejdůležitějších lekcí, které doufáte, že lidé vezmou z čtení této knihy?

Doufám, že lidé pochopí, že strojové učení není nic strašidelného nebo složitého. Že je to mocná, ale někdy křehká technologie, která potřebuje vedení a strukturu, aby mohla úspěšně řešit složité problémy. A že odpovědné a etické použití této technologie je kritické pro zralost a úspěch – a že zaměřit se na zmírnění škodlivého zkreslení na počátku je klíčem k obchodnímu úspěchu.

Jedním z příkladů zkreslení AI pohlaví, které je popsáno v knize, je vydání kreditní karty Apple (AAPL ) s nižšími úvěrovými limity pro ženy než pro muže. Tento příklad ukázal, že vynechání pohlaví jako možnosti nevedlo k tomu, aby se zohlednily další proměnné, které mohou sloužit jako proxy pro pohlaví. Ukázalo se, že bez “pohlaví” jako vstupu nebylo možné zjistit, zda je výsledek zkreslený, dokud nebyl produkt vydán. Jaké typy datových vstupů byste se domnívala, že by nikdy neměly být vynechány, aby se zabránilo zkreslení proti pohlaví nebo menšinám?

Neexistuje žádný pevný a rychlý pravidlo – každý datový soubor, použití a situace jsou různé. Doporučil bych praktikům, aby se ponořili do detailů a nuancí problému, který má být strojovým učením řešen – a jaké škodlivé zkreslení by mohlo být zakódováno do tohoto rozhodnutí.

Kniha popisuje, jak je primární odpovědností při komunikaci s týmem AI přesně definovat výsledky, které jsou důležité pro podnikání. Jak často podle vašeho názoru podniky selhávají v tomto úkolu?

Radla bych řekla, že podle mé zkušenosti většina podniků buď nemá jasně definované výsledky, nebo je definuje pouze na vysoké úrovni. Přesné definování výsledků je snadným způsobem, jak týmům zajistit úspěch na počátku.

Kniha hovoří o důležitosti uvědomění si, že systém AI není “nastav a zapomeň” typem systému. Můžete stručně diskutovat o tomto?

Toto je klasická chyba, kterou většina společností dělá, když spouští nový ML systém do produkce. Realita se mění – čas plyne, co bylo pravdivé včera (trénovací data), nemusí být pravdivé zítra. Závisí na vašich okolnostech, ale ve většině případů je důležité být schopni učit se a přizpůsobovat a dělat lepší rozhodnutí na základě nedávnějších informací.

Systémy založené na strojovém učení jsou v podstatě rozhodčí. Můžeme to přirovnat k lidskému příkladu – je to jako rozhodčí ve vysoce rizikové fotbalové hře. Mnohorát, pokud je to dobře trénovaný rozhodčí s zkušenostmi, rozhodčí dělá dobré rozhodnutí a hra pokračuje – ale někdy ten rozhodčí buď dělá špatné rozhodnutí – nebo není jistý, jaké rozhodnutí učinit – a musí se vrátit a přezkoumat video – a požádat několik dalších lidí, aby pomohli s rozhodnutím o konkrétním hře. Podobně – produkty založené na ML potřebují zpětnou vazbu, trénink a někdy nejsou jisté. Potřebují mít záložní možnosti, aby se mohly vrátit, a také nové informace, ze kterých se mohou učit a zlepšovat over time. Dobrý rozhodčí se učí over time a zlepšuje se v rozhodování.

Můžete hovořit o důležitosti vytvoření mezioborového týmu, který může identifikovat, které problémy jsou nejlépe řešeny pomocí AI?

Technologie strojového učení je obvykle vhodná pro velmi složité a specifické problémy, které nejsou řešeny jinými přístupy. Každý složitý problém – vyžaduje tým, aby byl úspěšný. Když společnosti jsou nové v AI – často existuje falešný narativ, že jeden odborník na strojové učení, nebo dokonce tým strojového učení, může problém vyřešit sám. Nikdy jsem nenašla, že by to byla pravda. Je zapotřebí tým s různými zázemími a přístupy, aby se složitý problém vyřešil – a určitě, aby se strojové učení úspěšně nasadilo do produkce.

Děkuji vám za skvělý rozhovor, pro čtenáře (a zejména pro obchodní manažery), kteří se zajímají o další informace, doporučuji, aby si přečetli knihu Skutečný svět AI: Praktický průvodce pro odpovědné strojové učení.