Alyssa Simpson Rochwerger, Spolupředsedkyně knihy Real World AI – Interview Series

Alyssa Rochwerger je zákaznicky orientovaným lídrem produktů, který se věnuje vytváření produktů, které řeší složité problémy pro skutečné lidi. Působila ve mnoha vedoucích pozicích produktů pro organizace strojového učení. Působila jako VP produktu pro Figure Eight (získaná společností Appen), VP AI a dat ve společnosti Appen, a ředitelka produktu v IBM Watson. Nedávno opustila tento obor, aby se věnovala svému snu o využití technologií ke zlepšení zdravotní péče. V současné době působí jako ředitelka produktu v Blue Shield of California, kde je ráda obklopena mnoha daty, složitými problémy a možnostmi, jak mít pozitivní dopad.

Hovoříme o její nové knize: Skutečný svět AI: Praktický průvodce pro odpovědné strojové učení

V úvodu knihy popisujete, jak jste jako produktový manažer IBM poprvé narazila na problém s AI systémem, který dodával předpojaté informace, když byl snímek osoby na vozíku klasifikován algoritmem jako „poražený“. Jak velkým probuzením to pro vás bylo, co se týče předpojatosti AI?

Nechci to nazývat probuzením, ale spíše tím, že jsem se teprve učila o tomto technologii a nevěděla jsem dostatečně, jak funguje, abych mohla vhodně nastavit ochrany a aktivně zmírnit nežádoucí předpojatost. Byla to otevřená zkušenost, která mi zostřila pozornost na tuto otázku – a učinila mě si vědomou, že je třeba být aktivní v budoucnu. Rovnost, přístup a inkluze jsou tématy, o kterých jsem již dlouho vášnivě přesvědčena – a dokonce jsem získala cenu na univerzitě za svou obhajobu studentů se zdravotním postižením. Tato zkušenost v IBM mi pomohla pochopit z technického hlediska, jak snadno lze systémové společenské předpojatosti zakódovat do produktů založených na strojovém učení, pokud tým není aktivně zmírňující.

Co jste se osobně naučila při výzkumu a psaní této knihy?

Z osobní stránky – musela jsem najít čas na psaní této knihy, zatímco jsem měnila práci, měla jsem 1-roční dítě a musela jsem zvládnout COVID. Naučila jsem se, jak najít čas, aby bylo psaní knihy prioritou, a jak požádat o pomoc svou rodinu, aby mi poskytla čas, abych se mohla soustředit na psaní knihy.

Profesionálně – bylo to skvělé, že tolik účastníků ochotně a laskavě sdílelo své příběhy s námi pro publikaci. Odborníci na strojové učení jsou podle mé zkušenosti velmi uvážlivá a laskavá skupina lidí – ochotní pomoci ostatním a sdílet chyby a zkušenosti. Bohužel, mnoho z těchto zkušeností nebylo zahrnuto do této knihy nebo muselo být anonymizováno, protože se obávali, že by mohli být vnímáni negativně, pokud by byly jejich zkušenosti zveřejněny. I když je to jistě normální, osobně si myslím, že je to škoda – jsem velkým zastáncem učení a růstu z minulých zkušeností a chyb, pokud mohou být prospěšné pro ostatní.

Jaké jsou některé z nejdůležitějších lekcí, které doufáte, že lidé získají z čtení této knihy?

Doufám, že lidé pochopí, že strojové učení není nic strašidelného nebo složitého. Že je to mocná, ale někdy křehká technologie, která potřebuje vedení a strukturu, aby byla úspěšná při řešení složitých problémů. Také doufám, že lidé pochopí, že odpovědné a etické použití této technologie je kritické pro zralost a úspěch – a že soustředění se na zmírnění škodlivé předpojatosti na počátku je klíčem k obchodnímu úspěchu.

Jedním z příkladů předpojatosti AI vůči pohlaví, který je popsán v knize, je případ Apple Credit Card, který vydával nižší úvěrové limity ženám než mužům. Tento příklad ukázal, že vynechání pohlaví jako možnosti nezohlednilo jiné proměnné, které mohou sloužit jako proxy pro pohlaví. Ukázalo se, že bez vstupu „pohlaví“ nebylo možné zjistit, zda je výsledek předpojatý, dokud nebyl produkt vydán. Jaké typy datových vstupů byste považovali za důležité, aby se zabránilo předpojatosti vůči pohlaví nebo menšinám?

Neexistuje žádný pevný a rychlý pravidlo – každý datový soubor, případ použití a situace jsou odlišné. Doporučil bych praktikům, aby se ponořili do detailů a nuancí problému, který má být řešen pomocí algoritmu strojového učení – a které škodlivé předpojatosti by mohly být zakódovány do tohoto rozhodnutí.

Kniha popisuje, že jednou z hlavních odpovědností při komunikaci s týmem AI je přesně definovat výsledky, které jsou důležité pro podnik. Jak často podle vás podniky selhávají v této úloze?

Řekla bych, že podle mé zkušenosti, většina podniků buď nemá jasně definované výsledky, nebo je definuje pouze na vysoké úrovni. Definice konkrétních výsledků je snadným způsobem, jak nastavit tým na úspěch na počátku.

Kniha mluví o důležitosti uvědomění si, že systém AI není „nastav a zapomeň“ typem systému. Můžete krátce diskutovat o tomto?

Toto je klasická chyba, kterou většina firem dělá, když spouští nový ML systém do produkce. Realita se mění – čas plyne, co bylo pravdivé včera (trénovací data), nemusí být pravdivé zítra. Závisí na vašich okolnostech, ale ve většině případů je důležité být schopni se učit a přizpůsobovat a dělat lepší rozhodnutí na základě novějších informací.

Produkty založené na strojovém učení jsou vlastně rozhodovacími systémy. Pokud to porovnáme s lidským příkladem – je to jako rozhodčí ve vysoce rizikové fotbalové hře. Mnohorát, pokud je to dobře trénovaný rozhodčí s zkušenostmi, rozhodčí dělá dobré rozhodnutí a hra pokračuje – ale někdy ten rozhodčí buď dělá špatné rozhodnutí – nebo není si jistý, jaké rozhodnutí udělat – a musí se vrátit a přezkoumat video – požádat několik dalších lidí, aby pomohli s rozhodnutím o konkrétním hře. Podobně – produkty ML potřebují zpětnou vazbu, trénink a někdy nejsou jisté. Potřebují mít záložní možnosti, aby se mohly vrátit, a také nové informace, aby se mohly učit a zlepšovat se časem. Dobrý rozhodčí se učí a zlepšuje se v čase a stává se lepšími v rozhodování.

Můžete mluvit o důležitosti vytvoření mezioborového týmu, který může identifikovat, které problémy jsou nejlépe řešitelné pomocí AI?

Technologie strojového učení je obvykle vhodná pro velmi složité a specifické problémy, které nejsou řešitelné jinými přístupy. Každý složitý problém – vyžaduje tým, aby byl úspěšný. Když jsou firmy nové v AI – často existuje falešný narativ, že jediný odborník na strojové učení, nebo dokonce tým strojového učení, může sám vyřešit problém. Nikdy jsem se s tím nesetkala. Je zapotřebí tým s různými zázemím a přístupy, aby se podařilo vyřešit složitý problém – a určitě aby se podařilo úspěšně nasadit technologii strojového učení do produkce.

Děkuji vám za skvělý rozhovor, čtenářům (a zejména obchodním manažerům), kteří se chtějí dozvědět více, doporučuji, aby si přečetli knihu Skutečný svět AI: Praktický průvodce pro odpovědné strojové učení.