Alyssa Simpson Rochwerger, medförfattare till Real World AI – Intervju-serie

Alyssa Rochwerger är en kunddriven produktledare som är dedikerad till att bygga produkter som löser svåra problem för riktiga människor. Hon har haft flera produktledarroller för maskinlärningsorganisationer. Hon tjänstgjorde som vice VD för produkt för Figure Eight (förvärvad av Appen), VP för AI och data på Appen och produktchef på IBM Watson. Hon lämnade nyligen branschen för att följa sin dröm om att använda teknologi för att förbättra hälsovården. För närvarande tjänstgör hon som produktchef på Blue Shield of California, där hon omges av mycket data, många svåra problem och ingenting annat än möjligheter att göra en positiv inverkan.

Vi diskuterar hennes nya bok: Den riktiga världen av AI: En praktisk guide för ansvarsfull maskinlärning

I bokens introduktion beskriver du hur du som IBM-produktchef först stötte på ett problem med ett AI-system som levererade partisk information när en bild av en person i rullstol klassificerades av algoritmen som “förlorare”. Hur mycket var det en väckarklocka för dig om AI-partiskhet?

Jag skulle inte kalla det en väckarklocka så mycket som att det var min första gång att bygga ett maskinlärningsbaserat produkt (jag var bara några månader in i rollen) och jag visste inte tillräckligt om hur denna teknik fungerade för att på lämpligt sätt sätta upp skydd och aktivt mildra oönskad partiskhet. Det var en ögonöppnande upplevelse som skärpte min uppmärksamhet på denna fråga – och gjorde mig akut medveten om att gå vidare. Jämlikhet, tillgänglighet och inkludering är ett ämne jag är passionerad om – och har varit under lång tid – jag vann till och med ett pris på college för mina insatser för studenter med funktionshinder. Denna upplevelse på IBM hjälpte mig att förstå från ett tekniskt perspektiv hur lätt det är för systematisk samhällelig partiskhet att kodas in i maskinlärningsbaserade produkter om teamet inte aktivt mildrar. Jag var glad att arbeta på en institution som bryr sig djupt om jämlikhet och sätter resurser in för att mildra.

Vad lärde du dig personligen när du forskade och skrev den här boken?

På ett personligt plan – var jag tvungen att skapa tid för att skriva den här boken medan jag bytte jobb, hade en 1-åring och samtidigt navigerade i COVID. Jag lärde mig hur man skapar tid för att göra detta till en prioritet och hur man ber om hjälp från min familj, vilket gav mig tiden att ge bokskrivandet min uppmärksamhet.

Professionellt – var det underbart att ha så många deltagare som villigt och vänligt delade sina berättelser med oss för publicering. Maskinlärningsproffs inom min erfarenhet är en otroligt tankeväckande och generös grupp människor – villiga att hjälpa andra och dela misstag och lärdomar. Tyvärr var många av dessa lärdomar inte med i den här boken eller var tvungna att anonymiseras avsevärt, på grund av oro för att gå offentligt med bakom kulisserna-information som kunde göra ett företag eller en individ se dåligt ut om den togs i fel ljus. Medan det säkert är vanligt, tycker jag personligen att det är synd – jag är en stor troende på att lära och växa från tidigare erfarenheter och misstag om de kan vara till nytta för andra.

Vilka är några av de viktigaste lärdomarna som du hoppas att människor kommer att ta med sig från att läsa den här?

Jag hoppas att människor kommer att lära sig att maskinlärning inte är superläskigt eller svårt att förstå. Att det är en kraftfull men också ibland skör teknik som behöver vägledning och struktur för att vara framgångsrik i att lösa svåra problem. Och att ansvarsfullt och etiskt användande av denna teknik är avgörande för mognad och framgång – och att fokusera på att mildra skadlig partiskhet tidigt är nyckeln till affärsframgång.

Ett exempel på AI-könspartiskhet som beskrevs i boken var Apple (AAPL ) Credit Card som utfärdade lägre kreditgränser för kvinnor än för män. Detta var ett exempel på hur utelämnandet av kön som en alternativ inte tog hänsyn till andra variabler som kan fungera som en proxy för kön. Exemplet visade att utan “kön”-indata var det omöjligt att avgöra att resultatet var partiskt förrän efter att den slutliga produkten hade släppts. Vilka typer av dataindata tror du att aldrig bör utelämnas för att undvika partiskhet mot kön eller minoriteter?

Det finns ingen fast och hård regel – varje datamängd, användningsfall och situation är annorlunda. Jag skulle uppmuntra praktiker att gå in i detaljerna och nyanserna i vilket problem ett maskinlärningsalgoritm används för att lösa – och vilken skadlig partiskhet som kan kodas in i det beslutet.

I boken beskrivs hur en primär ansvar när man kommunicerar med AI-teamet är att exakt definiera de resultat som är viktiga för affären. Hur ofta misslyckas företag med den här uppgiften enligt din erfarenhet?

Jag skulle säga att i min erfarenhet, de flesta gånger, är resultaten antingen inte definierade eller bara definierade på ett löst eller högt plan. Att gå in i detaljerna om de specifika resultaten är ett enkelt sätt att sätta upp teamet för framgång tidigt.

Boken talar om vikten av att inse att ett AI-system inte är en “Ställ in och glöm”-typ av system. Kan du kort diskutera detta?

Detta är det klassiska misstaget som de flesta företag gör när de lanserar ett nytt ML-system i produktion. Verkligheten förändras – tiden passerar, vad som var sant igår (träningsdata) kanske inte är sant imorgon. Det beror på omständigheterna, men i de flesta fallen är det viktigt att kunna lära och anpassa sig och fatta bättre beslut över tid baserat på mer aktuell information.

Maskinlärningsbaserade produkter är i princip beslutsfattare. För att likna detta vid ett människoexempel – det är som en domare i en högriskfotbollsmatch. Många gånger, om det är en vältränad domare med erfarenhet, fattar domaren ett bra beslut och matchen fortsätter – men ibland fattar domaren ett dåligt beslut – eller är osäker på vad beslutet ska vara – och behöver gå tillbaka och se på videon – fråga några andra i laget för att fatta ett beslut om en specifik spel. Likaså behöver ML-produkter feedback, utbildning och ibland är de inte säkra. De behöver ha backup-alternativ att falla tillbaka på samt ny information att lära av för att bli bättre över tid. En bra domare lär sig över tid och blir bättre på att fatta beslut.

Kan du tala om vikten av att skapa ett tvärfunktionellt team som kan identifiera vilka problem som är bäst att tackla med hjälp av AI?

Maskinlärningsteknik är vanligtvis väl lämpad för mycket svåra specifika problem som inte kan lösas med andra metoder. Varje svårt problem – det tar ett team för att vara framgångsrikt. När företag är nya till AI – finns det ofta en falsk berättelse om att en ensam maskinlärningsvetare eller till och med maskinlärningsteam kan lösa problemet på egen hand. Jag har aldrig funnit att det är sant. Det tar ett team med olika bakgrunder och metoder för att tackla ett svårt problem – och säkert för att distribuera maskinlärningsteknik framgångsrikt till produktion.

Tack för den underbara intervjun, för läsare (och särskilt företagsledare) som är intresserade av att lära sig mer, rekommenderar jag att de läser boken Den riktiga världen av AI: En praktisk guide för ansvarsfull maskinlärning.