Alyssa Simpson Rochwerger, medforfatter av Real World AI – Interview Series

Alyssa Rochwerger er en kundedrevet produktleder dedikert til å bygge produkter som løser vanskelige problemer for ekte mennesker. Hun har hatt en rekke produktlederroller for maskinlæringsorganisasjoner. Hun fungerte som VP for produkt for Figure Eight (kjøpt av Appen), VP for AI og data på Appen, og produktdirektør i IBM Watson. Hun forlot nylig plassen for å forfølge drømmen sin om å bruke teknologi for å forbedre helsevesenet. For tiden fungerer hun som produktdirektør hos Blue Shield i California, hvor hun er lykkelig omgitt av massevis av data, mange vanskelige problemer og ingenting annet enn muligheter til å ha en positiv innvirkning.

Vi diskuterer hennes nye bok: The Real World of AI: En praktisk guide for ansvarlig maskinlæring

I bokens introduksjon beskriver du hvordan du som IBM-produktsjef først møtte et problem med AI-system som leverer forutinntatt informasjon da et bilde av en person i rullestol ble klassifisert av algoritmen som "taper". Hvor mye av en vekker var dette for deg om AI-bias?

Jeg vil ikke kalle det en vekker så mye som det var første gang jeg bygde et maskinlæringsbasert produkt (jeg var bare noen få måneder inne i rollen) og jeg visste ikke nok ennå om hvordan denne teknologien fungerte riktig. sette inn vakter og aktivt dempe uønsket skjevhet. Det var en øyeåpnende opplevelse som skjerpet oppmerksomheten min på dette problemet – og gjorde meg svært oppmerksom på hvordan jeg gikk videre. Likestilling, tilgang og inkludering er et tema jeg brenner for – og har vært det lenge – jeg vant til og med en pris på college for min støtte til studenter med funksjonshemninger. Denne erfaringen hos IBM hjalp meg å forstå fra et teknisk perspektiv hvor enkelt det er for systemisk samfunnsbias å bli kodet inn i maskinlæringsbaserte produkter hvis teamet ikke aktivt reduserer. Jeg var glad for å jobbe ved en institusjon som bryr seg dypt om egenkapital og legger ressurser i å redusere.

Hva lærte du personlig ved å undersøke og skrive denne boken?

Personlig – jeg måtte sette av tid til å skrive denne boken mens jeg byttet jobb, hadde en 1-åring mens jeg navigerede i COVID. Jeg lærte hvordan jeg kunne sette av tid for å gjøre dette til en prioritet, og hvordan jeg kunne be om hjelp fra familien min, noe som ga meg tid til å gi bokskrivingen min oppmerksomhet.

Profesjonelt – det var fantastisk å ha så mange deltakere som villig og elskverdig delte historiene sine med oss ​​for publisering. Maskinlæringsfagfolk etter min erfaring er en utrolig gjennomtenkt og elskverdig gruppe mennesker – villige til å hjelpe andre og dele feil og erfaringer. Dessverre ble mange av disse erfaringshistoriene ikke inkludert for denne boken eller måtte anonymiseres betydelig, på grunn av bekymring for å offentliggjøre informasjon bak kulissene som kan få et selskap eller enkeltperson til å se dårlig ut hvis de blir tatt i feil lys. Selv om det absolutt er pari for kurset, føler jeg personlig at det er for dårlig – jeg er en stor tro på å lære og vokse fra tidligere erfaringer og feil hvis de kan være nyttige for andre.

Hva er noen av de viktigste lærdommene du håper folk vil ta fra å lese dette?

Jeg håper folk vil lære at maskinlæring ikke er superskummelt eller vanskelig å forstå. At det er en kraftig, men også til tider sprø teknologi som trenger veiledning og struktur for å lykkes med å løse vanskelige problemer. Også at ansvarlig etisk bruk av denne teknologien er avgjørende for modenhet og suksess – og at fokus på å redusere skadelig skjevhet tidlig er nøkkelen til forretningssuksess.

Et eksempel på AI-kjønnsskjevhet som ble avbildet i boken, var Apple-kredittkortet som utstedte lavere kredittlinjer til kvinner enn til menn. Dette var et eksempel på hvordan utelatelse av kjønn som et alternativ ikke klarte å ta hensyn til andre variabler som kan tjene som en proxy for kjønn. Eksemplet viste at uten "kjønn"-innspillet var det umulig å finne ut at resultatet var partisk før etter at det endelige produktet ble utgitt. Hva er noen typer datainndata som du mener aldri bør utelates for å unngå skjevhet mot kjønn eller minoriteter?

Det er ingen hard og rask regel – hvert datasett, brukstilfelle og situasjon er forskjellig. Jeg vil oppfordre utøvere til å komme inn på detaljene og nyansen av hvilket problem en maskinlæringsalgoritme brukes for å løse – og hvilken skadelig skjevhet som kan kodes inn i den beslutningen.

Boken beskriver hvordan et hovedansvar når man kommuniserer med AI-teamet er å presist definere resultatene som er viktige for virksomheten. Etter din mening hvor ofte mislykkes bedrifter med denne oppgaven?

Jeg vil si i min erfaring, for det meste er resultatene enten ikke definert eller bare definert på et løst eller høyt nivå. Å komme inn i detaljene om de spesifikke resultatene er en enkel måte å sette opp teamet for suksess tidlig.

Boken snakker om viktigheten av å innse at et AI-system ikke er et "Set it and forget it"-system. Kan du diskutere dette kort?

Dette er den klassiske feilen som de fleste bedrifter gjør når de lanserer et nytt ML-system i produksjon. Virkeligheten endrer seg – tiden går, det som var sant i går (treningsdataene) er kanskje ikke sant i morgen. Det avhenger av omstendighetene dine, men i de fleste tilfeller er det viktig å kunne lære og justere og ta bedre beslutninger over tid basert på nyere informasjon.

Maskinlæringsbaserte produkter er i hovedsak beslutningstakere. For å sidestille dette med et menneskelig eksempel – det er som en dommer i en fotballkamp med høy innsats. Mange ganger, hvis det er en godt trent dommer med erfaring, tar dommeren en god avgjørelse og spillet fortsetter – men til tider ringer den dommeren enten dårlig – eller er usikker på hva han skal ringe – og må gå tilbake og se gjennom videoen – spør noen andre for å ta en avgjørelse om et bestemt spill. Tilsvarende – ML-produkter trenger tilbakemelding, opplæring og er til tider ikke selvsikre. De må ha reservealternativer å falle tilbake på, samt ny informasjon å lære av for å bli bedre over tid. En god dommer vil lære over tid og bli bedre til å gjøre vurderinger.

Kan du snakke om viktigheten av å skape et tverrfunksjonelt team som kan identifisere hvilke problemer som best kan løses ved å bruke AI?

Maskinlæringsteknologi er typisk godt egnet for svært vanskelige spesifikke problemer som ikke løses med andre tilnærminger. Ethvert vanskelig problem – det krever et team for å lykkes. Når selskaper er nye innen AI – er det ofte en falsk fortelling om at en ensom maskinlæringsforsker, eller til og med maskinlæringsteam kan løse problemet selv. Jeg har aldri funnet ut at det er sant. Det krever et team med forskjellig bakgrunn og tilnærminger for å takle et vanskelig problem – og absolutt for å implementere maskinlæringsteknologi på en vellykket måte i produksjonen.

Takk for det flotte intervjuet, for lesere (og spesielt bedriftsledere) som er interessert i å lære mer, anbefaler jeg at de leser boken The Real World of AI: En praktisk guide for ansvarlig maskinlæring.