Alyssa Simpson Rochwerger, Co-Auteur van Real World AI – Interview Serie

Alyssa Rochwerger is een klantgerichte productleider die zich inzet voor het ontwikkelen van producten die moeilijke problemen voor echte mensen oplossen. Ze heeft verschillende productleiderschapsrollen gehad bij machine learning-organisaties. Ze was VP van product bij Figure Eight (overgenomen door Appen), VP van AI en data bij Appen en directeur van product bij IBM Watson. Onlangs verliet ze deze sector om haar droom na te jagen om technologie te gebruiken om de gezondheidszorg te verbeteren. Momenteel werkt ze als directeur van product bij Blue Shield of California, waar ze omringd is door veel data, moeilijke problemen en niets dan kansen om een positieve impact te maken.

We bespreken haar nieuwe boek: De echte wereld van AI: een praktische gids voor verantwoordelijke machine learning

In de inleiding van het boek beschrijft u hoe u als IBM-productmanager voor het eerst een probleem met een AI-systeem tegenkwam dat vooringenomen informatie leverde toen een foto van een persoon in een rolstoel werd geclassificeerd als “verliezer” door het algoritme. Hoe groot was dit voor u als wake-up call over AI-vooringenomenheid?

Ik zou het niet zozeer een wake-up call noemen, maar meer mijn eerste ervaring met het bouwen van een machine learning-gebaseerd product (ik was pas een paar maanden in de functie) en ik wist nog niet genoeg over hoe deze technologie werkte om adequate waarborgen in te bouwen en ongewenste vooringenomenheid actief te mitigeren. Het was een openbaring die mijn aandacht op dit onderwerp scherpte – en maakte me me bewust van de noodzaak om hiermee rekening te houden in de toekomst. Gelijkheid, toegang en inclusie zijn onderwerpen waar ik al lang voor ben – ik won zelfs een prijs op de universiteit voor mijn pleitbezorging voor studenten met een handicap. Deze ervaring bij IBM hielp me begrijpen hoe gemakkelijk het is voor systemische maatschappelijke vooringenomenheid om te worden gecodeerd in machine learning-gebaseerde producten als het team niet actief mitigeert. Ik was blij om te werken bij een instelling die diep geeft om gelijkheid en middelen inzet om te mitigeren.

Wat hebt u persoonlijk geleerd door onderzoek te doen en dit boek te schrijven?

Op persoonlijk niveau – ik moest tijd vrijmaken om dit boek te schrijven terwijl ik van baan veranderde, een 1-jarige had en door COVID navigeerde. Ik leerde hoe ik tijd kon vrijmaken om dit een prioriteit te maken, en hoe ik om hulp kon vragen van mijn familie, zodat ik de tijd had om me te concentreren op het schrijven van het boek.

Beroepsmatig – het was geweldig om zo veel deelnemers te hebben die hun verhalen vrijwillig en genadig met ons deelden voor publicatie. Machine learning-professionals in mijn ervaring zijn een buitengewoon zorgvuldige en genadige groep mensen – bereid om anderen te helpen en fouten en lessen te delen. Helaas werden veel van deze lessen niet opgenomen in dit boek of moesten ze aanzienlijk worden geanonimiseerd, vanwege bezorgdheid om achter-de-schermijnformatie openbaar te maken die een bedrijf of individu in een slecht daglicht zou kunnen stellen. Terwijl dat zeker par voor de koers is, vind ik het persoonlijk jammer – ik ben een grote voorstander van leren en groeien van eerdere ervaringen en fouten als ze nuttig kunnen zijn voor anderen.

Wat zijn enkele van de belangrijkste lessen die u hoopt dat mensen zullen leren uit het lezen van dit boek?

Ik hoop dat mensen zullen leren dat machine learning niet super eng of moeilijk te begrijpen is. Dat het een krachtige maar soms ook broze technologie is die leiding en structuur nodig heeft om succesvol te zijn bij het oplossen van moeilijke problemen. Ook dat verantwoordelijke, ethische gebruik van deze technologie essentieel is voor volwassenheid en succes – en dat het focussen op het mitigeren van schadelijke vooringenomenheid vanaf het begin essentieel is voor zakelijk succes.

Een voorbeeld van AI-geslachtsvooringenomenheid dat in het boek werd beschreven, was de Apple (AAPL ) Credit Card die lagere kredietlimieten verleende aan vrouwen dan aan mannen. Dit was een voorbeeld van hoe het weglaten van geslacht als optie niet kon worden genegeerd voor andere variabelen die als proxy voor geslacht kunnen dienen. Het voorbeeld toonde aan dat zonder de “geslacht”-invoer het onmogelijk was om te ontdekken dat de uitkomst vooringenomen was totdat na de finale productrelease. Wat zijn enkele soorten gegevensinvoer die u gelooft nooit mogen worden weggelaten om vooringenomenheid tegen geslacht of minderheden te voorkomen?

Er is geen harde en snelle regel – elke gegevensset, use case en situatie is anders. Ik zou practitioners aanmoedigen om in de details en nuances van het probleem te duiken dat een machine learning-algoritme wordt toegepast om op te lossen – en welke schadelijke vooringenomenheid in die beslissing kan worden gecodeerd.

Het boek beschrijft hoe een primaire verantwoordelijkheid bij het communiceren met het AI-team is om de resultaten die belangrijk zijn voor het bedrijf nauwkeurig te definiëren. Hoe vaak falen bedrijven volgens u in deze taak?

Ik zou zeggen dat in mijn ervaring de meeste bedrijven de resultaten niet definiëren of alleen op een losse of hoog niveau definiëren. In de details treden over de specifieke resultaten is een eenvoudige manier om het team vanaf het begin voor succes op te zetten.

Het boek spreekt over de belangrijkheid van het realiseren dat een AI-systeem geen “Set it and forget it”-systeem is. Kunt u dit kort bespreken?

Dit is de klassieke fout die de meeste bedrijven maken bij het lanceren van een nieuw ML-systeem in productie. De realiteit verandert – de tijd gaat voorbij, wat gisteren waar was (de trainingsgegevens) kan morgen niet waar zijn. Het hangt af van uw omstandigheden, maar in de meeste gevallen is het belangrijk om in staat te zijn te leren en aan te passen en betere beslissingen te nemen op basis van recentere informatie.

Machine learning-gebaseerde producten zijn in wezen beslissers. Om dit te vergelijken met een menselijk voorbeeld – het is alsof een scheidsrechter in een hoogspanningsvoetbalwedstrijd. Veel keer, als het een goed getrainde scheidsrechter met ervaring is, neemt de scheidsrechter een goede beslissing en gaat de wedstrijd door – maar soms neemt de scheidsrechter een slechte beslissing – of weet hij niet wat hij moet doen – en moet hij terugkijken naar de video – en een paar andere mensen vragen om een beslissing te nemen over een bepaalde actie. Op dezelfde manier hebben ML-producten feedback, training en soms niet genoeg vertrouwen nodig. Ze moeten back-upopties hebben om op terug te vallen, evenals nieuwe informatie om van te leren en om beter te worden in de loop van de tijd. Een goede scheidsrechter leert in de loop van de tijd en wordt beter in het nemen van beslissingen.

Kunt u spreken over de belangrijkheid van het creëren van een cross-functioneel team dat kan identificeren welke problemen het beste worden aangepakt met het gebruik van AI?

Machine learning-technologie is meestal het beste geschikt voor zeer moeilijke, specifieke problemen die niet met andere benaderingen worden opgelost. Elk moeilijk probleem – het vergt een team om succesvol te zijn. Wanneer bedrijven nieuw zijn in AI – is er vaak een vals verhaal dat een alleenstaande machine learning-wetenschapper, of zelfs een machine learning-team, het probleem alleen kunnen oplossen. Ik heb nooit gevonden dat dit waar is. Het vergt een team met verschillende achtergronden en benaderingen om een moeilijk probleem aan te pakken – en zeker om machine learning-technologie succesvol in productie te brengen.

Bedankt voor het geweldige interview, voor lezers (en vooral zakenexecutives) die meer willen leren, beveel ik aan dat ze het boek De echte wereld van AI: een praktische gids voor verantwoordelijke machine learning lezen.