Prof. Julia Stoyanovich, direktør for Center for Responsible AI – Intervju-serie

Julia Stoyanovich, er professor ved NYU’s Tandon School of Engineering og grunnleggende direktør for Center for Responsible AI. Hun leverte nylig vitneforklaring til New York City-rådets komité for teknologi om en foreslått lovbekjentgjøring som ville regulere bruken av AI for ansættelses- og arbeidsbeslutninger.

Du er grunnleggende direktør for Center for Responsible AI ved NYU. Kan du dele noen av initiativene som er gjennomført av denne organisasjonen?

Jeg koordinerer Center for Responsible AI (R/AI) ved NYU med Steven Kuyan. Steven og jeg har komplementære interesser og ekspertise. Jeg er en akademiker med en bakgrunn i datavitenskap og en sterk interesse for brukinspirert arbeid på grensen mellom dataingeniørvitenskap, ansvarlig datavitenskap og politikk. Steven er direktør for NYU Tandon Future Labs, et nettverk av startup-inkubatorer og akseleratorer som allerede har hatt en betydelig økonomisk innvirkning i New York City. Vår visjon for R/AI er å gjøre “ansvarlig AI” synonymt med “AI”, gjennom en kombinasjon av anvendt forskning, offentlig utdanning og engasjement, og ved å hjelpe selskaper store og små – spesielt små – med å utvikle ansvarlig AI.

I de siste månedene har R/AI aktivt engasjert i samtaler om ADS (Automated Decision Systems)-tilsyn. Vår tilnærming er basert på en kombinasjon av utdanningsaktiviteter og politisk engasjement.

New York City vurderer en foreslått lovbekjentgjøring, Int 1894, som ville regulere bruken av ADS i ansættelse gjennom en kombinasjon av auditing og offentlig åpenhet. R/AI leverte offentlige kommentarer på lovbekjentgjøringen, basert på vår forskning og på innsikt vi samlet inn fra jobbsøkere gjennom flere offentlige engasjementsaktiviteter.

Vi samarbeidet også med The GovLab ved NYU og med Institute for Ethics in AI at the Technical University of Munich på en gratis online-kurs kalt “AI Ethics: Global Perspectives” som ble lansert tidligere denne måneden.

Et annet nylig prosjekt fra R/AI som har fått mye oppmerksomhet er vår “Data, Responsibly”-tegneserie. Den første utgaven av serien heter “Mirror, Mirror”, og er tilgjengelig på engelsk, spansk og fransk, og kan leses med en skjermleser på alle tre språk. Tegneserien fikk “Innovation of the Month”-prisen fra Metro Lab Network og GovTech, og ble omtalt i Toronto Star, blant andre.

Hva er noen av de nåværende eller potensielle problemene med AI-forvrengning for ansættelses- og arbeidsbeslutninger?

Dette er et komplekst spørsmål som krever at vi først er klare på hva vi mener med “forvrengning”. Det viktigste å merke seg er at automatiserte ansættelsessystemer er “predictive analytics” – de forutser fremtiden basert på fortiden. Fortiden er representert av historiske data om personer som ble ansatt av selskapet, og om hvordan disse personene fungerte. Systemet er deretter “trent” på disse dataene, det vil si at det identifiserer statistiske mønster og bruker disse til å gjøre forutsigelser. Disse statistiske mønstrene er “magien” i AI, det er hva predictive modeller er basert på. Det er tydelig, men viktig, at de historiske dataene som disse mønstrene ble funnet i er stille om personer som ikke ble ansatt fordi vi bare ikke vet hvordan de ville ha fungert på jobben de ikke fikk. Og det er her forvrengning kommer inn i bildet. Hvis vi systematisk ansetter flere personer fra bestemte demografiske og sosioøkonomiske grupper, så vil medlemskap i disse gruppene og de karakteristikkene som følger med det bli en del av den predictive modellen. For eksempel, hvis vi bare ser på at studenter fra toppuniversitetene blir ansatt for ledende roller, så kan systemet ikke lære at personer som gikk på en annen skole også kan fungere godt. Det er lett å se et lignende problem for kjønn, rase og funksjonsnedsettelse.

Forvrengning i AI er mye bredere enn bare forvrengning i dataene. Det oppstår når vi prøver å bruke teknologi der en teknisk løsning bare er upassende, eller når vi setter feil mål for AI-en – ofte fordi vi ikke har en divers gruppe stemmer ved designbordet, eller når vi gir opp vår handleevne i menneske-AI-interaksjoner etter at AI-en er deployert. Hver av disse årsakene til forvrengning fortjener sin egen diskusjon som sannsynligvis vil vare lengre enn plassen i denne artikkelen tillater. Og så, for å holde fokus, lar jeg meg returnere til forvrengning i dataene.

Når jeg forklarer forvrengning i dataene, liker jeg å bruke metaforer om speilrefleksjon. Data er et bilde av verden, dens speilrefleksjon. Når vi tenker på forvrengning i dataene, spør vi etter denne refleksjonen. En tolkning av “forvrengning i dataene” er at refleksjonen er forvrengt – vårt speil underrepresenterer eller overrepresenterer noen deler av verden, eller forvrenger lesningene på en annen måte. En annen tolkning av “forvrengning i dataene” er at, selv om refleksjonen var 100% trofast, ville den likevel være en refleksjon av verden slik den er i dag, og ikke av hvordan den kunne eller burde være. Det er viktig å merke seg at det ikke er opp til data eller en algoritme å fortelle oss om det er en perfekt refleksjon av en feil verden, eller en feil refleksjon av en perfekt verden, eller om disse forvrengningene kompenserer hverandre. Det er opp til mennesker – enkeltindivider, grupper, samfunnet som helhet – å komme til enighet om om vi er ok med verden slik den er, eller, hvis ikke, hvordan vi skal gå om å forbedre den.

Tilbake til predictive analytics: Jo større ulikhetene er i dataene, som en refleksjon av fortiden, jo mer sannsynlig er det at de vil bli plukket opp av de predictive modellene, og å bli replisert – og til og med forverret – i fremtiden.

Hvis vårt mål er å forbedre våre ansættelsespraksiser med et øye på likestilling og mangfold, så kan vi ikke utkontrakttere denne jobben til maskiner. Vi må gjøre det harde arbeidet med å identifisere de virkelige årsakene til forvrengning i ansættelse og arbeid, og med å forhandle en socio-rettslig-teknisk løsning med innspill fra alle interessenter. Teknologi har absolutt en rolle å spille i å hjelpe oss å forbedre på status quo-en: den kan hjelpe oss å holde oss ærlige om våre mål og resultater. Men å påstå at de-biasing av dataene eller den predictive analytikk vil løse de dypt liggende problemene med diskriminering i ansættelse er naivt på beste.

Du leverte nylig vitneforklaring til New York City-rådets komité for teknologi, en merkelig kommentar var følgende: “Vi finner at både annonsørens budsjett og innholdet av annonsen hver bidrar betydelig til skjevheten i Facebooks annonsedistribusjon. Kritisk, observerer vi en betydelig skjevhet i distribusjon langs kjønn og rase for ‘ekte’ annonser for arbeids- og boligmuligheter til tross for nøytrale målparametre.” Hva er noen løsninger for å unngå denne typen forvrengning?

Denne kommentaren jeg gjorde er basert på en briljant artikkel av Ali et al. kalt “Diskriminering gjennom optimalisering: Hvordan Facebooks annonsedistribusjon kan føre til diskriminerende resultater.” Forfatterne finner at annonsedistribusjonsmekanismen i seg selv er ansvarlig for å introdusere og forsterke diskriminerende effekter. Det er åpenbart at denne oppdagelsen er svært problematisk, spesielt når den spiller ut mot bakgrunnen av uklarhet på Facebook (META ) og andre plattformer – Google (GOOGL ) og Twitter. Byrden ligger på plattformene til å demonstrere at de kan begrense diskriminerende effekter som de funnet av Ali et al. Kort sagt, jeg kan ikke finne en begrunnelse for fortsatt bruk av personalisert annonsmålsetting i arbeid, bolig og andre domener hvor menneskers liv og levebrød er på spill.

Hvordan kan datavitenskapsmenn og AI-utviklere best forebygge andre uforvarende forvrengninger fra å klatre inn i deres systemer?

 Det er ikke helt opp til datavitenskapsmenn, eller noen enkelt interessegruppe, å sikre at tekniske systemer er i tråd med samfunnets verdier. Men datavitenskapsmenn er, i virkeligheden, i frontlinjen i denne kampen. Som en datavitenskapsmann selv, kan jeg vitne om at det er attraktivt å tenke at systemene vi designer er “objektive”, “optimale” eller “korrekte”. Hvor suksessfull datavitenskap og datavitenskap er – hvor innflytelsesrike og hvor bredt brukt – er både en velsignelse og en forbandelse. Vi teknologer har ikke lenger luksusen av å skjule oss bak uoppnåelige mål om objektivitet og korrekthet. Byrden ligger på oss til å tenke nøye på vår plass i verden, og til å utdanne oss selv på de sosiale og politiske prosesser vi påvirker. Samfunnet kan ikke tåle at vi beveger oss raskt og bryter ting, vi må sakke ned og reflektere.

Det er symbolsk at filosofi en gang var midtpunktet for all vitenskapelig og samfunnsmessig diskusjon, så kom matematikk, så datavitenskap. Nå, med datavitenskap på scenen, har vi kommet fullstendig tilbake og er i behov av å koble tilbake med våre filosofiske røtter.

En annen anbefaling du gjorde var å skape en informert offentlighet. Hvordan kan vi informere en offentlighet som kanskje ikke er kjent med AI, eller forstår problemene forbundet med AI-forvrengning?

Det er en kritisk behov for å utdanne ikke-teknske personer om teknologi, og å utdanne tekniske personer om dens sosiale implikasjoner. Å oppnå begge disse målene vil kreve en sterk forpliktelse og betydelig investering fra vår regjering. Vi må utvikle materialer og utdanningsmetodologier for alle disse gruppene, og finne måter å motivere deltakelse. Og vi kan ikke la dette arbeidet bli gjort av kommersielle enheter. Den europeiske unionen leder veien, med flere regjeringer som gir støtte til grunnleggende AI-utdanning av sine borgere, og inkorporerer AI-kurricula i high school-programmer. Vi i R/AI arbeider på en offentlig tilgjengelig og bredt tilgjengelig kurs, med mål om å skape en engasjert offentlighet som vil hjelpe å gjøre AI til det vi ønsker det skal være. Vi er svært glade for dette arbeidet, vennligst følg med for mer informasjon i den kommende måneden.

Takk for de detaljerte svarene, lesere som ønsker å lære mer bør besøke Center for Responsible AI.