Prof. Julia Stoyanovich, direktør for Center for Ansvarlig AI – Interviewserie

Julia Stoyanovich, er professor ved NYU's Tandon School of Engineering og stiftende direktør for Center for Responsible AI. Hun aflagde for nylig vidnesbyrd til NYC Councils komité for teknologi om et forslag til lovforslag som ville regulere brugen af ​​kunstig intelligens til ansættelses- og ansættelsesbeslutninger.

Du er den stiftende direktør for Center for Ansvarlig AI på NYU. Kan du dele nogle af de initiativer, som denne organisation har taget med os?

Jeg leder Center for Responsible AI (R/AI) på NYU sammen med Steven Kuyan. Steven og jeg har komplementære interesser og ekspertise. Jeg er akademiker, med en datalogisk baggrund og med en stærk interesse for brugsinspireret arbejde i krydsfeltet mellem datateknik, ansvarlig datavidenskab og politik. Steven er administrerende direktør for NYU Tandon Future Labs, et netværk af start-inkubatorer og acceleratorer, der allerede har haft en enorm økonomisk indvirkning i NYC. Vores vision for R/AI er at hjælpe med at gøre "ansvarlig AI" synonymt med "AI", gennem en kombination af anvendt forskning, offentlig uddannelse og engagement, og ved at hjælpe store og små virksomheder - især små - med at udvikle ansvarlig AI.

I de sidste par måneder har R/AI aktivt engageret sig i samtaler omkring ADS-overvågning (Automated Decision Systems). Vores tilgang er baseret på en kombination af uddannelsesaktiviteter og politisk engagement.

New York City overvejer en lovforslag, I 1894, der ville regulere brugen af ​​ADS ved ansættelse gennem en kombination af revision og offentlig offentliggørelse. R/AI indsendte offentlige kommentarer til lovforslaget, baseret på vores forskning og på indsigter, vi indsamlede fra jobsøgende gennem flere offentligt engagement aktiviteter.

Vi samarbejdede også med GovLab på NYU og med Institut for etik i kunstig intelligens ved det tekniske universitet i München på et gratis online kursus kaldet "AI Ethics: Global Perspectives" der blev lanceret tidligere på måneden.

Et andet nyligt R/AI-projekt, der har fået en del opmærksomhed, er vores "Data, Responsibly" tegneserieserie. Seriens første bind hedder "Mirror, Mirror", den er tilgængelig på engelsk, spansk og fransk og tilgængelig med en skærmlæser på alle tre sprog. Tegneserien fik Månedens innovation pris fra Metro Lab Network og GovTech, og blev dækket af Toronto Star, Blandt andre.

Hvad er nogle af de nuværende eller potentielle problemer med AI-bias for ansættelses- og ansættelsesbeslutninger?

Dette er et komplekst spørgsmål, der kræver, at vi først er klar over, hvad vi mener med "bias". Det vigtigste at bemærke er, at automatiserede ansættelsessystemer er "prædiktiv analyse" - de forudsiger fremtiden baseret på fortiden. Fortiden er repræsenteret af historiske data om personer, der blev ansat af virksomheden, og om hvordan disse personer klarede sig. Systemet "trænes" på disse data, hvilket betyder, at det identificerer statistiske mønstre og bruger disse til at lave forudsigelser. Disse statistiske mønstre er "magien" ved AI, det er det, forudsigende modeller er baseret på. Det er klart, men vigtigt, at historiske data, hvorfra disse mønstre blev udvundet, er tavse om personer, der ikke blev ansat, fordi vi simpelthen ikke ved, hvordan de ville have klaret sig på det job, de ikke fik. Og det er her, bias spiller ind. Hvis vi systematisk ansætter flere individer fra specifikke demografiske og socioøkonomiske grupper, vil medlemskab af disse grupper, og de karakteristika, der følger med det gruppemedlemskab, blive en del af den prædiktive model. For eksempel, hvis vi kun nogensinde ser kandidater fra topuniversiteter blive ansat til ledende roller, så kan systemet ikke lære, at folk, der gik på en anden skole, også kunne klare sig godt. Det er let at se et lignende problem for køn, race og handicapstatus.

Bias i AI er meget bredere end blot bias i dataene. Det opstår, når vi forsøger at bruge teknologi, hvor en teknisk løsning simpelthen er uhensigtsmæssig, eller når vi sætter de forkerte mål for AI – ofte fordi vi ikke har et forskelligartet sæt stemmer ved designbordet, eller når vi opgiver vores agentur i menneskelige – AI-interaktioner, efter at AI er implementeret. Hver af disse grunde til bias fortjener sin egen diskussion, der sandsynligvis vil løbe længere, end pladsen i denne artikel tillader. Og så, for at forblive fokuseret, lad mig vende tilbage til bias i dataene.

Når jeg forklarer bias i dataene, kan jeg godt lide at bruge spejlreflektionsmetaforen. Data er et billede af verden, dens spejlrefleksion. Når vi tænker på bias i dataene, udspørger vi denne refleksion. En fortolkning af "bias i dataene" er, at refleksionen er forvrænget - vores spejl underrepræsenterer eller overrepræsenterer nogle dele af verden eller på anden måde forvrænger aflæsningerne. En anden fortolkning af "bias i dataene" er, at selvom refleksionen var 100 % trofast, ville den stadig være en afspejling af verden, som den er i dag, og ikke af, hvordan den kunne eller burde være. Det er vigtigt, at det ikke er op til data eller en algoritme at fortælle os, om det er en perfekt afspejling af en brudt verden, eller en brudt afspejling af en perfekt verden, eller om disse forvrængninger sammensættes. Det er op til mennesker – enkeltpersoner, grupper, samfundet som helhed – at komme til konsensus om, hvorvidt vi har det ok med verden, som den er, eller, hvis ikke, hvordan vi skal gøre for at forbedre den.

Tilbage til prædiktiv analyse: Jo stærkere ulighederne er i dataene, som en afspejling af fortiden, desto mere sandsynligt vil de blive opfanget af de prædiktive modeller og at blive replikeret – og endda forværret – i fremtiden.

Hvis vores mål er at forbedre vores ansættelsespraksis med et øje på retfærdighed og mangfoldighed, så kan vi simpelthen ikke outsource dette job til maskiner. Vi er nødt til at gøre det hårde arbejde med at identificere de sande årsager til skævhed i ansættelser og ansættelser frontalt og forhandle en socio-juridisk-teknisk løsning med input fra alle interessenter. Teknologi har bestemt en rolle at spille i at hjælpe os med at forbedre status quo: den kan hjælpe os med at forblive ærlige omkring vores mål og resultater. Men at lade som om at de-biasing data eller den forudsigende analyse vil løse de dybtliggende problemer med diskrimination ved ansættelser, er i bedste fald naivt.

Du har for nylig afgivet vidnesbyrd til NYC Council's Committee on Technology, en slående kommentar var som følger: "Vi finder, at både annoncørens budget og indholdet af annoncen hver især bidrager væsentligt til skævheden i Facebooks annoncelevering. Kritisk set observerer vi betydelige skævheder i leveringen langs køns- og racemæssige linjer for 'rigtige' annoncer for beskæftigelse og boligmuligheder på trods af neutrale målretningsparametre." Hvad er nogle løsninger for at undgå denne form for skævhed?

Denne kommentar, jeg lavede, er baseret på en genial papir af Ali et al. kaldet "Diskriminering gennem optimering: Hvordan Facebooks annoncelevering kan føre til skæve resultater." Forfatterne finder, at annonceleveringsmekanismen selv er ansvarlig for at indføre og forstærke diskriminerende effekter. Det er overflødigt at sige, at denne konstatering er meget problematisk, især da den udspiller sig på baggrund af uigennemsigtighed på Facebook og andre platforme - Google og Twitter. Byrden ligger på platformene for hurtigt og overbevisende at demonstrere, at de kan herske i diskriminerende effekter som dem fundet af Ali et al.. Ud over det kan jeg ikke finde en begrundelse for fortsat brug af personlig annoncemålretning i boliger, beskæftigelse og andre domæner, hvor menneskers liv og levebrød er på spil.

Hvordan kan dataforskere og AI-udviklere bedst forhindre andre utilsigtede skævheder i at snige sig ind i deres systemer?

 Det er ikke helt op til dataforskere, eller til enhver interessentgruppe, at sikre, at tekniske systemer er tilpasset samfundsmæssige værdier. Men dataforskere er faktisk i spidsen for denne kamp. Som datalog selv kan jeg bevidne det attraktive ved at tro, at de systemer, vi designer, er "objektive", "optimale" eller "korrekte". Hvor succesfuld datalogi og datavidenskab er - hvor indflydelsesrig og hvor bredt brugt - er både en velsignelse og en forbandelse. Vi teknologer har ikke længere den luksus at gemme os bag de uopnåelige mål om objektivitet og korrekthed. Byrden er på os at tænke nøje over vores plads i verden og at uddanne os selv om de sociale og politiske processer, vi påvirker. Samfundet har ikke råd til, at vi bevæger os hurtigt og ødelægger tingene, vi må sætte tempoet ned og reflektere.

Det er symbolsk, at filosofi engang var omdrejningspunktet i al videnskabelig og samfundsmæssig diskurs, så kom matematikken og derefter datalogien. Nu, hvor datavidenskab er i centrum, er vi kommet fuld cirkel og har brug for at komme tilbage til vores filosofiske rødder.

En anden anbefaling, du har lavet, er at oprette en informeret offentlighed. Hvordan informerer vi en offentlighed, der måske ikke er bekendt med AI, eller forstår problemerne forbundet med AI-bias?

Der er et dybt behov for at uddanne ikke-tekniske mennesker om teknologi og for at uddanne tekniske folk om dens sociale implikationer. At nå begge disse mål vil kræve et stærkt engagement og betydelige investeringer fra vores regerings side. Vi er nødt til at udvikle materialer og pædagogiske metoder til alle disse grupper og finde måder at tilskynde til deltagelse. Og vi kan ikke overlade dette arbejde til kommercielle enheder. Den Europæiske Union fører an, og flere regeringer støtter grundlæggende AI-uddannelse af sine borgere, og inkorporering af AI-læseplaner i gymnasieprogrammer. Vi hos R/AI arbejder på et offentligt tilgængeligt og bredt tilgængeligt kursus, der sigter mod at skabe en engageret offentlighed, der vil hjælpe med at gøre AI til det, VI ønsker det skal være. Vi er meget begejstrede for dette arbejde, følg venligst med for mere information i den kommende måned.

Tak for de gode detaljerede svar, læsere, der ønsker at lære mere, bør besøge Center for Ansvarlig AI.