Prof. Julia Stoyanovich, direktør for Center for Responsible AI – Interviewserie

Julia Stoyanovich, er professor ved NYU’s Tandon School of Engineering og stiftende direktør for Center for Responsible AI. Hun har nylig aflagt vidneudsagn for New York City Rådets Teknologikomité om en foreslået lov, der vil regulere brugen af AI til rekruttering og beslutninger om ansættelse.

De er stiftende direktør for Center for Responsible AI på NYU. Kan du dele nogle af de initiativer, der er iværksat af denne organisation?

Jeg er meddirektør for Center for Responsible AI (R/AI) på NYU med Steven Kuyan. Steven og jeg har komplementære interesser og ekspertise. Jeg er akademiker med en baggrund i datalogi og en stærk interesse for bruginspireret arbejde på tværs af dataingeniørvidenskab, ansvarlig datavidenskab og politik. Steven er direktør for NYU Tandon Future Labs, et netværk af startup-inkubatorer og acceleratorer, der allerede har haft en betydelig økonomisk impact i New York City. Vores vision for R/AI er at gøre “ansvarlig AI” synonymt med “AI” gennem en kombination af anvendt forskning, offentlig uddannelse og engagement og ved at hjælpe virksomheder, store som små, især små, med at udvikle ansvarlig AI.

I de sidste måneder har R/AI aktivt deltaget i samtaler om ADS (Automated Decision Systems)-tilsyn. Vores tilgang er baseret på en kombination af uddannelsesaktiviteter og politisk engagement.

New York City overvejer en foreslået lov, Int 1894, der vil regulere brugen af ADS i rekruttering gennem en kombination af revision og offentlig afsløring. R/AI har indgivet offentlige kommentarer til loven baseret på vores forskning og på indsigt, vi har samlet fra jobkandidater gennem flere offentlige engagement-aktiviteter.

Vi har også samarbejdet med The GovLab på NYU og med Institut for Etik i AI på Den Tekniske Universitet i München på en gratis online-kurs kaldet “AI-Etik: Globale Perspektiver”, der blev lanceret tidligere på måneden.

Et andet nyligt projekt fra R/AI, der har fået megen opmærksomhed, er vores “Data, Ansvarligt”-tegneserie. Den første udgave af serien hedder “Spejl, Spejl”, den er tilgængelig på engelsk, spansk og fransk og kan læses med en skærmoplæser på alle tre sprog. Tegneserien fik “Innovation of the Month”-prisen fra Metro Lab Network og GovTech og blev omtalt i Toronto Star, blandt andre.

Hvad er nogle af de nuværende eller potentielle problemer med AI-forvrængning for ansættelses- og rekrutteringsbeslutninger?

Dette er et komplekst spørgsmål, der kræver, at vi først er klare over, hvad vi mener med “forvrængning”. Det vigtigste er, at automatiserede rekrutteringssystemer er “prædiktiv analyse” – de forudsiger fremtiden på baggrund af fortiden. Fortiden repræsenteres af historiske data om personer, der er ansat af virksomheden, og om, hvordan disse personer har udrettet. Systemet “trænes” på disse data, hvilket betyder, at det identificerer statistiske mønstre og bruger disse til at gøre forudsigelser. Disse statistiske mønstre er “magien” i AI, det er, hvad prædiktive modeller er baseret på. Det er tydeligt, men vigtigt, at de historiske data, som disse mønstre er udledt fra, er tavse om personer, der ikke blev ansat, fordi vi ikke ved, hvordan de ville have klaret sig på jobbet, de ikke fik. Og det er her, forvrængning kommer ind i billedet. Hvis vi systematisk ansætter flere personer fra bestemte demografiske og socioøkonomiske grupper, så bliver medlemskab i disse grupper og de karakteristika, der følger med dette medlemskab, en del af den prædiktive model. For eksempel, hvis vi kun ser på kandidater fra topuniversiteter, der bliver ansat til ledende stillinger, så kan systemet ikke lære, at personer, der gik på en anden skole, også kan klare sig godt. Det er let at se et lignende problem for køn, race og handicapsstatus.

Forvrængning i AI er bredere end bare forvrængning i data. Det opstår, når vi forsøger at bruge teknologi, hvor en teknisk løsning simpelthen er upassende, eller når vi sætter de forkerte mål for AI – ofte fordi vi ikke har en divers gruppe af stemmer ved designbordet eller når vi giver op vores agenti i menneske-AI-interaktioner efter, at AI er blevet implementeret. Hver af disse årsager til forvrængning fortjener sin egen diskussion, der sandsynligvis vil løbe længere end det, der er plads til i denne artikel. Og så, for at blive fokuseret, lad mig vende tilbage til forvrængning i data.

Når jeg forklarer forvrængning i data, bruger jeg metaforen om spejlbilledet. Data er et billede af verden, dets spejlbillede. Når vi tænker over forvrængning i data, afhører vi dette spejlbillede. En fortolkning af “forvrængning i data” er, at spejlbilledet er forvrænget – vores spejl underrepræsenterer eller overrepræsenterer visse dele af verden eller forvrænger læsningerne på anden vis. En anden fortolkning af “forvrængning i data” er, at selv hvis spejlbilledet var 100% trofast, ville det stadig være et billede af verden, som den er i dag, og ikke af, hvordan den kunne eller burde være. Det er vigtigt, at det ikke er op til data eller en algoritme at fortælle os, om det er et perfekt billede af en fejlbehæftet verden eller et fejlbehæftet billede af en perfekt verden eller om disse forvrængninger forstærker hinanden. Det er op til mennesker – enkeltindivider, grupper, samfundet i bred forstand – at nå til enighed om, hvorvidt vi er tilfredse med verden, som den er, eller, hvis ikke, hvordan vi skal gå til værks for at forbedre den.

Tilbage til prædiktiv analyse: Jo større ulighederne er i data, som et billede af fortiden, jo mere sandsynligt er det, at de vil blive opfanget af de prædiktive modeller og blive gentaget – og endda forværret – i fremtiden.

Hvis vores mål er at forbedre vores rekrutteringspraksis med henblik på lighed og diversitet, så kan vi ikke uddelegere dette arbejde til maskiner. Vi må gøre det hårdt arbejde at identificere de virkelige årsager til forvrængning i rekruttering og ansættelse og forhandle en socio-juridisk-teknisk løsning med input fra alle interessenter. Teknologi har bestemt en rol at spille i at hjælpe os med at forbedre status quo’en: Den kan hjælpe os med at blive ærlige over for vores mål og resultater. Men at forestille sig, at af-forvrængning af data eller den prædiktive analyse vil løse de dybt rodfæstede problemer med diskrimination i rekruttering, er naivt at bedste.

De har nyligt aflagt vidneudsagn for New York City Rådets Teknologikomité, en bemærkelsesværdig kommentar var følgende: “Vi finder, at både annonsørens budget og indholdet af annoncen bidrager betydeligt til skævheden i Facebooks annoncering. Kritisk set observerer vi en betydelig skævhed i levering langs køns- og racemæssige linjer for ‘ægte’ annoncer for ansættelses- og boligmuligheder, på trods af neutrale målparametre.” Hvad er nogle løsninger for at undgå denne type forvrængning?

Denne kommentar er baseret på en fremragende artikel af Ali et al. kaldet “Diskrimination gennem optimering: Hvordan Facebooks annonceringslevering kan føre til fordømte resultater.” Forfatterne finder, at annonceringsmekanismen i sig selv er ansvarlig for at indføre og forstærke diskriminerende effekter. Det er naturligvis en højst problematisk opdagelse, især når den spiller ud mod baggrunden af mangel på gennemsigtighed på Facebook (META ) og andre platforme – Google (GOOGL ) og Twitter. Byrden er på platformene til at demonstrere, at de kan indføre diskriminerende effekter, såsom dem, der er fundet af Ali et al. Kort sagt kan jeg ikke finde en begrundelse for fortsat brug af personlig annoncering i bolig, ansættelse og andre områder, hvor menneskers liv og eksistens er på spil.

Hvordan kan datavidenskabsfolk og AI-udviklere bedst forhindre andre ufrivillige forvrængninger i deres systemer?

 Det er ikke helt op til datavidenskabsfolk eller nogen enkelt interessegruppe at sikre, at tekniske systemer er i overensstemmelse med samfundets værdier. Men datavidenskabsfolk er, i høj grad, i frontlinjen i denne kamp. Som datalog selv kan jeg bevidne, hvor tiltrækkende det er at tro, at de systemer, vi designer, er “objektive”, “optimale” eller “korrekte”. Hvordan succesfuld datalogi og datavidenskab er – hvor indflydelsesrigt og hvor bredt brugt – er både en velsignelse og en forbandelse. Vi teknologer har ikke længere luksusen af at gemme os bag de uopnåelige mål om objektivitet og korrekthed. Byrden er på os til at tænke omhyggeligt over vores plads i verden og til at uddanne os selv om de sociale og politiske processer, vi påvirker. Samfundet kan ikke klare, at vi bevæger os hurtigt og ødelægger ting, vi må slowe ned og reflektere.

Det er symbolisk, at filosofi engang var centrum for al videnskabelig og samfundsmæssig diskussion, derefter kom matematik, derefter datalogi. Nu, med datavidenskab i centrum, er vi kommet fuldkreds og har brug for at genoprette forbindelsen til vores filosofiske rødder.

En anden anbefaling, du har fremført, er at skabe en informeret offentlighed. Hvordan informerer vi en offentlighed, der måske ikke er bekendt med AI eller forstår problemerne i forbindelse med AI-forvrængning?

Der er en desperat behov for at uddanne ikke-tekniske personer om teknologi og for at uddanne tekniske personer om dens samfundsmæssige implikationer. At opnå begge disse mål vil kræve en stærk forpligtelse og en betydelig investering fra vores regering. Vi har brug for at udvikle materialer og uddannelsesmetoder til alle disse grupper og for at finde måder at motivere deltagelse på. Og vi kan ikke overlade dette arbejde til kommercielle enheder. Den Europæiske Union er i spidsen for dette, med flere regeringer, der tilbyder støtte til grundlæggende AI-uddannelse for deres borgere og inkorporerer AI-kurser i high school-programmer. Vi på R/AI arbejder på en offentligt tilgængelig og bredt tilgængelig kursus, der sigter på at skabe en engageret offentlighed, der kan hjælpe med at gøre AI til, hvad VI vil have det til at være. Vi er meget begejstrede for dette arbejde, venligst følg med for mere information i den kommende måned.

Tak for de detaljerede svar, læsere, der ønsker at lære mere, skal besøge Center for Responsible AI.