Prof. Julia Stoyanovich, chef för Center for Responsible AI – Intervjuserie

Julia Stoyanovich, är professor vid NYU:s Tandon School of Engineering och grundande chef för Center for Responsible AI. Hon har nyligen avgett vittnesmål till New York City-rådets teknikutskott om ett föreslaget lagförslag som skulle reglera användningen av AI för anställnings- och anställningsbeslut.

Du är grundande chef för Center for Responsible AI vid NYU. Kan du berätta för oss om några av de initiativ som denna organisation har tagit?

Jag är medchef för Center for Responsible AI (R/AI) vid NYU tillsammans med Steven Kuyan. Steven och jag har kompletterande intressen och expertis. Jag är akademiker med en datavetenskaplig bakgrund och ett starkt intresse för användningsinspirerat arbete vid skärningspunkten mellan dataingenjörskap, ansvarsfull datavetenskap och politik. Steven är verkställande direktör för NYU Tandon Future Labs, ett nätverk av startup-incubatorer och acceleratorer som redan har haft en betydande ekonomisk påverkan i New York City. Vår vision för R/AI är att göra “ansvarsfull AI” synonymt med “AI”, genom en kombination av tillämpad forskning, allmän utbildning och engagemang, och genom att hjälpa företag, både stora och små, att utveckla ansvarsfull AI.

Under de senaste månaderna har R/AI aktivt engagerat sig i samtal om ADS (Automated Decision Systems)-övervakning. Vår metod bygger på en kombination av utbildningsaktiviteter och politiskt engagemang.

New York City överväger ett föreslaget lagförslag, Int 1894, som skulle reglera användningen av ADS i anställning genom en kombination av granskning och offentlig redovisning. R/AI har lämnat in allmänna kommentarer om lagförslaget, baserat på vår forskning och på insikter vi har samlat in från jobbsökare genom flera allmänna engagemangsaktiviteter.

Vi har också samarbetat med The GovLab vid NYU och med Institute for Ethics in AI at the Technical University of Munich på en gratis onlinekurs som heter “AI Ethics: Global Perspectives” som lanserades tidigare denna månad.

En annan nylig projekt från R/AI som har fått mycket uppmärksamhet är vår “Data, Responsibly”-serietidning. Den första volymen i serien heter “Mirror, Mirror”, den är tillgänglig på engelska, spanska och franska, och kan läsas med en skärmläsare på alla tre språken. Tidningen fick “Innovation of the Month”-priset från Metro Lab Network och GovTech, och har rapporterats om i Toronto Star, bland andra.

Vilka är några av de nuvarande eller potentiella problemen med AI-fördomar för anställnings- och anställningsbeslut?

Detta är en komplex fråga som kräver att vi först är tydliga med vad vi menar med “fördom”. Den viktigaste aspekten att notera är att automatiserade anställningssystem är “prediktiv analys” – de förutsäger framtiden baserat på det förflutna. Det förflutna representeras av historiska data om individer som anställdes av företaget, och om hur dessa individer presterade. Systemet är sedan “tränat” på dessa data, vilket innebär att det identifierar statistiska mönster och använder dessa för att göra förutsägelser. Dessa statistiska mönster är “magin” i AI, det är vad prediktiva modeller bygger på. Det är tydligt, men viktigt, att de historiska data som dessa mönster hämtades från är tysta om individer som inte anställdes eftersom vi helt enkelt inte vet hur de skulle ha presterat på jobbet de inte fick. Och det är här fördomen kommer in i bilden. Om vi systematiskt anställer fler individer från specifika demografiska och socioekonomiska grupper, kommer medlemskap i dessa grupper, och de egenskaper som följer med det, att bli en del av den prediktiva modellen. Till exempel, om vi bara ser att akademiker från toppuniversitet anställs för chefsroller, kan systemet inte lära sig att personer som gick på en annan skola också kan göra bra ifrån sig. Det är lätt att se ett liknande problem för kön, ras och funktionshinder.

Fördom i AI är mycket bredare än bara fördom i data. Den uppstår när vi försöker använda teknologi där en teknisk lösning är helt olämplig, eller när vi sätter fel mål för AI – ofta för att vi inte har en diversifierad grupp av röster vid designbordet, eller när vi ger upp vår handlingsfrihet i mänsklig-AI-interaktioner efter att AI har distribuerats. Var och en av dessa orsaker till fördom förtjänar sin egen diskussion som sannolikt kommer att pågå längre än utrymmet i den här artikeln tillåter. Och så, för att hålla fokus, låt mig återgå till fördom i data.

När jag förklarar fördom i data, använder jag metaforen om spegelreflektion. Data är en bild av världen, dess spegelreflektion. När vi tänker på fördom i data, ifrågasätter vi denna reflektion. En tolkning av “fördom i data” är att reflektionen är förvriden – vår spegel underrepresenterar eller överrepresenterar vissa delar av världen, eller förvränger läsningarna på annat sätt. En annan tolkning av “fördom i data” är att, även om reflektionen var 100% trogen, skulle den fortfarande vara en reflektion av världen som den är idag, och inte av hur den kunde eller borde vara. Det är viktigt att det inte är upp till data eller till en algoritm att berätta för oss om det är en perfekt reflektion av en trasig värld, eller en trasig reflektion av en perfekt värld, eller om dessa förvrängningar förstärker varandra. Det är upp till människor – individer, grupper, samhället i stort – att komma överens om om vi är OK med världen som den är, eller, om inte, hur vi ska gå tillväga för att förbättra den.

Tillbaka till prediktiv analys: Ju större ojämlikheterna är i data, som en reflektion av det förflutna, desto mer sannolikt är det att de kommer att plockas upp av de prediktiva modellerna, och att de kommer att replikeras – och till och med förvärras – i framtiden.

Om vårt mål är att förbättra våra anställningspraxis med fokus på jämlikhet och mångfald, kan vi inte outsourca det jobbet till maskiner. Vi måste göra det hårda arbetet med att identifiera de verkliga orsakerna till fördom i anställning och förhandla en socio-legal-teknisk lösning med input från alla intressenter. Teknologi har absolut en roll att spela i att hjälpa oss att förbättra på status quo, men att låtsas att avfördomsdata eller prediktiv analys kommer att lösa de djupgående problemen med diskriminering i anställning är naivt till det bästa.

Du avlade nyligen vittnesmål inför New York City-rådets teknikutskott, en anmärkningsvärd kommentar var följande: “Vi finner att både annonsörens budget och innehållet i annonsen bidrar betydligt till snedvridningen av Facebooks annonsleverans. Kritiskt sett observerar vi en betydande snedvridning i leverans längs kön och raslinjer för ‘riktiga’ annonser för anställnings- och bostadsmöjligheter trots neutrala målparametrar.” Vilka är några lösningar för att undvika den här typen av fördom?

Denna kommentar jag gjorde bygger på en briljant artikel av Ali et al. som heter “Diskriminering genom optimering: Hur Facebooks annonsleverans kan leda till partiska resultat.” Författarna finner att annonsleveransmekanismen i sig är ansvarig för att införa och förstärka diskriminerande effekter. Det är givetvis ett mycket problematiskt resultat, särskilt som det utspelar sig mot bakgrund av bristande transparens på Facebook (META ) och andra plattformar – Google (GOOGL ) och Twitter. Bördan ligger på plattformarna att brådskande och övertygande visa att de kan begränsa diskriminerande effekter som de som Ali et al. fann. Kort och gott kan jag inte hitta någon motivering för fortsatt användning av personlig annonsriktning i bostäder, anställning och andra områden där människors liv och försörjning står på spel.

Hur kan datavetare och AI-utvecklare bäst förhindra att andra oavsiktliga fördomar smyger sig in i deras system?

 Det är inte helt och hållet upp till datavetare, eller till någon annan intressegrupp, att se till att tekniska system är anpassade till samhällets värderingar. Men datavetare är, i själva verket, i frontlinjen i denna strid. Som datavetare kan jag intyga att det är attraktivt att tro att de system vi designar är “objektiva”, “optimala” eller “korrekta”. Hur framgångsrika datavetenskap och AI är – hur inflytelserika och hur brett använda de är – är både en välsignelse och en förbannelse. Vi tekniker har inte längre lyxen att gömma oss bakom de ouppnåeliga målen om objektivitet och korrekthet. Bördan ligger på oss att tänka noga på vår plats i världen och att utbilda oss om de sociala och politiska processer vi påverkar. Samhället kan inte ha oss som rör oss snabbt och bryter saker, vi måste sakta ner och reflektera.

Det är symboliskt att filosofi en gång var navet i all vetenskaplig och samhällelig diskurs, sedan kom matematik, sedan datavetenskap. Nu, med datavetenskap på scenen, har vi kommit fulla varv och behöver återansluta till våra filosofiska rötter.

En annan rekommendation du gjorde var att skapa en informerad allmänhet. Hur kan vi informera en allmänhet som kanske inte är bekant med AI eller förstår de problem som är förknippade med AI-fördom?

Det finns ett starkt behov av att utbilda icke-tekniska personer om teknologi, och att utbilda tekniska personer om dess sociala implikationer. Att uppnå båda dessa mål kommer att kräva ett starkt engagemang och en betydande investering från vår regering. Vi behöver utveckla material och utbildningsmetoder för alla dessa grupper, och hitta sätt att uppmuntra deltagande. Och vi kan inte lämna det här arbetet till kommersiella enheter. Europeiska unionen leder vägen, med flera regeringar som ger stöd till grundläggande AI-utbildning för sina medborgare, och som införlivar AI-kurser i högskoleprogram. Vi på R/AI arbetar på en offentligt tillgänglig och brett tillgänglig kurs, som syftar till att skapa en engagerad allmänhet som kommer att hjälpa till att göra AI till vad VI vill att den ska vara. Vi är mycket entusiastiska över det här arbetet, vänligen håll utkik efter mer information under de kommande månaderna.

Tack för de utmärkta och detaljerade svaren, läsare som vill lära sig mer kan besöka Center for Responsible AI.