Prof. Julia Stoyanovich, directeur van het Center for Responsible AI – Interviewreeks

Julia Stoyanovich, is een professor aan de NYU’s Tandon School of Engineering en oprichter en directeur van het Center for Responsible AI. Ze heeft onlangs getuigd voor de NYC Council’s Committee on Technology over een voorgestelde wet die de gebruik van AI voor het nemen van beslissingen over het aannemen en in dienst nemen van personeel zou reguleren.

U bent de oprichter en directeur van het Center for Responsible AI aan de NYU. Kunt u ons enkele van de initiatieven vertellen die door deze organisatie zijn ondernomen?

Ik ben mede-directeur van het Center for Responsible AI (R/AI) aan de NYU met Steven Kuyan. Steven en ik hebben complementaire interesses en expertise. Ik ben een academicus met een achtergrond in computerwetenschappen en een sterke interesse in gebruiksgestuurde werkzaamheden op het snijvlak van data-engineering, verantwoorde datawetenschap en beleid. Steven is de managing director van de NYU Tandon Future Labs, een netwerk van startup-incubators en accelerators die al een aanzienlijke economische impact heeft gehad in NYC. Onze visie voor R/AI is om “verantwoorde AI” synoniem te maken met “AI”, door middel van een combinatie van toegepaste onderzoek, openbare educatie en betrokkenheid, en door bedrijven, zowel groot als klein – vooral klein – te helpen bij het ontwikkelen van verantwoorde AI.

In de afgelopen maanden heeft R/AI actief deelgenomen aan gesprekken over ADS (Automated Decision Systems) toezicht. Onze aanpak is gebaseerd op een combinatie van educatieve activiteiten en beleidsbetrokkenheid.

De stad New York overweegt een voorgestelde wet, Int 1894, die de gebruik van ADS in het aannemen van personeel zou reguleren door middel van een combinatie van auditing en openbare bekendmaking. R/AI heeft openbare commentaar op de wet ingediend, gebaseerd op ons onderzoek en op inzichten die we hebben verzameld van sollicitanten via verschillende openbare betrokkenheidsactiviteiten.

We hebben ook samengewerkt met The GovLab aan de NYU en met het Institute for Ethics in AI at the Technical University of Munich aan een gratis online cursus genaamd “AI Ethics: Global Perspectives” die eerder deze maand is gelanceerd.

Een ander recent project van R/AI dat veel aandacht heeft gekregen, is onze “Data, Responsibly” stripboekenserie. Het eerste deel van de serie heet “Mirror, Mirror”, het is beschikbaar in het Engels, Spaans en Frans, en toegankelijk met een schermlezer in alle drie de talen. De strip kreeg de Innovatie van de maand award van Metro Lab Network en GovTech, en werd behandeld door de Toronto Star, onder anderen.

Wat zijn enkele van de huidige of potentiële problemen met AI-vooringenomenheid voor het nemen van beslissingen over het aannemen en in dienst nemen van personeel?

Dit is een complexe vraag die ons eerst duidelijk moet maken wat we bedoelen met “vooringenomenheid”. Het belangrijkste punt is dat geautomatiseerde selectiesystemen “predictive analytics” zijn – ze voorspellen de toekomst op basis van het verleden. Het verleden wordt weergegeven door historische gegevens over personen die door het bedrijf zijn aangenomen, en over hoe deze personen hebben gepresteerd. Het systeem wordt vervolgens “getraind” op deze gegevens, wat betekent dat het statistische patronen identificeert en deze gebruikt om voorspellingen te doen. Deze statistische patronen zijn de “magie” van AI, dat is waarop predictiemodellen zijn gebaseerd. Het is duidelijk, maar belangrijk, dat de historische gegevens waaruit deze patronen zijn afgeleid, zwijgen over personen die niet zijn aangenomen, omdat we simpelweg niet weten hoe ze zouden hebben gepresteerd in de baan die ze niet hebben gekregen. En dat is waar vooringenomenheid een rol speelt. Als we systematisch meer personen aannemen uit specifieke demografische en socio-economische groepen, dan zullen de lidmaatschap van deze groepen en de kenmerken die daarbij horen, deel uitmaken van het predictiemodel. Als we bijvoorbeeld alleen maar afgestudeerden van topuniversiteiten zien die zijn aangenomen voor uitvoerende rollen, dan kan het systeem niet leren dat personen die naar een andere school zijn gegaan ook goed zouden kunnen presteren. Het is gemakkelijk om een soortgelijk probleem te zien voor geslacht, ras en handicap.

Vooringenomenheid in AI is veel breder dan alleen vooringenomenheid in de gegevens. Het ontstaat wanneer we proberen technologie te gebruiken waar een technische oplossing simpelweg ongeschikt is, of wanneer we de verkeerde doelen stellen voor de AI – vaak omdat we geen diverse set van stemmen aan de ontwerptafel hebben, of wanneer we onze agency in mens-AI-interacties opgeven nadat de AI is geïmplementeerd. Elk van deze redenen voor vooringenomenheid verdient een eigen discussie die waarschijnlijk langer zal duren dan de ruimte in dit artikel toelaat. En dus, om me te concentreren, zal ik terugkeren naar vooringenomenheid in de gegevens.

Wanneer ik vooringenomenheid in de gegevens uitleg, gebruik ik graag de metafoor van de spiegelreflectie. Gegevens zijn een beeld van de wereld, hun spiegelreflectie. Wanneer we nadenken over vooringenomenheid in de gegevens, onderzoeken we deze reflectie. Een interpretatie van “vooringenomenheid in de gegevens” is dat de reflectie vertekend is – onze spiegel ondervertegenwoordigt of oververtegenwoordigt sommige delen van de wereld, of vertekent de metingen op een andere manier. Een andere interpretatie van “vooringenomenheid in de gegevens” is dat, zelfs als de reflectie 100% getrouw was, het nog steeds een reflectie van de wereld zou zijn zoals die vandaag de dag is, en niet van hoe die zou moeten zijn. Het is belangrijk dat het niet aan de gegevens of aan een algoritme is om ons te vertellen of het een perfecte reflectie van een gebroken wereld is, of een gebroken reflectie van een perfecte wereld, of dat deze vertekeningen samenkomen. Het is aan mensen – individuen, groepen, de samenleving als geheel – om consensus te bereiken over of we tevreden zijn met de wereld zoals die vandaag de dag is, of, als dat niet zo is, hoe we die moeten verbeteren.

Terug naar predictieve analytics: hoe groter de ongelijkheden in de gegevens zijn, als een reflectie van het verleden, hoe waarschijnlijker het is dat ze door de predictiemodellen worden opgepikt en in de toekomst worden gerepliceerd – en zelfs verergerd.

Als ons doel is om onze selectiepraktijken te verbeteren met het oog op gelijkheid en diversiteit, dan kunnen we deze taak niet uitbesteden aan machines. We moeten het moeilijke werk doen om de echte oorzaken van vooringenomenheid in de selectie aan te pakken en een socio-juridische-technische oplossing te onderhandelen met input van alle belanghebbenden. Technologie heeft zeker een rol te spelen in het helpen van ons om de status quo te verbeteren: het kan ons helpen om eerlijk te zijn over onze doelen en resultaten. Maar doen alsof het debiasen van de gegevens of de predictieve analytics het diepgewortelde probleem van discriminatie in de selectie zou oplossen, is naïef in het beste geval.

U heeft onlangs getuigd voor de NYC Council’s Committee on Technology, een opvallende opmerking was als volgt: “We vinden dat zowel het budget van de adverteerder als de inhoud van de ad elk significant bijdragen aan de scheefheid van Facebook’s (META ) ad-levering. Kritisch, we observeren significante scheefheid in de levering langs geslachts- en raciale lijnen voor ‘echte’ ads voor werkgelegenheid en huisvestingsmogelijkheden, ondanks neutrale targetparameters.” Wat zijn enkele oplossingen om deze soort vooringenomenheid te vermijden?

Deze opmerking die ik maakte, is gebaseerd op een briljant artikel van Ali et al. genaamd “Discriminatie door optimalisatie: hoe Facebook’s ad-levering tot vooringenomen resultaten kan leiden.” De auteurs vinden dat het ad-leveringsmechanisme zelf verantwoordelijk is voor het introduceren en versterken van discriminatoire effecten. Het is overduidelijk dat deze bevinding zeer problematisch is, vooral tegen de achtergrond van ondoorzichtigheid bij Facebook en andere platforms – Google (GOOGL ) en Twitter. De verantwoordelijkheid ligt bij de platforms om dringend en overtuigend te demonstreren dat ze deze discriminatoire effecten kunnen inperken. Kortom, ik kan geen rechtvaardiging vinden voor het voortgezette gebruik van gepersonaliseerde ad-targeting in huisvesting, werkgelegenheid en andere domeinen waar mensenlevens en bestaansmiddelen op het spel staan.

Hoe kunnen datawetenschappers en AI-ontwikkelaars andere onbedoelde vooringenomenheden in hun systemen het beste voorkomen?

 Het is niet alleen aan datawetenschappers, of aan een enkele belanghebbende groep, om ervoor te zorgen dat technische systemen in overeenstemming zijn met maatschappelijke waarden. Maar datawetenschappers zijn inderdaad aan de voorzijde van deze strijd. Als computerwetenschapper zelf, kan ik getuigen van de aantrekkelijkheid van het denken dat de systemen die we ontwerpen “objectief”, “optimaal” of “correct” zijn. Hoe succesvol computerwetenschap en datawetenschap zijn – hoe invloedrijk en hoe breed gebruikt – is zowel een zegen als een vloek. We technici hebben niet langer de luxe om ons te verstoppen achter de onhaalbare doelen van objectiviteit en correctheid. De verantwoordelijkheid ligt bij ons om zorgvuldig na te denken over onze plaats in de wereld, en om onszelf te onderwijzen over de sociale en politieke processen die we beïnvloeden. De samenleving kan het zich niet veroorloven dat we snel vooruitgaan en dingen kapotmaken, we moeten langzamer gaan en reflecteren.

Het is symbolisch dat filosofie ooit het middelpunt was van alle wetenschappelijke en maatschappelijke discussie, toen kwam wiskunde, toen computerwetenschap. Nu, met datawetenschap die centraal staat, zijn we volledig teruggekeerd en hebben we verbinding nodig met onze filosofische wortels.

Nog een aanbeveling die u deed, is het creëren van een geïnformeerd publiek. Hoe informeren we een publiek dat mogelijk niet vertrouwd is met AI, of de problemen begrijpt die samenhangen met AI-vooringenomenheid?

Er is een dringende behoefte om niet-technische mensen te onderwijzen over technologie, en om technische mensen te onderwijzen over de sociale implicaties ervan. Het bereiken van beide doelen zal een sterke toewijding en een aanzienlijke investering van onze regering vereisen. We moeten materialen en onderwijsmethoden ontwikkelen voor al deze groepen, en manieren vinden om deelname te stimuleren. En we kunnen dit werk niet overlaten aan commerciële entiteiten. De Europese Unie leidt de weg, met verschillende regeringen die steun bieden voor basis AI-onderwijs voor hun burgers, en die AI-curricula opnemen in middelbare schoolprogramma’s. Wij bij R/AI werken aan een openbaar toegankelijke en breed toegankelijke cursus, met als doel een betrokken publiek te creëren dat zal helpen om AI te maken zoals WIJ dat willen. We zijn erg enthousiast over dit werk, blijf dus op de hoogte voor meer informatie in de komende maand.

Bedankt voor de geweldige gedetailleerde antwoorden, lezers die meer willen leren, moeten het Center for Responsible AI bezoeken.