Coalitie voor AI-ethiek veroordeelt algoritmes voor voorspelling van criminaliteit

Op dinsdag hebben een aantal AI-onderzoekers, ethici, datawetenschappers en sociale wetenschappers een blogpost gepubliceerd waarin wordt betoogd dat academische onderzoekers moeten stoppen met onderzoek dat probeert te voorspellen of een individu een misdrijf zal begaan, op basis van variabelen zoals misdaadstatistieken en gezichtsscans.

De blogpost is geschreven door de Coalitie voor Critische Technologie, die betoogt dat het gebruik van dergelijke algoritmes een cyclus van vooroordelen tegen minderheden in stand houdt. Veel studies naar de effectiviteit van gezichtsherkenning en predictieve politiealgoritmes laten zien dat deze algoritmes minderheden vaker strenger beoordelen, wat de auteurs van de blogpost toeschrijven aan de ongelijkheden in het strafrechtssysteem. Het rechtssysteem produceert bevooroordeelde data, en daarom propageren de algoritmes die op deze data zijn getraind deze vooroordelen, zo stelt de Coalitie voor Critische Technologie. De coalitie stelt dat het begrip “criminaliteit” vaak op ras gebaseerd is, en dat onderzoek naar deze technologieën ervan uitgaat dat de algoritmes neutraal zijn, terwijl dat in werkelijkheid niet het geval is.

Volgens The Verge was de uitgever van academische werken Springer van plan om een studie te publiceren getiteld “A Deep Neural Network Model to Predict Criminality using Image Processing”. De auteurs van de studie claimden een gezichtsherkenning-algoritme te hebben ontwikkeld dat de kans dat een individu een misdrijf zou begaan kon voorspellen zonder vooroordelen en met een nauwkeurigheid van ongeveer 80%. De Coalitie voor Critische Technologie schreef echter een open brief aan Springer, waarin werd verzocht om de publicatie van de studie of toekomstig onderzoek op dit gebied tegen te houden.

“De publicatie van dit werk door een grote uitgever als Springer zou een significante stap zijn naar de legitimatie en toepassing van herhaaldelijk weerlegd, sociaal schadelijk onderzoek in de echte wereld”, zo stelt de coalitie.

Springer verklaarde dat het de paper niet zou publiceren, zoals gerapporteerd door MIT Technology Review. Springer verklaarde dat de paper was ingediend voor een aanstaande conferentie, maar dat deze na de peer-review-procedure was afgewezen voor publicatie.

De Coalitie voor Critische Technologie stelt dat de voorspelling van criminaliteit slechts een voorbeeld is van een grotere, schadelijke trend waarin AI-ingenieurs en onderzoekers proberen gedrag te voorspellen op basis van gegevens die bestaan uit gevoelige, sociaal geconstrueerde variabelen. De coalitie stelt ook dat veel van het onderzoek is gebaseerd op wetenschappelijk twijfelachtige ideeën en theorieën, die niet worden ondersteund door de beschikbare bewijzen uit biologie en psychologie. Als voorbeeld publiceerden onderzoekers van Princeton en Google (GOOGL ) een artikel waarin werd gewaarschuwd dat algoritmes die claimen te kunnen voorspellen of iemand een misdrijf zal begaan op basis van gezichtskenmerken, zijn gebaseerd op gediskrediteerde en gevaarlijke pseudowetenschappen zoals fysiognomie. De onderzoekers waarschuwden tegen het gebruik van machine learning om oude, weerlegde theorieën te herbezien die worden gebruikt om racistische systemen te ondersteunen.

De recente momentum van de Black Lives Matter-beweging heeft ertoe geleid dat veel bedrijven die gezichtsherkenning-algoritmes gebruiken, hun gebruik van deze systemen opnieuw evalueren. Onderzoek heeft aangetoond dat deze algoritmes vaak bevooroordeeld zijn, op basis van niet-representatieve, bevooroordeelde trainingsdata.

De ondertekenaars van de brief betogen niet alleen dat AI-onderzoekers moeten stoppen met onderzoek naar voorspelling van criminaliteit, maar ook dat onderzoekers moeten heroverwegen hoe het succes van AI-modellen wordt beoordeeld. De coalitieleden bevelen aan dat de maatschappelijke impact van algoritmes een maatstaf voor succes zou moeten zijn, naast metrics als nauwkeurigheid, recall en precisie. Zo schrijven de auteurs van het artikel:

“Als machine learning de ‘sociale goedheid’ die in subsidieaanvragen en persberichten wordt beloofd, moet brengen, dan moeten onderzoekers in deze ruimte actief reflecteren op de machtsstructuren (en de bijbehorende onderdrukkingen) die hun werk mogelijk maken.”