Koalition for AI-etik fordømmer kriminalitetsprædiktionsalgoritmer

Tirsdag udgav en række AI-forskere, etikere, dataforskere og samfundsvidenskabsfolk en blogpost, hvor de argumenterede for, at akademiske forskere skal stoppe med at forske i algoritmer, der søger at forudsige sandsynligheden for, at en person begår en kriminel handling, baseret på variabler som kriminelle statistikker og ansigts-scans.

Blogposten var skrevet af Coalition for Critical Technology, der argumenterede for, at brugen af sådanne algoritmer opretholder en cyklus af fordomme mod minoriteter. Mange studier af effikaciteten af ansigtsgenkendelse og prædiktiv politiarbejde finder, at algoritmerne tenderer til at dømme minoriteter hårdere, hvilket forfatterne af blogposten mener skyldes ulighederne i retssystemet. Retssystemet producerer fordomsfulde data, og derfor forplanter algoritmerne, der er trænet på disse data, disse fordomme, mener Coalition for Critical Technology. Koalitionen argumenterer for, at selv begrebet “kriminalitet” ofte er baseret på race, og at forskning i disse teknologier antager, at algoritmerne er neutrale, når der i virkeligheden ikke findes nogen sådan neutralitet.

Som The Verge rapporterer, planlagde en stor udgiver af akademiske værker, Springer, at offentliggøre en studie med titlen “A Deep Neural Network Model to Predict Criminality using Image Processing”. Studiens forfattere påstod at have udviklet en ansigtsgenkendelsesalgoritme, der kunne forudsige sandsynligheden for, at en person ville begå en kriminel handling, uden fordomme og med en nøjagtighed på omkring 80%. Koalitionen skrev dog et åbent brev til Springer, hvor de opfordrede udgiveren til at afstå fra at offentliggøre studiet eller fremtidige studier, der omfattede lignende forskning.

“Offentliggørelsen af dette arbejde af en større udgiver som Springer ville være et betydeligt skridt mod legitimering og anvendelse af gentagne gang debunket, samfunds-skadelig forskning i den virkelige verden,” argumenterer koalitionen.

Springer erklærede, at de ikke ville offentliggøre artiklen, som rapporteret af MIT Technology Review. Springer erklærede, at artiklen var indsendt til en kommende konference, men efter peer-review-processen blev artiklen afvist til offentliggørelse.

Koalitionen for Critical Technology argumenterer for, at kriminalitetsprædiktionspapiret blot er et enkelt eksempel på en større, skadelig trend, hvor AI-ingeniører og forskere forsøger at forudsige adfærd baseret på data, der består af følsomme, socialt konstruerede variabler. Koalitionen argumenterer også for, at meget af forskningen er baseret på videnskabeligt tvivlsomme ideer og teorier, der ikke er understøttet af den tilgængelige bevis i biologi og psykologi. Som eksempel offentliggjorde forskere fra Princeton og Google (GOOGL ) en artikel, der advarede mod, at algoritmer, der påstod at kunne forudsige kriminalitet baseret på ansigts-træk, var baseret på diskrediterede og farlige pseudovidenskaber som fysiognomi. Forskerne advarede mod at lade maskinlæring genoplive gamle, afviste teorier, der blev brugt til at støtte racistiske systemer.

Den seneste momentum i Black Lives Matter-bevægelsen har fået mange virksomheder, der anvender ansigtsgenkendelsesalgoritmer, til at re-evaluere deres brug af disse systemer. Forskning har fundet, at disse algoritmer ofte er fordomsfulde og baseret på ikke-repræsentative, fordomsfulde træningsdata.

Underskriverne af brevet anbefalede, ud over at AI-forskere skal afstå fra at forske i kriminalitetsprædiktionsalgoritmer, også at forskere skal re-evaluere, hvordan succesen af AI-modeller skal vurderes. Koalitionens medlemmer anbefaler, at den samfunds-mæssige impact af algoritmerne skal være en målestok for succes, ud over målestokke som nøjagtighed, præcision og genkald. Som forfatterne af artiklen skriver:

“Hvis maskinlæring skal bringe om det ‘samfunds-gode’, der er nævnt i ansøgninger og pressemeddelelser, må forskere i dette område aktivt reflektere over magt-strukturerne (og de tilhørende undertrykkelser), der gør deres arbejde muligt.”