Koalisjonen for AI-etikk fordømmer algoritmer for kriminalitetsprediksjon

Tirsdag utga en rekke AI-forskere, etikere, dataforskere og samfunnsforskere en bloggpost hvor de argumenterte for at akademiske forskere burde slutte å drive forskning som forsøker å prediktere sannsynligheten for at en person vil begå en kriminell handling, basert på variabler som kriminalitetsstatistikk og ansikts-scanning.

Bloggposten ble skrevet av Koalisjonen for kritisk teknologi, som argumenterte for at bruken av slike algoritmer opprettholder en syklus av fordommer mot minoriteter. Mange studier om effikasiteten av ansikts-gjenkjenning og prediktiv politi-algoritmer finner at algoritmene tendrer til å dømme minoriteter strengere, noe forfatterne av bloggposten mener skyldes urettferdighetene i rettssystemet. Rettssystemet produserer fordomsfulle data, og derfor forsterker algoritmene disse fordommene, mener Koalisjonen for kritisk teknologi. Koalisjonen argumenterer for at selv begrepet “kriminalitet” ofte er basert på rase, og at forskning på disse teknologiene antar nøytralitet hos algoritmene når slike ikke eksisterer.

Ifølge The Verge planla en stor utgiver av akademiske verk, Springer, å publisere en studie med tittelen “A Deep Neural Network Model to Predict Criminality using Image Processing”. Forfatterne av studien hevdet å ha utviklet en ansikts-gjenkjenning-algoritme som kunne prediktere sannsynligheten for at en person ville begå en kriminell handling uten fordommer og med omtrent 80% nøyaktighet. Koalisjonen for kritisk teknologi skrev imidlertid en åpen brev til Springer, hvor de oppfordret utgiveren til å ikke publisere studien eller fremtidige studier som omhandler lignende forskning.

“Publiseringen av dette arbeidet av en stor utgiver som Springer ville representere et betydelig skritt mot legitimering og anvendelse av gjentatte gangers avviste, samfunnsskadelig forskning i den virkelige verden,” argumenterer koalisjonen.

Springer uttalte at de ikke ville publisere papiret, ifølge MIT Technology Review. Springer uttalte at papiret var sendt inn til en kommende konferanse, men at det ble avvist etter gjennomgangsprosessen.

Koalisjonen for kritisk teknologi argumenterer for at kriminalitetsprediksjons-papiret bare er et enkelt eksempel på en større, skadelig trend hvor AI-ingeniører og forskere prøver å prediktere atferd basert på data som består av følsomme, sosialt konstruerte variabler. Koalisjonen argumenterer også for at mye av forskningen er basert på vitenskapelig tvilsomme ideer og teorier, som ikke støttes av tilgjengelig bevis i biologi og psykologi. Som et eksempel publiserte forskere fra Princeton og Google (GOOGL ) en artikkel hvor de advarte mot at algoritmer som hevder å kunne prediktere kriminalitet basert på ansikts-trekk er basert på avviste og farlige pseudovitenskaper som fysiognomi. Forskerne advarte mot å la maskinlæring bli brukt til å gjenopplive avviste teorier som støtter rasistiske systemer.

Den nylige momentum av Black Lives Matter-bevegelsen har fått mange selskaper som bruker ansikts-gjenkjenning-algoritmer til å vurdere bruken av disse systemene. Forskning har funnet at disse algoritmene ofte er fordomsfulle, basert på ikke-representative og fordomsfulle treningdata.

Underskriverne av brevet, i tillegg til å argumentere for at AI-forskere burde avstå fra forskning på kriminalitetsprediksjons-algoritmer, har også anbefalt at forskere må vurdere hvordan suksessen til AI-modeller blir vurdert. Koalisjonsmedlemmene anbefaler at den samfunnsmessige innvirkningen av algoritmene burde være en målestokk for suksess, i tillegg til målestokker som presisjon, tilbakekall og nøyaktighet. Som forfatterne av papiret skriver:

“Hvis maskinlæring skal bringe om den ‘samfunnsnytte’ som omtales i søknader og pressemeldinger, må forskere i dette området aktivt reflektere over maktstrukturene (og de tilhørende undertrykkelsene) som gjør deres arbeid mulig.”