AI Ethics Coalition fordømmer algoritmer for prediksjon av kriminalitet

Tirsdag kom en rekke AI-forskere, etikere, datavitere og samfunnsvitere ga ut et blogginnlegg argumenterer for at akademiske forskere bør slutte å forfølge forskning som forsøker å forutsi sannsynligheten for at en person vil begå en kriminell handling, basert på variabler som kriminalitetsstatistikk og ansiktsskanning.

Blogginnlegget ble skrevet av Coalition for Critical Technology, som hevdet at bruken av slike algoritmer opprettholder en syklus av fordommer mot minoriteter. Mange studier av effektiviteten av ansiktsgjenkjenning og prediktive politialgoritmer finner at algoritmene har en tendens til å dømme minoriteter hardere, noe forfatterne av blogginnlegget hevder skyldes ulikhetene i strafferettssystemet. Rettssystemet produserer partiske data, og derfor forplanter algoritmene som er trent på disse dataene disse skjevhetene, hevder Coalition for Critical Technology. Koalisjonen hevder at selve forestillingen om "kriminalitet" ofte er basert på rase, og derfor antar forskning gjort på disse teknologiene nøytraliteten til algoritmene når det i sannhet ikke eksisterer en slik nøytralitet.

Som The Verge melder, en stor utgiver av akademiske arbeider, Springer, planla å publisere en studie med tittelen "A Deep Neural Network Model to Predict Criminality using Image Processing". Forfatterne av studien hevdet å ha konstruert en ansiktsgjenkjenningsalgoritme som er i stand til å forutsi sjansen for at en person ville begå en forbrytelse uten skjevhet og omtrent 80 % nøyaktighet. Likevel skrev Coalition for Critical Technology et åpent brev til Springer, der de oppfordret til at utgiveren avstår fra å publisere studien eller fremtidige studier som involverer lignende forskning.

"Sirkulasjonen av dette verket av en stor utgiver som Springer ville representert et betydelig skritt mot legitimering og anvendelse av gjentatte ganger avkreftet, sosialt skadelig forskning i den virkelige verden," hevder koalisjonen.

Springer uttalte at det ikke ville publisere avisen, som rapportert av MIT Technology Review. Springer uttalte at papiret ble sendt inn for en kommende konferanse, men etter fagfellevurderingsprosessen ble papiret avvist for publisering.

The Coalition for Critical Technology hevder at kriminalitetsprediksjonspapiret bare er et enkelt tilfelle for større, skadelig trend der AI-ingeniører og forskere prøver å forutsi atferd basert på data som består av sensitive, sosialt konstruerte variabler. Koalisjonen hevder også at mye av forskningen er basert på vitenskapelig tvilsomme ideer og teorier, som ikke støttes av tilgjengelig bevis innen biologi og psykologi. Som et eksempel, forskere fra Princeton og Google publisert en artikkel advarer om at algoritmer som hevder å kunne forutsi kriminalitet basert på ansiktstrekk er basert på miskrediterte og farlige pseudovitenskaper som fysiognomi. Forskerne advarte mot å la maskinlæring brukes til å gjenopplive lenge avkreftede teorier som brukes til å støtte rasistiske systemer.

Den nylige fremdriften til Black Lives Matter-bevegelsen har fått mange selskaper som bruker ansiktsgjenkjenningsalgoritmer til å revurdere bruken av disse systemene. Forskning har funnet at disse algoritmene ofte er partiske, basert på ikke-representative, partiske treningsdata.

Underskriverne av brevet, i tillegg til å argumentere for at AI-forskere bør gi avkall på forskning på algoritmer for prediksjon av kriminalitet, har de også anbefalt at forskere revurderer hvordan suksessen til AI-modeller vurderes. Koalisjonsmedlemmene anbefaler at den samfunnsmessige påvirkningen av algoritmer bør være en beregning for suksess, i tillegg til beregninger som presisjon, tilbakekalling og nøyaktighet. Som forfatterne av papiret skriver:

"Hvis maskinlæring skal få til det 'sosiale gode' som er omtalt i tilskuddsforslag og pressemeldinger, må forskere i dette rommet aktivt reflektere over maktstrukturene (og de medfølgende undertrykkelsene) som gjør arbeidet deres mulig."