Koalitionen för AI-etik fördömer algoritmer för brottslighetshantering

Tisdagen släppte ett antal AI-forskare, etiker, dataforskare och samhällsforskare en bloggpost där de hävdar att akademiska forskare bör sluta forska om att förutsäga sannolikheten för att en individ kommer att begå ett brott, baserat på variabler som brottsstatistik och ansiktsavläsning.

Blogginlägget skrevs av Coalition for Critical Technology, som hävdar att användningen av sådana algoritmer upprätthåller en cykel av fördomar mot minoriteter. Många studier om effektiviteten hos ansiktsigenkänning och prediktiv polishantering visar att algoritmerna tenderar att döma minoriteter hårdare, vilket författarna till blogginlägget hävdar beror på ojämlikheterna i rättssystemet. Rättssystemet producerar partisk data, och därmed sprider algoritmerna som tränats på denna data dessa partiskheter, hävdar Coalition for Critical Technology. Koalitionen hävdar att själva begreppet “brottslighet” ofta baseras på ras, och att forskning om dessa tekniker antar att algoritmerna är neutrala när det i själva verket inte finns någon sådan neutralitet.

Enligt The Verge planerade en stor utgivare av akademiska verk, Springer, att publicera en studie med titeln “A Deep Neural Network Model to Predict Criminality using Image Processing”. Författarna till studien hävdade att de hade utvecklat en ansiktsigenkänningsalgoritm som kunde förutsäga sannolikheten för att en individ skulle begå ett brott utan partiskhet och med cirka 80 procents noggrannhet. Men Coalition for Critical Technology skrev ett öppet brev till Springer, där de uppmanade utgivaren att avstå från att publicera studien eller framtida studier som involverar liknande forskning.

“Publiceringen av detta arbete av en stor utgivare som Springer skulle representera ett betydande steg mot legitimering och tillämpning av upprepade gånger avfärdade, socialt skadliga forskningsresultat i den verkliga världen”, hävdar koalitionen.

Springer uppgav att de inte skulle publicera artikeln, som rapporterats av MIT Technology Review. Springer uppgav att artikeln hade skickats in för en kommande konferens, men att den efter peer review-processen hade avslagits för publicering.

Coalition for Critical Technology hävdar att brottslighetshanteringspapperet är bara ett exempel på en större, skadlig trend där AI-ingenjörer och forskare försöker förutsäga beteende baserat på data som består av känsliga, socialt konstruerade variabler. Koalitionen hävdar också att mycket av forskningen baseras på vetenskapligt tvivelaktiga idéer och teorier, som inte stöds av den tillgängliga bevisningen inom biologi och psykologi. Som exempel publicerade forskare från Princeton och Google (GOOGL ) en artikel som varnade för att algoritmer som påstår sig kunna förutsäga brottslighet baserat på ansiktsdrag bygger på avfärdade och farliga pseudovetenskaper som fysiognomi. Forskarna varnade för att låta maskinlärning användas för att återuppliva avfärdade teorier som används för att stödja rasistiska system.

Den senaste momentum i Black Lives Matter-rörelsen har fått många företag som använder ansiktsigenkänningsalgoritmer att omvärdera användningen av dessa system. Forskning har visat att dessa algoritmer ofta är partiska, baserade på icke-representativa, partiska träningsdata.

Underskrivarna av brevet hävdar, utöver att AI-forskare bör avstå från att forska om brottslighetshantering, att forskare också bör omvärdera hur framgången för AI-modeller bedöms. Koalitionens medlemmar rekommenderar att den samhälleliga påverkan av algoritmer bör vara en måttstock för framgång, utöver mått som precision, återkallande och noggrannhet. Som författarna till artikeln skriver:

“Om maskinlärning ska bringa det ‘sociala gott’ som utlovats i ansökningar och pressmeddelanden, måste forskare inom detta område aktivt reflektera över de maktstrukturer (och de åtföljande förtrycken) som gör deras arbete möjligt.”