USA ser den første sag om uretmæssig anholdelse på grund af dårlig algoritme

For sidste uge, rapporterede The New York Times om den første sag om en uretmæssig anholdelse forårsaget af en dårlig algoritme i USA. Incidenten fandt sted i Detroit, da Robert Julian-Borchak Williams, en afroamerikansk mand, blev anholdt efter at være blevet fejlmatchet til sikkerhedsbilleder, der viste en person, der begik butikstyveri. 

Den amerikanske borgerrettighedsunion (ACLU) tog hurtigt affære og indgav en klage mod Detroit-politiet. Efter at ACLU havde presset på for, at Williams’ sag skulle forkastes og hans oplysninger skulle fjernes fra de kriminelle databaser i Detroit, gik anklagerne videre med disse handlinger.

Denne udvikling er den første af sin art i USA, og den fremhæver nogle alvorlige bekymringer, der begynder at opstå over hele verden med brugen af ansigtsgenkendelsesteknologi af staten.

Problemer med ansigtsgenkendelsessystemer

Ansigtsgenkendelsessystemer har været et kontroversielt emne i en længere periode, og debatten omkring dem er øget blandt dem, der er bekymret for privatliv og falske anklager.

Med de seneste protester over hele landet og i mange dele af verden mod politibrutalitet og diskrimination er denne kritik kun øget. 

Disse algoritmer har ført en helt ny dimension ind i lov og orden og er fulde af fejl. 

Den falske anklage

Tyveriet, som Williams uretmæssigt blev identificeret som havende begået, fandt sted i oktober 2018. Overvågningsvideoen blev derefter uploadet til Michigans stats ansigtsgenkendelsesdatabase i marts 2019. 

Williams’ foto kom med i et foto-lineup, hvor en sikkerhedsvagt identificerede Williams som den, der havde begået forbrydelsen. 

Ifølge ACLU havde vagten aldrig selv overværet tyveriet.

I januar modtog Williams et telefonopkald fra Detroit-politiet, der gjorde ham opmærksom på hans anholdelse. Da han afviste opkaldet som en spøg, ankom politiet til hans hjem blot en time senere.

Williams blev derefter ført til en fængselsafdeling, hvor han fik taget sin mugshot, fingeraftryk og DNA, og han blev herefter holdt hele natten på stationen. 

Dette fulgtes af en afhøring for en forbrydelse, han aldrig havde begået, alt på grund af et fejlbehæftet genkendelsessystem.

Williams’ sag blev forkastet to uger efter hans anholdelse, men på en større skala betød denne episode meget mere og havde massive implikationer for privatlivet. Med den øgede brug af ansigtsgenkendelsessoftware af regeringer og lovhåndhævere kan denne sag være begyndelsen på alvorlige krænkelser, der allerede er i gang i lande som Kina, men endnu ikke er ankommet til USA, i hvert fald ikke til offentlighedens kendskab.

En sådan krænkelse er, at Williams’ DNA-prøve, mugshot og fingeraftryk nu alle er på fil som en direkte følge af teknologien. Ikke blot det, men hans anholdelse er også på optagelse.

Private virksomheder og lovhåndhævere

Williams’ sag kommer, efter at store virksomheder som IBM, Microsoft og Amazon har stoppet med at levere deres ansigtsgenkendelsesteknologi til lovhåndhævere.

Den første store virksomhed, der gjorde dette, var IBM, da CEO Arvind Krishna sendte et brev til Kongressen om ikke længere at tilbyde almindelig ansigtsgenkendelse eller analysesoftware. Oven i købet stoppede virksomheden også sin forskning og udvikling af teknologien.

“IBM modsætter sig bestemt og vil ikke godkende brugen af nogen [ansigtsgenkendelsesteknologi], herunder ansigtsgenkendelsesteknologi tilbudt af andre leverandører, til masseovervågning, racialisering, krænkelser af grundlæggende menneskerettigheder og friheder eller nogen formål, der ikke er i overensstemmelse med vores værdier og principper om tillid og gennemsigtighed,” ifølge brevet. “Vi mener, at nu er tiden kommet til at begynde en national dialog om, hvorvidt og hvordan ansigtsgenkendelsesteknologi bør anvendes af indenlandske lovhåndhævermyndigheder.”

Amazon fulgte trop, da de annoncerede en et-årig moratorium på at tillade lovhåndhævere at bruge virksomhedens Rekognition ansigtsgenkendelsesteknologi. 

Annonsen kom blot få dage efter IBMs beslutning.

En af de vigtigste arbejder, der er udført i forbindelse med spørgsmålet om diskrimination og ansigtsgenkendelsesteknologi, var en 2018-papir skrevet af Joy Buolamwini og Timnit Gebru. Buolamwini er forsker på MIT Media Lab, og Gebru er medlem på Microsoft Research. 

2018-papiret fandt, at “maskinlæringsalgoritmer kan diskriminere på grund af klasser som race og køn,” blandt andet. 

Sagen om Robert Julian-Borchak Williams er ekstremt bekymrende for mange, der bor i USA, men det er også en indikator for, hvad der sker over hele verden. Brugen af ansigtsgenkendelsesteknologi af regeringer og lovhåndhævere er lige begyndt, og der er meget lidt i gang for at forhindre, at den bruges unætisk. Enten det er Kinas omfattende brug af ansigtsgenkendelsesteknologi til overvågning eller Williams’ sag om at være blevet fejltidig identificeret i USA, åbner teknologien op for en række nye krænkelser af privatliv og menneskerettigheder, der tidligere ikke eksisterede.