USA ser det første tilfælde af uretmæssig anholdelse på grund af dårlig algoritme

Sidste uge rapporterede The New York Times om det første tilfælde af en uretmæssig anholdelse forårsaget af en dårlig algoritme i USA. Incidensen fandt sted i Detroit, da Robert Julian-Borchak Williams, en afroamerikaner, blev anholdt efter at være blevet fejlmatchet til overvågningsbilleder, der viste en person, der begik butikstyveri.

Den amerikanske borgerrettighedsunion (ACLU) tog hurtigt affære og indgav en klage mod Detroit-politiet. Efter at ACLU havde presset på for, at Williams’ sag skulle forkastes og hans oplysninger skulle fjernes fra de kriminelle databaser i Detroit, gik anklagerne videre med disse handlinger.

Denne udvikling er den første af sin art i USA og understreger nogle alvorlige bekymringer, der begynder at opstå over hele verden med brugen af ansigtsgenkendelsesteknologi af staten.

Problemer med ansigtsgenkendelsessystemer

Ansigtsgenkendelsessystemer har været et kontroversielt emne i en periode og er blevet et diskussionspunkt blandt dem, der er bekymrede for privatliv og fejlbeskyldninger.

Med de seneste protester over hele landet og i mange dele af verden mod politibrutalitet og diskrimination er denne kritik kun blevet forstærket.

Disse algoritmer har bragt en helt ny dimension til politiarbejde og er fulde af fejl.

Den fejlagtige beskyldning

Tyveriet, som Williams blev fejlagtigt identificeret som havende begået, fandt sted i oktober 2018. Overvågningsvideoen blev derefter uploadet til Michigans delstats ansigtsgenkendelsesdatabase i marts 2019.

Williams’ foto kom med i en fotolineup, hvor en sikkerhedsvagt identificerede Williams som den, der havde begået forbrydelsen.

Ifølge ACLU havde vagten aldrig selv overværet tyveriet.

I januar modtog Williams et telefonopkald fra Detroit-politiet, der gjorde ham opmærksom på hans anholdelse. Da han afviste opkaldet som en spøg, ankom politiet til hans hjem blot en time senere.

Williams blev derefter taget til en fængselscel, hvor han fik taget fingeraftryk, DNA og en mugshot, og han blev derefter holdt hele natten på stationen.

Dette blev efterfulgt af en afhøring for en forbrydelse, han aldrig havde begået, kun på grund af et fejlbehæftet genkendelsessystem.

Williams’ sag blev forkastet to uger efter hans anholdelse, men på en større skala betød denne episode meget mere og havde massive implikationer for privatliv. Med den øgede brug af ansigtsgenkendelsesteknologi af regeringer og politi kan denne sag være begyndelsen på alvorlige overtrædelser, som allerede er i gang i lande som Kina, men endnu ikke er nået til USA, i hvert fald ikke til offentlighedens kendskab.

En sådan overtrædelse er, at Williams’ DNA-prøve, mugshot og fingeraftryk nu alle er på fil som en direkte følge af teknologien. Ikke nok med det, men hans anholdelse er også på optagelse.

Private virksomheder og politi

Williams’ sag kommer, efter at store virksomheder som IBM, Microsoft (MSFT ) og Amazon (AMZN ) har stoppet med at levere deres ansigtsgenkendelsesteknologi til politiet.

Den første store virksomhed, der gjorde dette, var IBM, da CEO Arvind Krishna sendte et brev til Kongressen om, at de ikke længere ville tilbyde almindelig ansigtsgenkendelse eller analysesoftware. På toppen af det stoppede virksomheden også sin forskning og udvikling af teknologien.

“IBM er stærkt imod og vil ikke godkende brug af nogen [ansigtsgenkendelsesteknologi], herunder ansigtsgenkendelsesteknologi tilbudt af andre leverandører, til masseovervågning, racialisering, overtrædelse af grundlæggende menneskerettigheder og friheder eller nogen formål, der ikke er i overensstemmelse med vores værdier og principper for tillid og gennemsigtighed,” ifølge brevet. “Vi mener, at nu er tiden kommet til at begynde en national dialog om, hvorvidt og hvordan ansigtsgenkendelsesteknologi bør anvendes af politi i hjemlandet.”

Amazon fulgte trop, da de annoncerede en et-årig moratorium på at tillade politiet at bruge virksomhedens Rekognition ansigtsgenkendelsesplatform.

Annonceringen kom blot få dage efter IBMs beslutning.

En af de vigtigste arbejder, der er udført i forbindelse med spørgsmålet om diskrimination og ansigtsgenkendelsesteknologi, var en 2018-papir skrevet af Joy Buolamwini og Timnit Gebru. Buolamwini er en forsker på MIT Media Lab, og Gebru er medlem af Microsoft Research.

2018-papiret fandt, at “maskinlæringsalgoritmer kan diskriminere baseret på klasser som race og køn,” blandt andet.

Robert Julian-Borchak Williams’ sag er ekstremt bekymrende for mange, der bor i USA, men det er også en indikator for, hvad der sker over hele verden. Brugen af ansigtsgenkendelsesteknologi af regeringer og politi er kun lige begyndt, og der er meget lidt i gang for at forhindre, at det bliver brugt urent. Enten det er Kinas omfattende brug af ansigtsgenkendelsesteknologi til overvågning eller Williams’ sag om at være blevet fejlagtigt identificeret i USA, åbner teknologien op for en række nye privatlivs- og menneskerettighedskrænkelser, som tidligere ikke eksisterede.