USA ser første tilfelle av urettmessig arrestasjon på grunn av dårlig algoritme

Forrige uke rapporterte The New York Times om den første saken av urettmessig arrestasjon forårsaket av en dårlig algoritme i USA. Hendelsen skjedde i Detroit da Robert Julian-Borchak Williams, en afroamerikansk mann, ble arrestert etter å ha blitt feilaktig identifisert som en person som hadde begått butikktyveri.

American Civil Liberties Union (ACLU) tok raskt aksjon og sendte inn en klage mot Detroit-politiet. Etter at ACLU presset på for at Williams’ sak skulle bli henlagt og hans informasjon fjernet fra kriminaldatabasene i Detroit, gikk aktoratet videre med disse handlingene.

Dette er den første saken av denne typen i USA, og den understreker noen alvorlige bekymringer som begynner å oppstå over hele verden med bruken av ansiktsgjenkjenningsteknologi av staten.

Problemer med ansiktsgjenkjenningssystemer

Ansiktsgjenkjenningssystemer har vært et omstridt tema i en stund, og debatten omkring dem har økt blant de som er bekymret for personvern og feilaktige anklager.

Med de nylige protestene over hele landet og i mange deler av verden mot politivold og diskriminering, har denne kritikken bare økt.

Disse algoritmene har ført til en helt ny dimensjon i politiarbeid, og de er full av feil.

Den feilaktige anklagen

Ranet som Williams ble feilaktig identifisert som having begått, skjedde i oktober 2018. Overvåkingsvideoen ble deretter lastet opp til Michigans delstats ansiktsgjenkjenningdatabase i mars 2019.

Williams’ foto havnet i en fotolineup, hvor en sikkerhetsvakt identifiserte Williams som den som hadde begått forbrytelsen.

Ifølge ACLU, hadde vakten aldri selv vært vitne til ranet.

I januar mottok Williams et telefonopppring fra Detroit-politiet som informerte ham om hans arrestasjon. Da han avviste oppringingen som en spøk, ankom politiet hans hjem bare en time senere.

Williams ble deretter tatt til en forvaringsanstalt hvor han fikk tatt mugshot, fingeravtrykk og DNA, og han ble holdt over natten på stasjonen.

Hva fulgte var en avhøring for en forbrytelse han aldri hadde begått, alt på grunn av et feilaktig gjenkjenningssystem.

Williams’ sak ble henlagt to uker etter hans arrestasjon, men på en større skala betydde denne hendelsen mye mer og har massive implikasjoner for personvern. Med den økende bruken av ansiktsgjenkjenningprogramvare av myndigheter og politiet, kan denne saken være begynnelsen på alvorlige overtredelser, som allerede har begynt å utvikle seg i nasjoner som Kina, men som ennå ikke har nådd offentligheten i USA.

En slik overtredelse er at Williams’ DNA-prøve, mugshot og fingeravtrykk nå er på fil som en direkte følge av teknologien. Ikke bare det, men hans arrestasjon er også på rekord.

Private selskaper og politiet

Williams’ sak kommer som store selskaper som IBM, Microsoft (MSFT ) og Amazon (AMZN ) har stoppet å levere sine ansiktsgjenkjenningsteknologier til politiet.

Det første store selskapet som gjorde dette var IBM, da CEO Arvind Krishna sendte et brev til Kongressen om å ikke lenger tilby generell ansiktsgjenkjenning eller analyseprogramvare. I tillegg stoppet selskapet sin forskning og utvikling av teknologien.

“IBM er sterkt imot og vil ikke godkjenne bruk av noen [ansiktsgjenkjenningsteknologi], inkludert ansiktsgjenkjenningsteknologi tilbudt av andre leverandører, for masseovervåking, rasistisk profilering, overtredelser av grunnleggende menneskerettigheter og friheter, eller noe formål som ikke er i samsvar med våre verdier og Prinsipper for tillit og åpenhet,” ifølge brevet. “Vi tror nå er tiden å starte en nasjonal dialog om hvorvidt og hvordan ansiktsgjenkjenningsteknologi bør brukes av innenlandske politiet. ”

Amazon fulgte opp når de kunngjorde en ettårs moratorium på å tillate politiet å bruke selskapets Rekognition ansiktsgjenkjenningplattform.

Kunngjøringen kom bare dager etter IBMs beslutning.

En av de viktigste arbeidene som er gjort med hensyn til problemet med diskriminering og ansiktsgjenkjenningsteknologi, var en 2018-artikkel skrevet av Joy Buolamwini og Timnit Gebru. Buolamwini er en forsker ved MIT Media Lab, og Gebru er en medlem ved Microsoft Research.

2018-artikkelen fant at “maskinlæringsalgoritmer kan diskriminere basert på klasser som rase og kjønn,” blant annet.

Saken til Robert Julian-Borchak Williams er ekstremt bekymringsfull for mange som bor i USA, men den er også en indikator på hva som skjer over hele verden. Bruken av ansiktsgjenkjenningsteknologi av myndigheter og politiet er bare i gang, og det er svært lite som er på plass for å forhindre at den brukes uetisk. Uansett om det er Kinas omfattende bruk av ansiktsgjenkjenningsteknologi for overvåking, eller saken til Williams som ble feilaktig identifisert i USA, åpner teknologien opp for en rekke nye personvern- og menneskerettighetsbrudd som tidligere ikke eksisterte.