USA ser första fallet av felaktig arrestering på grund av dålig algoritm

Förra veckan rapporterade The New York Times om det första fallet av felaktig arrestering orsakat av en dålig algoritm i USA. Incidenten inträffade i Detroit när Robert Julian-Borchak Williams, en afroamerikansk man, arresterades efter att ha blivit felaktigt identifierad som en person som begick butiksstöld.

American Civil Liberties Union (ACLU) agerade snabbt och lämnade in en anmälan mot Detroits polis. Efter att ACLU krävt att Williams fall skulle avskrivas och hans information skulle tas bort från brottsdatabaserna i Detroit, gick åklagarna vidare med dessa åtgärder.

Denna utveckling är den första i sitt slag i USA, och den belyser allvarliga problem som börjar dyka upp runt om i världen med användningen av ansiktsigenkänningsteknologi av staten.

Problem med ansiktsigenkänningssystem

Ansiktsigenkänningssystem har varit ett kontroversiellt ämne under en tid, och alltmer blivit en punkt för debatt bland dem som är oroade över sekretess och falska anklagelser.

Med de senaste protesterna runt om i landet och i många delar av världen mot polisiärt våld och diskriminering, har granskningen av ansiktsigenkänningsteknologi bara ökat.

Dessa algoritmer har fört in en helt ny aspekt på lagföring och är fulla av fel.

Den falska anklagelsen

Rånet som Williams felaktigt identifierades som att ha begått, ägde rum i oktober 2018. Övervakningsvideon laddades sedan upp till Michigans delstats ansiktsigenkänningdatabas i mars 2019.

Williams foto hamnade i en fotolista, där en säkerhetsvakt identifierade Williams som den som begick brottet.

Enligt ACLU, såg vaktens aldrig rånet med egna ögon.

I januari fick Williams ett telefonsamtal från Detroits poliskår som meddelade honom om hans arrestering. När han avfärdade samtalet som ett skämt, anlände polisen till hans hem bara en timme senare.

Williams togs sedan till en häktningscentral där han fick sitt fotografi taget, fingeravtryck och DNA-prov, och han hölls kvar hela natten på stationen.

Vad som följde var ett förhör för ett brott som han aldrig begick, allt på grund av ett felaktigt igenkänningssystem.

Williams fall avskrevs två veckor efter hans arrestering, men på en större skala, betydde denna incident mycket mer och har stora implikationer för sekretess. Med den ökande användningen av ansiktsigenkänningsteknologi av regeringar och lagföringsmyndigheter, kan detta fall vara början på allvarliga kränkningar, som redan har börjat i länder som Kina men ännu inte har nått USA, åtminstone inte till allmänhetens kännedom.

En sådan kränkning är att Williams DNA-prov, fotografi och fingeravtryck nu alla finns på fil som en direkt följd av teknologin. Inte nog med det, utan hans arrestering är också antecknad.

Privata företag och lagföring

Williams fall kommer när stora företag som IBM, Microsoft (MSFT ) och Amazon (AMZN ) har slutat tillhandahålla sin ansiktsigenkänningsteknologi till lagföringsmyndigheter.

Det första stora företaget som gjorde detta var IBM när VD Arvind Krishna skickade ett brev till kongressen om att inte längre erbjuda allmän ansiktsigenkänning eller analysprogramvara. Utöver detta avbröt företaget sin forskning och utveckling av teknologin.

“IBM motsätter sig bestämt och kommer inte att godkänna användning av någon [ansiktsigenkänningsteknologi], inklusive ansiktsigenkänningsteknologi som erbjuds av andra leverantörer, för massövervakning, rasprofilering, kränkningar av grundläggande mänskliga rättigheter och friheter, eller för något ändamål som inte är förenligt med våra värderingar och principer för tillit och transparens”, enligt brevet. “Vi tror att det nu är dags att inleda en nationell dialog om huruvida och hur ansiktsigenkänningsteknologi bör användas av inhemska lagföringsmyndigheter.”

Amazon följde efter när de meddelade en ettårig moratorium på att tillåta lagföringsmyndigheter att använda företagets Rekognition ansiktsigenkänningplattform.

Meddelandet kom bara några dagar efter IBMs beslut.

En av de viktigaste arbetena som har gjorts angående frågan om diskriminering och ansiktsigenkänningsteknologi var en 2018-rapport som samförfattades av Joy Buolamwini och Timnit Gebru. Buolamwini är en forskare vid MIT Media Lab, och Gebru är en medlem vid Microsoft Research.

2018-rapporten fann att “maskinlärningsalgoritmer kan diskriminera baserat på klasser som ras och kön”, bland annat.

Fallet med Robert Julian-Borchak Williams är extremt oroande för många som bor i USA, men det är också en indikator på vad som sker runt om i världen. Användningen av ansiktsigenkänningsteknologi av regeringar och lagföringsmyndigheter är bara i början, och det finns mycket lite på plats för att förhindra att den används på ett oetiskt sätt. Oavsett om det är Kinas omfattande användning av ansiktsigenkänningsteknologi för övervakning, eller fallet med Williams som felaktigt identifierades i USA, så öppnar teknologin upp världens befolkning för en uppsättning nya kränkningar av sekretess och mänskliga rättigheter som tidigare inte existerade.