VS ziet eerste geval van onterechte arrestatie door slecht algoritme

Vorige week rapporteerde The New York Times over het eerste geval van een onterechte arrestatie veroorzaakt door een slecht algoritme in de Verenigde Staten. Het incident vond plaats in Detroit toen Robert Julian-Borchak Williams, een Afro-Amerikaanse man, werd gearresteerd nadat hij ten onrechte was gematcht met beveiligingsbeelden van een persoon die winkeldiefstal pleegde.

De American Civil Liberties Union (ACLU) trad snel op en diende een klacht in tegen de politie van Detroit. Nadat de ACLU had geëist dat Williams’ zaak zou worden geseponeerd en zijn gegevens zouden worden verwijderd uit de strafrechtelijke databases in Detroit, gingen de aanklagers akkoord met deze acties.

Deze ontwikkeling is de eerste van zijn soort in de Verenigde Staten en benadrukt enkele ernstige zorgen die wereldwijd ontstaan met het gebruik van gezichtsherkenningstechnologie door de overheid.

Problemen met gezichtsherkenningssystemen

Gezichtsherkenningssystemen zijn al enige tijd een onderwerp van controverse en worden steeds meer een punt van debat onder degenen die zich zorgen maken over privacy en valse beschuldigingen.

Met de recente protesten in het hele land en in veel delen van de wereld tegen politiegeweld en discriminatie, is die kritiek alleen maar toegenomen.

Deze algoritmes hebben een geheel nieuw aspect toegevoegd aan de handhaving van de wet en zijn vol fouten.

De valse beschuldiging

De overval waarvoor Williams ten onrechte werd geïdentificeerd, vond plaats in oktober 2018. De bewakingsvideo werd vervolgens in maart 2019 geüpload naar de gezichtsherkenningdatabase van de staat Michigan.

Williams’ foto kwam terecht in een fotolijst, waarin een beveiligingsbeambte Williams identificeerde als de dader van de misdaad.

Volgens de ACLU had die beambte de overval nooit met eigen ogen gezien.

In januari kreeg Williams een telefoontje van het politiebureau van Detroit, waarin hem werd meegedeeld dat hij was aangehouden. Toen hij het telefoontje als een grap afdeed, arriveerden de politieagenten bij zijn huis slechts een uur later.

Williams werd vervolgens meegenomen naar een detentiecentrum, waar zijn mugshot, vingerafdrukken en DNA werden genomen, en hij werd vervolgens de hele nacht vastgehouden op het politiebureau.

Wat volgde, was een verhoor voor een misdaad die hij nooit had gepleegd, enkel en alleen vanwege een defect herkenningssysteem.

Williams’ zaak werd twee weken na zijn arrestatie geseponeerd, maar op een grotere schaal betekende dit incident veel meer en had het enorme implicaties voor de privacy. Met het toenemende gebruik van gezichtsherkenningsoftware door overheden en politieagenten, kan dit geval het begin zijn van ernstige schendingen, die al in landen als China plaatsvinden, maar nog niet openbaar zijn in de VS.

Een van die schendingen is dat Williams’ DNA-monster, mugshot en vingerafdrukken nu allemaal in het systeem zijn geregistreerd als direct gevolg van de technologie. Nog afgezien van het feit dat zijn arrestatie nu in de registers staat.

Particuliere bedrijven en handhaving

Williams’ zaak komt op een moment dat grote bedrijven als IBM, Microsoft (MSFT ) en Amazon (AMZN ) hebben besloten om hun gezichtsherkenningstechnologie niet langer aan politieagenten te verstrekken.

Het eerste grote bedrijf dat dit deed, was IBM, toen CEO Arvind Krishna een brief aan het Congres stuurde over het niet langer aanbieden van algemene gezichtsherkenning of analysesoftware. Bovendien stopte het bedrijf met de ontwikkeling van de technologie.

“IBM is fel gekant tegen en zal geen enkel gebruik van deze technologie goedkeuren, inclusief gezichtsherkenningstechnologie die door andere leveranciers wordt aangeboden, voor massasurveillance, raciale profilering, schendingen van fundamentele mensenrechten en vrijheden, of enig doel dat niet in overeenstemming is met onze waarden en principes van vertrouwen en transparantie,” aldus de brief. “We geloven dat het nu tijd is om een nationaal gesprek te beginnen over of en hoe gezichtsherkenningstechnologie door binnenlandse politieagenten moet worden gebruikt.”

Amazon volgde met het aankondigen van een moratorium van een jaar op het toelaten van politieagenten om het gezichtsherkenningplatform Rekognition van het bedrijf te gebruiken.

De aankondiging kwam slechts enkele dagen na IBM’s beslissing.

Een van de belangrijkste werken die zijn gedaan met betrekking tot het probleem van discriminatie en gezichtsherkenningstechnologie, was een paper uit 2018 mede geschreven door Joy Buolamwini en Timnit Gebru. Buolamwini is een onderzoeker bij MIT Media Lab en Gebru is een lid van Microsoft Research.

De paper uit 2018 ontdekte dat “machine learning-algoritmes kunnen discrimineren op basis van klassen zoals ras en geslacht,” onder andere dingen.

Het geval van Robert Julian-Borchak Williams is uiterst verontrustend voor velen die in de Verenigde Staten wonen, maar het is ook een indicatie van wat er wereldwijd gebeurt. Het gebruik van gezichtsherkenningstechnologie door overheden en politieagenten is net begonnen, en er is heel weinig om te voorkomen