Les États-Unis connaissent leur premier cas d’arrestation abusive due à un mauvais algorithme

La semaine dernière, le New York Times a rapporté le premier cas d’arrestation abusive causée par un mauvais algorithme aux États-Unis. L’incident s’est produit à Détroit lorsque Robert Julian-Borchak Williams, un homme afro-américain, a été arrêté après avoir été faussement identifié sur des images de surveillance montrant un individu commettant un vol à l’étalage.

L’Union américaine pour les libertés civiles (ACLU) a rapidement pris des mesures et déposé une plainte contre la police de Détroit. Après que l’ACLU ait exigé que l’affaire de Williams soit rejetée et que ses informations soient supprimées des bases de données criminelles de Détroit, les procureurs ont procédé à ces actions.

Ce développement est le premier de son genre aux États-Unis et met en évidence des préoccupations graves qui commencent à émerger dans le monde entier avec l’utilisation de la technologie de reconnaissance faciale par l’État.

Problèmes avec les systèmes de reconnaissance faciale

Les systèmes de reconnaissance faciale ont été un sujet de controverse pendant un certain temps, devenant de plus en plus un point de débat parmi ceux qui s’inquiètent de la vie privée et des fausses accusations.

Avec les récentes manifestations à travers le pays et dans de nombreuses parties du monde contre la brutalité policière et la discrimination, cette surveillance n’a fait que s’intensifier.

Ces algorithmes ont apporté un tout nouveau aspect à l’application de la loi et sont remplis de failles.

La fausse accusation

Le vol pour lequel Williams a été faussement identifié comme l’auteur a eu lieu en octobre 2018. La vidéo de surveillance a ensuite été téléchargée dans la base de données de reconnaissance faciale de l’État du Michigan en mars 2019.

La photo de Williams a réussi à se retrouver dans un ensemble de photos, où un gardien de sécurité a identifié Williams comme l’auteur du crime.

Selon l’ACLU, ce gardien n’a jamais réellement été témoin du vol de première main.

En janvier, Williams a reçu un appel téléphonique du département de police de Détroit l’informant de son arrestation. Lorsqu’il a ignoré l’appel en le considérant comme une plaisanterie, la police est arrivée chez lui apenas une heure plus tard.

Williams a ensuite été emmené dans un centre de détention où il a été photographié, a laissé ses empreintes digitales et son ADN, et a été détenu toute la nuit à la station.

Ce qui a suivi a été un interrogatoire pour un crime qu’il n’avait jamais commis, tout cela en raison d’un système de reconnaissance défectueux.

L’affaire de Williams a été rejetée deux semaines après son arrestation, mais à une échelle plus large, cet incident signifiait beaucoup plus et avait des implications massives pour la vie privée. Avec l’utilisation croissante de logiciels de reconnaissance faciale par les gouvernements et les forces de l’ordre, cet incident pourrait être le début de graves violations, qui se sont déjà produites dans des pays comme la Chine mais qui n’ont pas encore atteint les États-Unis, du moins selon les connaissances du public.

Une telle violation est que l’échantillon d’ADN de Williams, sa photo d’identité judiciaire et ses empreintes digitales sont maintenant tous dans le fichier en raison directe de la technologie. Non seulement cela, mais son arrestation est également enregistrée.

Entreprises privées et forces de l’ordre

L’affaire de Williams intervient alors que des entreprises importantes comme IBM, Microsoft (MSFT ) et Amazon (AMZN ) ont cessé de fournir leur technologie de reconnaissance faciale aux forces de l’ordre.

La première grande entreprise à le faire a été IBM lorsque le PDG Arvind Krishna a envoyé une lettre au Congrès concernant la fin de l’offre de logiciels de reconnaissance faciale ou d’analyse générale. En outre, l’entreprise a stoppé ses recherches et son développement de la technologie.

« IBM s’oppose fermement et ne tolérera pas l’utilisation de toute technologie de reconnaissance faciale, y compris la technologie de reconnaissance faciale offerte par d’autres fournisseurs, pour la surveillance de masse, le profilage racial, les violations des droits de l’homme et des libertés fondamentales, ou tout objectif qui n’est pas conforme à nos valeurs et principes de confiance et de transparence », selon la lettre. « Nous croyons que c’est le moment de commencer un dialogue national sur la question de savoir si et comment la technologie de reconnaissance faciale devrait être utilisée par les agences de forces de l’ordre nationales. »

Amazon a suivi lorsque l’entreprise a annoncé une moratoire d’un an sur l’utilisation de la plateforme de reconnaissance faciale Rekognition par les forces de l’ordre.

L’annonce est intervenue quelques jours seulement après la décision d’IBM.

L’un des travaux les plus importants sur la question de la discrimination et de la technologie de reconnaissance faciale a été un document de 2018 co-écrit par Joy Buolamwini et Timnit Gebru. Buolamwini est un chercheur au MIT Media Lab, et Gebru est un membre de Microsoft Research.

Le document de 2018 a constaté que « les algorithmes d’apprentissage automatique peuvent discriminer en fonction de classes telles que la race et le sexe », entre autres choses.

L’affaire de Robert Julian-Borchak Williams est extrêmement préoccupante pour de nombreuses personnes vivant aux États-Unis, mais elle est également un indicateur de ce qui se passe dans le monde entier. L’utilisation de la technologie de reconnaissance faciale par les gouvernements et les forces de l’ordre ne fait que commencer, et il y a très peu de choses en place pour l’empêcher d’être utilisée de manière contraire à l’éthique. Que ce soit l’utilisation généralisée de la technologie de reconnaissance faciale par la Chine pour la surveillance, ou l’affaire de Williams ayant été faussement identifié aux États-Unis, la technologie ouvre la population mondiale à un ensemble de nouvelles violations de la vie privée et des droits de l’homme qui n’existaient pas auparavant.