EE. UU. ve su primer caso de arresto injusto debido a un algoritmo defectuoso

La semana pasada, The New York Times informó el primer caso de un arresto injusto causado por un algoritmo defectuoso en los Estados Unidos. El incidente ocurrió en Detroit cuando Robert Julian-Borchak Williams, un hombre afroamericano, fue arrestado después de ser falsamente identificado en una grabación de seguridad que mostraba a una persona cometiendo un robo en una tienda. 

La Unión Estadounidense de Libertades Civiles (ACLU) actuó rápidamente y presentó una queja contra la policía de Detroit. Después de que la ACLU presionara para que se desestimara el caso de Williams y se eliminara su información de las bases de datos criminales en Detroit, los fiscales procedieron con esas acciones.

Este desarrollo es el primero de su tipo en los Estados Unidos, y destaca algunas preocupaciones serias que están comenzando a surgir en todo el mundo con el uso de la tecnología de reconocimiento facial por parte del estado.

Problemas con los sistemas de reconocimiento facial

Los sistemas de reconocimiento facial han sido un tema de controversia durante un tiempo, y cada vez más se están convirtiendo en un punto de debate entre aquellos que se preocupan por la privacidad y las falsas acusaciones.

Con las recientes protestas en todo el país y en muchas partes del mundo contra la brutalidad policial y la discriminación, ese escrutinio ha aumentado aún más. 

Estos algoritmos han traído un nuevo aspecto a la aplicación de la ley y están llenos de defectos. 

La falsa acusación

El robo del que Williams fue falsamente identificado como autor ocurrió en octubre de 2018. La grabación de vigilancia se subió a la base de datos de reconocimiento facial del estado de Michigan en marzo de 2019. 

La foto de Williams logró entrar en una rueda de reconocimiento, donde un guardia de seguridad identificó a Williams como el que cometió el delito. 

Según la ACLU, ese guardia nunca presenció el robo en persona.

En enero, Williams recibió una llamada del Departamento de Policía de Detroit informándole de su arresto. Cuando descartó la llamada como una broma, la policía llegó a su casa solo una hora después.

Williams fue llevado a un centro de detención donde se tomaron su foto de perfil, huellas dactilares y ADN, y posteriormente fue retenido toda la noche en la estación. 

Lo que siguió fue un interrogatorio por un delito que nunca cometió, todo debido a un sistema de reconocimiento defectuoso.

El caso de Williams fue desestimado dos semanas después de su arresto, pero a una escala mayor, este incidente significó mucho más y tiene enormes implicaciones para la privacidad. Con el aumento del uso de software de reconocimiento facial por parte de los gobiernos y las agencias de aplicación de la ley, este caso podría ser el comienzo de serias violaciones, que ya han comenzado a ocurrir en países como China pero que aún no han llegado a los EE. UU., al menos en el conocimiento público.

Una de esas violaciones es que la muestra de ADN de Williams, su foto de perfil y huellas dactilares ahora están en archivo como resultado directo de la tecnología. No solo eso, sino que su arresto está en el registro.

Empresas privadas y aplicación de la ley

El caso de Williams llega cuando grandes empresas como IBM, Microsoft y Amazon han dejado de proporcionar su tecnología de reconocimiento facial a las agencias de aplicación de la ley.

La primera gran empresa en hacerlo fue IBM cuando el director ejecutivo Arvind Krishna envió una carta al Congreso sobre no ofrecer más software de reconocimiento o análisis facial de propósito general. Además, la empresa detuvo su investigación y desarrollo de la tecnología.

“IBM se opone firmemente y no condonará el uso de ninguna tecnología de reconocimiento facial, incluida la tecnología de reconocimiento facial ofrecida por otros proveedores, para la vigilancia masiva, el perfil racial, las violaciones de los derechos humanos básicos y las libertades, o cualquier propósito que no sea consistente con nuestros valores y Principios de Confianza y Transparencia”, según la carta. “Creemos que ahora es el momento de comenzar un diálogo nacional sobre si y cómo se debe emplear la tecnología de reconocimiento facial por parte de las agencias de aplicación de la ley nacionales.”

Amazon siguió el ejemplo cuando anunció una moratoria de un año sobre permitir que las agencias de aplicación de la ley utilicen la plataforma de reconocimiento facial Rekognition de la empresa. 

El anuncio llegó solo unos días después de la decisión de IBM.

Una de las piezas de trabajo más importantes realizadas sobre el tema de la discriminación y la tecnología de reconocimiento facial fue un documento de 2018 coautorizado por Joy Buolamwini y Timnit Gebru. Buolamwini es una investigadora en el MIT Media Lab, y Gebru es miembro de Microsoft Research. 

El documento de 2018 encontró que “los algoritmos de aprendizaje automático pueden discriminar basándose en clases como raza y género”, entre otras cosas. 

El caso de Robert Julian-Borchak Williams es extremadamente preocupante para muchos que viven en los Estados Unidos, pero también es un indicador de lo que está sucediendo en todo el mundo. El uso de la tecnología de reconocimiento facial por parte de los gobiernos y las agencias de aplicación de la ley está apenas comenzando, y hay muy poco en su lugar para prevenir que se utilice de manera poco ética. Ya sea que se trate del uso generalizado de la tecnología de reconocimiento facial por parte de China para la vigilancia, o del caso de Williams siendo falsamente identificado en los Estados Unidos, la tecnología abre a la población mundial a un conjunto de nuevas violaciones de la privacidad y los derechos humanos que anteriormente no existían.