Nuevo estudio intenta mejorar los algoritmos de detección de discursos de odio

Las empresas de redes sociales, especialmente Twitter, han enfrentado durante mucho tiempo críticas por la forma en que marcan el discurso y deciden qué cuentas prohibir. El problema subyacente casi siempre tiene que ver con los algoritmos que usan para monitorear las publicaciones en línea. Los sistemas de inteligencia artificial están lejos de ser perfectos cuando se trata de esta tarea, pero se trabaja constantemente para mejorarlos. 

Incluido en ese trabajo es un nuevo estudio saliendo de la Universidad del Sur de California que intenta reducir ciertos errores que podrían resultar en prejuicios raciales.

Falta de reconocimiento del contexto

Uno de los problemas que no recibe tanta atención tiene que ver con los algoritmos que están destinados a detener la propagación del discurso de odio, pero que en realidad amplifican los prejuicios raciales. Esto sucede cuando los algoritmos no reconocen el contexto y terminan marcando o bloqueando tweets de grupos minoritarios.

El mayor problema con los algoritmos con respecto al contexto es que son demasiado sensibles a ciertos términos de identificación de grupos como "negro", "gay" y "transgénero". Los algoritmos consideran estos clasificadores de incitación al odio, pero a menudo son utilizados por miembros de esos grupos y la configuración es importante.

En un intento por resolver este problema de ceguera contextual, los investigadores crearon un clasificador de discurso de odio más sensible al contexto. Es menos probable que el nuevo algoritmo etiquete erróneamente una publicación como discurso de odio.

El Algoritmo

Los investigadores desarrollaron los nuevos algoritmos teniendo en cuenta dos nuevos factores: el contexto con respecto a los identificadores de grupo y si también hay otras características del discurso de odio presentes en la publicación, como el lenguaje deshumanizante.

Brendan Kennedy es un Ph.D. en ciencias de la computación. estudiante y coautor principal del estudio, que se publicó el 6 de julio en ACL 2020.

“Queremos que la detección del discurso de odio esté más cerca de estar lista para su aplicación en el mundo real”, dijo Kennedy.

“Los modelos de detección del discurso de odio a menudo se 'rompen' o generan malas predicciones cuando se introducen en datos del mundo real, como redes sociales u otros datos de texto en línea, porque están sesgados por los datos en los que están entrenados para asociar la apariencia de términos de identificación social con discurso de odio”.

La razón por la que los algoritmos a menudo son inexactos es que están entrenados en conjuntos de datos desequilibrados con tasas extremadamente altas de discurso de odio. Debido a esto, los algoritmos no logran aprender a manejar cómo se ven las redes sociales en el mundo real. 

El profesor Xiang es un experto en procesamiento del lenguaje natural.

“Es clave que los modelos no ignoren los identificadores, sino que los combinen con el contexto correcto”, dijo Ren.

"Si enseña un modelo a partir de un conjunto de datos desequilibrado, el modelo comienza a detectar patrones extraños y bloquea a los usuarios de manera inapropiada".

Para probar el algoritmo, los investigadores utilizaron una muestra aleatoria de texto de dos sitios de redes sociales que tienen una alta tasa de discurso de odio. El texto fue señalado por primera vez por humanos como prejuicioso o deshumanizante. Luego, el modelo de vanguardia se comparó con el modelo propio de los investigadores para marcar de manera inapropiada el discurso que no es de odio, mediante el uso de 12,500 artículos del New York Times sin discurso de odio presente. Si bien los modelos de última generación pudieron lograr un 77 % de precisión en la identificación del odio frente al no odio, el modelo del investigador fue superior al 90 %. 

“Este trabajo por sí solo no hace que la detección del discurso de odio sea perfecta, ese es un gran proyecto en el que muchos están trabajando, pero hace un progreso gradual”, dijo Kennedy.

“Además de evitar que las publicaciones en las redes sociales de miembros de grupos protegidos sean censuradas de manera inapropiada, esperamos que nuestro trabajo ayude a garantizar que la detección del discurso de odio no cause daños innecesarios al reforzar asociaciones espurias de prejuicio y deshumanización con grupos sociales”.