Los investigadores están empezando a entrenar a la inteligencia artificial para combatir el discurso de odio en línea

Las noticias falsas y el discurso de odio en línea están convirtiéndose en un problema no solo diario, sino minuto a minuto en línea. IkigaiLab informa que Facebook (META ) y Twitter tuvieron que cerrar más de 1.500 millones y 70 millones de cuentas respectivamente para tratar de frenar la propagación de noticias falsas y discurso de odio en todo el mundo.

Aún así, en este momento, tal tarea requiere una gran cantidad de poder humano y casi horas de trabajo constante para apenas tocar la punta del iceberg del discurso de odio. Para resolver el problema, los investigadores en numerosos laboratorios están empezando a entrenar a la inteligencia artificial (IA) para ayudar con esta tarea enorme.

Ikigai cita el sistema Rosetta que Facebook está utilizando para entender la autenticidad de las noticias, imágenes u otro contenido que se sube a esa red social. Como se explica, lo que Rosetta hace es escanear “la palabra, imagen, idioma, fuente, fecha de la publicación entre otras variables y tratar de ver si la información presentada es genuina o no.” Después de que el sistema recopila la información y teniendo en cuenta que la IA todavía no es completamente “hábil para entender insinuaciones, referencias, indirectas y el contexto en el que se publicó el contenido,” los moderadores humanos toman el control y guían al sistema de IA para descubrir el discurso de odio y las noticias falsas.

Para tratar de desarrollar aún más la capacidad de los sistemas de IA para cubrir todas las posibles sutilezas que caracterizan al discurso de odio, un equipo de investigadores en la UC Santa Bárbara y Intel (INTC ), como informa TheNextWeb (TNW), “tomó miles de conversaciones de las comunidades más desagradables de Reddit y Gab y las utilizó para desarrollar y entrenar a la IA para combatir el discurso de odio.”

Según su informe, para hacerlo, el grupo conjunto de investigadores creó un conjunto de datos específico que presentaba “miles de conversaciones especialmente seleccionadas para asegurarse de que estuvieran llenas de discurso de odio.” También utilizaron una lista de los grupos de Reddit que se caracterizan principalmente por el uso de discurso de odio, compilada por Justin Caffier de Vox.

Los investigadores terminaron recopilando “más de 22.000 comentarios de Reddit y más de 33.000 de Gab.” Descubrieron que los dos sitios muestran palabras clave de odio populares similares, pero las distribuciones son muy diferentes.

Notaron que debido a estas diferencias, es muy difícil para las redes sociales, en general, intervenir en tiempo real, ya que el flujo de discurso de odio es tan alto que requeriría a personas reales para seguirlo.

Para abordar el problema, el equipo de investigación empezó a entrenar a la IA para intervenir. Su base de datos inicial se envió a los trabajadores de Amazon (AMZN ) Turk para que la etiquetaran. Después de identificar las instancias individuales de discurso de odio, los trabajadores crearon frases que la IA utilizaría “para disuadir a los usuarios de publicar discurso de odio similar en el futuro.”

Basándose en eso, el equipo “ejecutó este conjunto de datos y su base de datos de intervenciones a través de varios sistemas de aprendizaje automático y procesamiento de lenguaje natural, y creó una especie de prototipo para una IA de intervención en línea contra el discurso de odio.”

Los resultados producidos fueron excelentes, pero como el desarrollo aún se encuentra en una etapa temprana, el sistema no está listo para ser utilizado activamente. Como se explica, “el sistema, en teoría, debería detectar el discurso de odio e inmediatamente enviar un mensaje al publicador para informarle por qué no debería publicar cosas que obviamente representan discurso de odio. Esto se basa en más que solo la detección de palabras clave – para que la IA funcione, debe entender el contexto correctamente.”