Un verificador de sesgo impulsado por IA para artículos de noticias, disponible en Python

Investigadores en Canadá, India, China y Australia han colaborado para producir un paquete de Python de código abierto que puede ser utilizado efectivamente para detectar y reemplazar el ‘lenguaje injusto’ en copias de noticias.

El sistema, titulado Dbias, utiliza diversas tecnologías de aprendizaje automático y bases de datos para desarrollar un flujo de trabajo circular de tres etapas que puede refinar texto sesgado hasta que devuelve una versión no sesgada o al menos más neutral.

Lenguaje cargado en un fragmento de noticias identificado como ‘sesgado’ se transforma en una versión menos incendiaria por Dbias. Fuente: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

El sistema representa una canalización reutilizable y autocontenida que puede ser instalada a través de Pip desde Hugging Face, y integrada en proyectos existentes como una etapa suplementaria, complemento o plugin.

En abril, una funcionalidad similar implementada en Google Docs fue criticada, no solo por su falta de editabilidad. Dbias, por otro lado, puede ser entrenado de manera más selectiva en cualquier corpus de noticias que el usuario final desee, conservando la capacidad de desarrollar pautas de equidad personalizadas.

La diferencia crítica es que la canalización Dbias está diseñada para transformar automáticamente el ‘lenguaje cargado’ (palabras que agregan una capa crítica a la comunicación fáctica) en lenguaje neutral o prosaico, en lugar de educar al usuario de manera continua. Esencialmente, el usuario final definirá filtros éticos y entrenará el sistema en consecuencia; en el enfoque de Google Docs, el sistema está –arguablemente– entrenando al usuario, de manera unilateral.

Arquitectura conceptual para el flujo de trabajo de Dbias.

Según los investigadores, Dbias es el primer paquete de detección de sesgo verdaderamente configurable, en contraste con los proyectos de ensamblaje de fábrica que han caracterizado este subsector de Procesamiento de Lenguaje Natural (NLP) hasta la fecha.

El nuevo artículo se titula Un enfoque para garantizar la equidad en artículos de noticias, y proviene de contribuyentes de la Universidad de Toronto, la Universidad Metropolitana de Toronto, la Gestión de Recursos Ambientales en Bangalore, la Academia de Ciencias DeepBlue en China y la Universidad de Sydney.

Método

El primer módulo en Dbias es Detección de sesgo, que aprovecha el paquete DistilBERT – una versión altamente optimizada de la BERT de Google. Para el proyecto, DistilBERT se ajustó en el conjunto de datos de Anotación de sesgo de los medios (MBIC).

MBIC consiste en artículos de noticias de una variedad de fuentes de medios, incluyendo The Huffington Post, USA Today y MSNBC. Los investigadores utilizaron la versión extendida del conjunto de datos.

Aunque los datos originales fueron anotados por trabajadores de crowdsourcing (un método que fue criticado a finales de 2021), los investigadores del nuevo artículo pudieron identificar instancias adicionales no etiquetadas de sesgo en el conjunto de datos y las agregaron manualmente. Los incidentes identificados de sesgo se relacionaban con raza, educación, etnia, idioma, religión y género.

El siguiente módulo, Reconocimiento de sesgo, utiliza Reconocimiento de Entidades Nombradas (NER) para individuar palabras sesgadas del texto de entrada. El artículo establece:

‘Por ejemplo, la noticia “No compre la propaganda seudocientífica sobre tornados y cambio climático” ha sido clasificada como sesgada por el módulo de detección de sesgo anterior, y el módulo de reconocimiento de sesgo puede ahora identificar el término “propaganda seudocientífica” como una palabra sesgada.’

NER no está diseñado específicamente para esta tarea, pero ha sido utilizado anteriormente para la identificación de sesgo, notablemente para un proyecto de 2021 de la Universidad de Durham en el Reino Unido.

Para esta etapa, los investigadores utilizaron RoBERTa combinado con la canalización de NER de Transformador de SpaCy en inglés.

La siguiente etapa, Enmascaramiento de sesgo, implica una máscara múltiple de las palabras sesgadas identificadas, que opera secuencialmente en casos de múltiples palabras sesgadas identificadas.

El lenguaje cargado se reemplaza con lenguaje pragmático en la tercera etapa de Dbias. Tenga en cuenta que ‘mouthing’ y ‘using’ equivalen a la misma acción, aunque el primero se considera despectivo.

Según sea necesario, la retroalimentación de esta etapa se enviará de regreso al principio de la canalización para una evaluación adicional hasta que se hayan generado un número adecuado de frases o palabras alternativas. Esta etapa utiliza Modelado de Lenguaje Enmascarado (MLM) a lo largo de las líneas establecidas por una colaboración de 2021 liderada por Facebook Research.

Normalmente, la tarea de MLM enmascarará el 15% de las palabras aleatoriamente, pero el flujo de trabajo de Dbias le dice al proceso que tome las palabras sesgadas identificadas como entrada.

La arquitectura se implementó y se entrenó en Google Colab Pro en un NVIDIA P100 con 24GB de VRAM a un tamaño de lote de 16, utilizando solo dos etiquetas (sesgado y no sesgado).

Pruebas

Los investigadores probaron Dbias contra cinco enfoques comparables: LG-TFIDF con Regresión Logística y TfidfVectorizer (TFIDF) incrustaciones de palabras; LG-ELMO; MLP-ELMO (una red neural artificial de alimentación directa que contiene incrustaciones de ELMO); BERT; y RoBERTa.

Las métricas utilizadas para las pruebas fueron precisión (ACC), precisión (PREC), recuerdo (Rec) y una puntuación F1. Como los investigadores no tenían conocimiento de ningún sistema existente que pudiera realizar las tres tareas en una canalización única, se hizo una dispensación para los marcos competidores, evaluando solo las tareas principales de Dbias – detección y reconocimiento de sesgo.

Resultados de las pruebas de Dbias.

Dbias superó los resultados de todos los marcos competidores, incluidos aquellos con una huella de procesamiento más pesada

El artículo establece:

‘El resultado también muestra que las incrustaciones de redes neuronales profundas pueden superar a los métodos de incrustación tradicionales (por ejemplo, TFIDF) en la tarea de clasificación de sesgo. Esto se muestra por el mejor desempeño de las incrustaciones de redes neuronales profundas (es decir, ELMO) en comparación con la vectorización de TFIDF cuando se utiliza con LG.

‘Esto se debe probablemente a que las incrustaciones de redes neuronales profundas pueden capturar mejor el contexto de las palabras en el texto en diferentes contextos. Las incrustaciones y métodos de redes neuronales profundas (MLP, BERT, RoBERTa) también funcionan mejor que los métodos de aprendizaje automático tradicionales (LG).’

Los investigadores también observan que los métodos basados en Transformadores superan a los métodos competidores en la detección de sesgo.

Una prueba adicional involucró una comparación entre Dbias y varios sabores de SpaCy Core Web, incluyendo core-sm (pequeño), core-md (mediano) y core-lg (grande). Dbias también lideró la tabla en estas pruebas:

Los investigadores concluyen observando que las tareas de reconocimiento de sesgo generalmente muestran una mejor precisión en modelos más grandes y costosos, debido – especulan – al aumento del número de parámetros y puntos de datos. También observan que la eficacia del trabajo futuro en este campo dependerá de mayores esfuerzos para anotar conjuntos de datos de alta calidad.

El bosque y los árboles

Esperemos que este tipo de proyecto de reconocimiento de sesgo de grano fino eventualmente se incorpore a marcos de búsqueda de sesgo que puedan tomar una visión menos miope y considerar que elegir cubrir cualquier historia en particular es en sí mismo un acto de sesgo que puede estar impulsado por más que solo estadísticas de visualización informadas.

Publicado por primera vez el 14 de julio de 2022.