Un verificador de sesgo impulsado por IA para artículos de noticias, disponible en Python

Los investigadores en Canadá, India, China y Australia han colaborado para producir un paquete de Python de código abierto que puede ser utilizado efectivamente para detectar y reemplazar el ‘lenguaje injusto’ en las copias de noticias.

El sistema, titulado Dbias, utiliza varias tecnologías de aprendizaje automático y bases de datos para desarrollar un flujo de trabajo circular de tres etapas que puede refinar textos sesgados hasta que devuelve una versión no sesgada o al menos más neutral.

El lenguaje cargado en un fragmento de noticias identificado como ‘sesgado’ se transforma en una versión menos incendiaria por Dbias. Fuente: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

El sistema representa una canalización reutilizable y autocontenida que puede ser instalada a través de Pip desde Hugging Face, y integrada en proyectos existentes como una etapa suplementaria, complemento o plugin.

En abril, una funcionalidad similar implementada en Google Docs fue criticada, no menos por su falta de editabilidad. Dbias, por otro lado, puede ser entrenado de manera más selectiva en cualquier corpus de noticias que el usuario final desee, conservando la capacidad de desarrollar pautas de equidad personalizadas.

La diferencia crítica es que la canalización Dbias está diseñada para transformar automáticamente el ‘lenguaje cargado’ (palabras que agregan una capa crítica a la comunicación factual) en lenguaje neutral o prosaico, en lugar de educar al usuario de manera continua. Esencialmente, el usuario final definirá filtros éticos y entrenará el sistema en consecuencia; en el enfoque de Google Docs, el sistema está – argumentablemente – entrenando al usuario, de manera unilateral.

Arquitectura conceptual para el flujo de trabajo de Dbias.

Según los investigadores, Dbias es el primer paquete de detección de sesgo verdaderamente configurable, en contraste con los proyectos de ensamblaje fuera de la estantería que han caracterizado este subsector de Procesamiento de Lenguaje Natural (NLP) hasta la fecha.

El nuevo artículo se titula Un enfoque para garantizar la equidad en los artículos de noticias, y proviene de contribuyentes de la Universidad de Toronto, la Universidad Metropolitana de Toronto, la Gestión de Recursos Ambientales en Bangalore, la Academia de Ciencias DeepBlue en China y la Universidad de Sydney.

Método

El primer módulo en Dbias es Detección de sesgo, que aprovecha el paquete DistilBERT – una versión altamente optimizada del BERT de Google. Para el proyecto, DistilBERT se ajustó en el conjunto de datos de anotación de sesgo de los medios (MBIC).

MBIC consiste en artículos de noticias de una variedad de fuentes de medios, incluyendo The Huffington Post, USA Today y MSNBC. Los investigadores utilizaron la versión extendida del conjunto de datos.

Aunque los datos originales fueron anotados por trabajadores de crowdsourcing (un método que fue criticado a fines de 2021), los investigadores del nuevo artículo pudieron identificar instancias adicionales no etiquetadas de sesgo en el conjunto de datos y las agregaron manualmente. Los incidentes identificados de sesgo se relacionaban con raza, educación, etnia, idioma, religión y género.

El siguiente módulo, Reconocimiento de sesgo, utiliza Reconocimiento de Entidades Nombradas (NER) para individualizar palabras sesgadas del texto de entrada. El artículo establece:

‘Por ejemplo, la noticia “No compre la hipérbole pseudocientífica sobre tornados y cambio climático” ha sido clasificada como sesgada por el módulo de detección de sesgo anterior, y el módulo de reconocimiento de sesgo puede ahora identificar el término “hipérbole pseudocientífica” como una palabra sesgada.’

NER no está diseñado específicamente para esta tarea, pero se ha utilizado anteriormente para la identificación de sesgo, notablemente para un proyecto de 2021 de la Universidad de Durham en el Reino Unido.

Para esta etapa, los investigadores utilizaron RoBERTa combinado con la canalización NER de SpaCy English Transformer.

La siguiente etapa, Enmascaramiento de sesgo, implica una enmascaramiento múltiple de las palabras sesgadas identificadas, que opera secuencialmente en casos de múltiples palabras sesgadas identificadas.

El lenguaje cargado se reemplaza con lenguaje pragmático en la tercera etapa de Dbias. Tenga en cuenta que ‘mouthing’ y ‘using’ equivalen a la misma acción, aunque el primero se considera despectivo.

Según sea necesario, la retroalimentación de esta etapa se enviará de regreso al principio de la canalización para una evaluación adicional hasta que se hayan generado un número adecuado de frases o palabras alternativas. Esta etapa utiliza Modelado de Lenguaje con Máscara (MLM) a lo largo de las líneas establecidas por una colaboración de 2021 liderada por Facebook Research.

Normalmente, la tarea MLM enmascarará el 15% de las palabras aleatoriamente, pero el flujo de trabajo de Dbias indica al proceso que tome las palabras sesgadas identificadas como entrada.

La arquitectura se implementó y se entrenó en Google Colab Pro en un NVIDIA P100 con 24GB de VRAM a un tamaño de lote de 16, utilizando solo dos etiquetas (sesgado y no sesgado).

Pruebas