Um Verificador de Viés Impulsionado por IA para Artigos de Notícias, Disponível em Python

Pesquisadores no Canadá, Índia, China e Austrália colaboraram para produzir um pacote Python gratuitamente disponível que pode ser usado efetivamente para detectar e substituir ‘linguagem injusta’ em textos de notícias.

O sistema, intitulado Dbias, utiliza várias tecnologias de aprendizado de máquina e bancos de dados para desenvolver um fluxo de trabalho circular de três etapas que pode refinar textos tendenciosos até que retorne uma versão não tendenciosa ou, pelo menos, mais neutra.

Linguagem carregada em um trecho de notícia identificada como ‘tendenciosa’ é transformada em uma versão menos incendiária pelo Dbias. Fonte: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

O sistema representa um pipeline reutilizável e autocontido que pode ser instalado via Pip do Hugging Face e integrado a projetos existentes como uma etapa suplementar, adicional ou plugin.

Em abril, uma funcionalidade semelhante implementada no Google Docs foi criticada, não menos por sua falta de editabilidade. O Dbias, por outro lado, pode ser treinado de forma mais seletiva em qualquer corpus de notícias que o usuário final deseje, mantendo a capacidade de desenvolver diretrizes de justiça personalizadas.

A diferença crítica é que o pipeline Dbias é destinado a transformar automaticamente ‘linguagem carregada’ (palavras que adicionam uma camada crítica à comunicação factual) em linguagem neutra ou prosaica, em vez de educar o usuário de forma contínua. Basicamente, o usuário final definirá filtros éticos e treinará o sistema de acordo; na abordagem do Google Docs, o sistema está – argumentavelmente – treinando o usuário, de forma unilateral.

Arquitetura conceitual para o fluxo de trabalho do Dbias.

De acordo com os pesquisadores, o Dbias é o primeiro pacote de detecção de viés verdadeiramente configurável, em contraste com os projetos de montagem pronta que caracterizaram este sub-setor do Processamento de Linguagem Natural (NLP) até o momento.

O novo artigo é intitulado Uma Abordagem para Garantir Justiça em Artigos de Notícias e vem de contribuidores da Universidade de Toronto, Universidade Metropolitana de Toronto, Gestão de Recursos Ambientais em Bangalore, Academia de Ciências DeepBlue na China e da Universidade de Sydney.

Método

O primeiro módulo no Dbias é Deteção de Viés, que utiliza o pacote DistilBERT – uma versão altamente otimizada do BERT da Google, que é bastante intensivo em máquina. Para o projeto, o DistilBERT foi ajustado finamente no conjunto de dados de Anotação de Viés da Mídia (MBIC).

O MBIC consiste em artigos de notícias de várias fontes de mídia, incluindo o Huffington Post, USA Today e MSNBC. Os pesquisadores usaram a versão estendida do conjunto de dados.

Embora os dados originais tenham sido anotados por trabalhadores crowdsourced (um método que foi criticado no final de 2021), os pesquisadores do novo artigo foram capazes de identificar instâncias adicionais não anotadas de viés no conjunto de dados e anexá-las manualmente. Os incidentes identificados de viés relacionados a raça, educação, etnia, linguagem, religião e gênero.

O próximo módulo, Reconhecimento de Viés, usa Reconhecimento de Entidades Nomeadas (NER) para individuar palavras tendenciosas do texto de entrada. O artigo afirma:

‘Por exemplo, a notícia “Não compre a hipótese pseudo-científica sobre tornados e mudanças climáticas” foi classificada como tendenciosa pelo módulo de detecção de viés anterior, e o módulo de reconhecimento de viés pode agora identificar o termo “hipótese pseudo-científica” como uma palavra tendenciosa.’

O NER não é projetado especificamente para essa tarefa, mas foi usado anteriormente para identificação de viés, notadamente para um projeto de 2021 da Universidade de Durham no Reino Unido.

Para esta etapa, os pesquisadores usaram RoBERTa combinado com o pipeline de NER do Transformer Inglês do SpaCy.

A próxima etapa, Máscara de Viés, envolve uma máscara múltipla das palavras tendenciosas identificadas, que opera sequencialmente em casos de múltiplas palavras tendenciosas identificadas.

Linguagem carregada é substituída por linguagem pragmática na terceira etapa do Dbias. Observe que ‘mouthing’ e ‘using’ equivalem à mesma ação, embora o primeiro seja considerado pejorativo.

Se necessário, o feedback desta etapa será enviado de volta ao início do pipeline para avaliação adicional até que um número adequado de alternativas de frases ou palavras tenha sido gerado. Esta etapa usa Modelagem de Linguagem Mascaramento (MLM) ao longo das linhas estabelecidas por uma colaboração de 2021 liderada pela Facebook Research.

Normalmente, a tarefa MLM mascara 15% das palavras aleatoriamente, mas o fluxo de trabalho do Dbias diz ao processo para tomar as palavras tendenciosas identificadas como entrada.

A arquitetura foi implementada e treinada no Google Colab Pro em um NVIDIA P100 com 24GB de VRAM em um tamanho de lote de 16, usando apenas duas etiquetas (tendencioso e não tendencioso).

Testes

Os pesquisadores testaram o Dbias contra cinco abordagens comparáveis: LG-TFIDF com Regressão Logística e TfidfVectorizer (TFIDF) incorporações de palavras; LG-ELMO; MLP-ELMO (uma rede neural artificial de alimentação direta que contém incorporações de ELMO); BERT; e RoBERTa.

As métricas usadas para os testes foram precisão (ACC), precisão (PREC), recall (Rec) e uma pontuação F1. Como os pesquisadores não tinham conhecimento de nenhum sistema existente que pudesse realizar todas as três tarefas em um único pipeline, foi feita uma dispensação para os frameworks concorrentes, avaliando apenas as tarefas primárias do Dbias – detecção e reconhecimento de viés.

Resultados dos testes do Dbias.

O Dbias conseguiu superar os resultados de todos os frameworks concorrentes, incluindo aqueles com uma pegada de processamento mais pesada

O artigo afirma:

‘O resultado também mostra que as incorporações de redes neurais profundas podem superar os métodos de incorporação tradicionais (por exemplo, TFIDF) na tarefa de classificação de viés. Isso é mostrado pelo melhor desempenho das incorporações de redes neurais profundas (por exemplo, ELMO) em comparação com a vetorização TFIDF quando usada com LG.

‘Isso provavelmente ocorre porque as incorporações de redes neurais profundas podem capturar melhor o contexto das palavras no texto em diferentes contextos. As incorporações de redes neurais profundas e os métodos de redes neurais profundas (MLP, BERT, RoBERTa) também performam melhor do que os métodos de ML tradicionais (LG).’

Os pesquisadores também observam que os métodos baseados em Transformer superam os métodos concorrentes na detecção de viés.

Um teste adicional envolveu uma comparação entre o Dbias e várias versões do SpaCy Core Web, incluindo core-sm (pequeno), core-md (médio) e core-lg (grande). O Dbias foi capaz de liderar o quadro também nesses testes:

Os pesquisadores concluem observando que as tarefas de reconhecimento de viés geralmente mostram melhor precisão em modelos maiores e mais caros, devido – especulam – ao aumento do número de parâmetros e pontos de dados. Eles também observam que a eficácia do trabalho futuro neste campo dependerá de esforços maiores para anotar conjuntos de dados de alta qualidade.

A Floresta e as Árvores

Esperamos que este tipo de projeto de reconhecimento de viés de granularidade fina seja eventualmente incorporado a frameworks de busca de viés que sejam capazes de ter uma visão menos míope e considerar que escolher cobrir qualquer história em particular é em si um ato de viés que pode ser impulsionado por mais do que apenas estatísticas de visualização relatadas.

Publicado pela primeira vez em 14 de julho de 2022.