Angolo di Anderson
Uno strumento basato sull’IA per rilevare i bias negli articoli di notizie, disponibile in Python

Punti chiaveDbias是首个用于新闻文章的可配置偏见检测包。
Vedi di più
- Dbias是首个用于新闻文章的可配置偏见检测包。
- 该管道自动将加载的语言转化为中性文本,而非对用户进行训练。
- Dbias在偏见检测方面优于所有竞争框架,包括BERT和RoBERTa。
I ricercatori in Canada, India, Cina e Australia hanno collaborato per produrre un pacchetto Python gratuito che può essere utilizzato efficacemente per rilevare e sostituire il “linguaggio ingiusto” negli articoli di notizie.
Il sistema, intitolato Dbias, utilizza varie tecnologie di apprendimento automatico e database per sviluppare un flusso di lavoro circolare a tre fasi che può raffinare testi distorti fino a quando non restituisce una versione non distorta o almeno più neutra.

Linguaggio carico in un estratto di notizie identificato come ‘distorto’ è trasformato in una versione meno incendiaria da Dbias. Fonte: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
Il sistema rappresenta una pipeline riutilizzabile e autonoma che può essere installata tramite Pip da Hugging Face e integrata in progetti esistenti come una fase supplementare, add-on o plugin.
In aprile, una funzionalità simile implementata in Google Docs è stata criticata, non meno per la sua mancanza di editabilità. Dbias, d’altra parte, può essere addestrato in modo più selettivo su qualsiasi corpus di notizie che l’utente finale desidera, mantenendo la capacità di sviluppare linee guida di equità personalizzate.
La differenza fondamentale è che la pipeline Dbias è progettata per trasformare automaticamente il “linguaggio carico” (parole che aggiungono uno strato critico alla comunicazione fattuale) in linguaggio neutro o prosaico, piuttosto che istruire l’utente in modo continuo. In sostanza, l’utente finale definirà filtri etici e addestrerà il sistema di conseguenza; nell’approccio di Google Docs, il sistema – si potrebbe sostenere – sta addestrando l’utente, in modo unilaterale.

Architettura concettuale per il flusso di lavoro Dbias.
Secondo i ricercatori, Dbias è il primo pacchetto di rilevamento di bias veramente configurabile, in contrasto con i progetti di assemblaggio pronti all’uso che hanno caratterizzato questo sottosettore dell’elaborazione del linguaggio naturale (NLP) fino ad ora.
Il nuovo articolo è intitolato Un approccio per garantire l’equità negli articoli di notizie e proviene da contributori dell’Università di Toronto, dell’Università Metropolitana di Toronto, di Environmental Resources Management a Bangalore, dell’Accademia di Scienze DeepBlue in Cina e dell’Università di Sydney.
Metodo
Il primo modulo in Dbias è Rilevamento di bias, che sfrutta il pacchetto DistilBERT – una versione altamente ottimizzata del modello di Google, piuttosto esigente in termini di risorse computazionali, BERT. Per il progetto, DistilBERT è stato ulteriormente addestrato sul dataset di annotazione di bias dei media (MBIC).

MBIC consiste in articoli di notizie da una varietà di fonti di notizie, tra cui Huffington Post, USA Today e MSNBC. I ricercatori hanno utilizzato la versione estesa del dataset.
Sebbene i dati originali siano stati annotati da lavoratori crowdsourced (un metodo che è stato criticato alla fine del 2021), i ricercatori del nuovo articolo sono stati in grado di identificare ulteriori istanze non etichettate di bias nel dataset e le hanno aggiunte manualmente. Le istanze di bias identificate erano relative a razza, istruzione, etnia, lingua, religione e genere.
Il prossimo modulo, Riconoscimento di bias, utilizza Riconoscimento di entità nominate (NER) per individuare parole distorte dal testo di input. L’articolo afferma:
‘Ad esempio, la notizia “Non credere al clamore pseudoscientifico sulle trombe d’aria e il cambiamento climatico” è stata classificata come distorta dal modulo di rilevamento di bias precedente, e il modulo di riconoscimento di bias può ora identificare il termine “clamore pseudoscientifico” come una parola distorta.’
NER non è specificamente progettato per questo compito, ma è stato utilizzato in precedenza per l’identificazione di bias, in particolare per un progetto del 2021 dell’Università di Durham nel Regno Unito.
Per questa fase, i ricercatori hanno utilizzato RoBERTa combinato con la pipeline di riconoscimento di entità nominate SpaCy English Transformer.

La prossima fase, Mascheramento del bias, utilizza un nuovo metodo con più maschere per le parole con bias identificate, che opera in modo sequenziale in caso di più parole di bias identificate.

Linguaggio carico è sostituito con linguaggio pragmatico nella terza fase di Dbias. Nota che ‘mouthing’ e ‘using’ equivalgono alla stessa azione, sebbene il primo sia considerato derisorio.
Se necessario, il feedback da questa fase sarà inviato indietro all’inizio della pipeline per ulteriore valutazione fino a quando non sarà stato generato un insieme di formulazioni o parole alternative adatte. Questa fase utilizza la modellazione del linguaggio mascherato (MLM) secondo un approccio definito da una collaborazione del 2021 guidata da Facebook Research.
Normalmente, il compito MLM maschera il 15% delle parole in modo casuale, ma il flusso di lavoro Dbias invece dice al processo di prendere le parole di bias identificate come input.
L’architettura è stata implementata e addestrata su Google Colab Pro su un NVIDIA (NVDA ) P100 con 24GB di VRAM a una dimensione del batch di 16, utilizzando solo due etichette (distorto e non distorto).
Test
I ricercatori hanno testato Dbias contro cinque approcci comparabili: LG-TFIDF con regressione logistica e TfidfVectorizer (TFIDF) embedding di parole; LG-ELMO; MLP-ELMO (un’artificiale rete neurale feed-forward che contiene embedding ELMO); BERT; e RoBERTa.
Le metriche utilizzate per i test sono state accuratezza (ACC), precisione (PREC), richiamo (Rec) e un punteggio F1. Poiché i ricercatori non avevano conoscenza di alcun sistema esistente che potesse eseguire tutti e tre i compiti in una sola pipeline, è stata fatta una deroga per i sistemi concorrenti, valutando solo i compiti principali di Dbias – rilevamento di bias e riconoscimento.

Risultati dei test di Dbias.
Dbias è riuscito a superare i risultati di tutte le strutture concorrenti, comprese quelle con un’impronta di elaborazione più pesante
L’articolo afferma:
‘Il risultato mostra anche che le embedding di reti neurali profonde possono superare i metodi di embedding tradizionali (ad esempio TFIDF) nel compito di classificazione di bias. Ciò è dimostrato dalle prestazioni migliori delle embedding di reti neurali profonde (ossia ELMO) rispetto alla vectorizzazione TFIDF quando utilizzate con LG.’
‘Ciò è probabilmente dovuto al fatto che le embedding di reti neurali profonde possono catturare meglio il contesto delle parole nel testo in contesti diversi. Le embedding di reti neurali profonde e i metodi di reti neurali profonde (MLP, BERT, RoBERTa) offrono anche prestazioni migliori dei metodi di apprendimento automatico tradizionali (LG).’
I ricercatori notano anche che i metodi basati su Transformer superano i metodi concorrenti nel rilevamento di bias.
Un test aggiuntivo ha coinvolto un confronto tra Dbias e varie versioni di SpaCy Core Web, tra cui core-sm (piccolo), core-md (medio) e core-lg (grande). Dbias è riuscito a ottenere i risultati migliori anche in questi test:

I ricercatori concludono osservando che i compiti di riconoscimento di bias mostrano generalmente una maggiore accuratezza nei modelli più grandi e più costosi, a causa – ipotizzano – del numero crescente di parametri e punti dati. Notano anche che l’efficacia del lavoro futuro in questo campo dipenderà da maggiori sforzi per annotare dataset di alta qualità.
La foresta e gli alberi
Speriamo che questo tipo di progetto di riconoscimento di bias a grana fine sarà eventualmente incorporato in framework di ricerca di bias in grado di avere una visione meno miope e di considerare che la scelta di coprire una particolare storia è in sé un atto di bias che potrebbe essere guidato da più di sole statistiche di visualizzazione segnalate.
Pubblicato per la prima volta il 14 luglio 2022.












