Un controllo di bias guidato da AI per articoli di notizie, disponibile in Python

I ricercatori in Canada, India, Cina e Australia hanno collaborato per produrre un pacchetto Python gratuito che può essere utilizzato efficacemente per rilevare e sostituire il “linguaggio ingiusto” negli articoli di notizie.

Il sistema, intitolato Dbias, utilizza varie tecnologie di apprendimento automatico e database per sviluppare un flusso di lavoro circolare a tre fasi che può raffinare testi distorti fino a quando non restituisce una versione non distorta o almeno più neutra.

Linguaggio carico in un estratto di notizie identificato come ‘distorto’ è trasformato in una versione meno incendiaria da Dbias. Fonte: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Il sistema rappresenta una pipeline riutilizzabile e autonoma che può essere installata tramite Pip da Hugging Face e integrata in progetti esistenti come una fase supplementare, add-on o plugin.

In aprile, una funzionalità simile implementata in Google Docs è stata criticata, non meno per la sua mancanza di editabilità. Dbias, d’altra parte, può essere addestrato in modo più selettivo su qualsiasi corpus di notizie che l’utente finale desidera, mantenendo la capacità di sviluppare linee guida di equità personalizzate.

La differenza fondamentale è che la pipeline Dbias è progettata per trasformare automaticamente il “linguaggio carico” (parole che aggiungono uno strato critico alla comunicazione fattuale) in linguaggio neutro o prosaico, piuttosto che istruire l’utente in modo continuo. In sostanza, l’utente finale definirà filtri etici e addestrerà il sistema di conseguenza; nell’approccio di Google Docs, il sistema è – argomenta – che sta addestrando l’utente, in modo unilaterale.

Architettura concettura per il flusso di lavoro Dbias.

Secondo i ricercatori, Dbias è il primo pacchetto di rilevamento di bias veramente configurabile, in contrasto con i progetti di assemblaggio pronti all’uso che hanno caratterizzato questo sottosettore dell’elaborazione del linguaggio naturale (NLP) fino ad ora.

Il nuovo articolo è intitolato Un approccio per garantire l’equità negli articoli di notizie e proviene da contributori dell’Università di Toronto, dell’Università Metropolitana di Toronto, di Environmental Resources Management a Bangalore, dell’Accademia di Scienze DeepBlue in Cina e dell’Università di Sydney.

Metodo

Il primo modulo in Dbias è Rilevamento di bias, che sfrutta il pacchetto DistilBERT – una versione altamente ottimizzata della macchina di Google piuttosto intensiva BERT. Per il progetto, DistilBERT è stato addestrato sul dataset di annotazione di bias dei media (MBIC).

MBIC consiste in articoli di notizie da una varietà di fonti di notizie, tra cui Huffington Post, USA Today e MSNBC. I ricercatori hanno utilizzato la versione estesa del dataset.

Sebbene i dati originali siano stati annotati da lavoratori crowdsourced (un metodo che è stato criticato alla fine del 2021), i ricercatori del nuovo articolo sono stati in grado di identificare ulteriori istanze non etichettate di bias nel dataset e le hanno aggiunte manualmente. Le istanze di bias identificate erano relative a razza, istruzione, etnia, lingua, religione e genere.

Il prossimo modulo, Riconoscimento di bias, utilizza Riconoscimento di entità nominate (NER) per individuare parole distorte dal testo di input. L’articolo afferma:

‘Ad esempio, la notizia “Non comprare l’ipotesi pseudo-scientifica sulle trombe d’aria e il cambiamento climatico” è stata classificata come distorta dal modulo di rilevamento di bias precedente, e il modulo di riconoscimento di bias può ora identificare il termine “ipotesi pseudo-scientifica” come una parola distorta.’

NER non è specificamente progettato per questo compito, ma è stato utilizzato in precedenza per l’identificazione di bias, in particolare per un progetto del 2021 dell’Università di Durham nel Regno Unito.

Per questa fase, i ricercatori hanno utilizzato RoBERTa combinato con la pipeline di riconoscimento di entità nominate SpaCy English Transformer.

La prossima fase, Maschera di bias, coinvolge una maschera multipla delle parole di bias identificate, che opera in modo sequenziale in caso di più parole di bias identificate.

Linguaggio carico è sostituito con linguaggio pragmatico nella terza fase di Dbias. Nota che ‘mouthing’ e ‘using’ equivalgono alla stessa azione, sebbene il primo sia considerato derisorio.

Se necessario, il feedback da questa fase sarà inviato indietro all’inizio della pipeline per ulteriore valutazione fino a quando non saranno state generate un numero sufficiente di alternative di frasi o parole. Questa fase utilizza la modellazione del linguaggio mascherato (MLM) lungo le linee stabilite da una collaborazione del 2021 guidata da Facebook Research.

Normalmente, il compito MLM maschera il 15% delle parole in modo casuale, ma il flusso di lavoro Dbias invece dice al processo di prendere le parole di bias identificate come input.

L’architettura è stata implementata e addestrata su Google Colab Pro su un NVIDIA P100 con 24GB di VRAM a una dimensione del batch di 16, utilizzando solo due etichette (distorto e non distorto).

Test

I ricercatori hanno testato Dbias contro cinque approcci comparabili: LG-TFIDF con regressione logistica e TfidfVectorizer (TFIDF) embedding di parole; LG-ELMO; MLP-ELMO (un’artificiale rete neurale feed-forward che contiene embedding ELMO); BERT; e RoBERTa.

Le metriche utilizzate per i test sono state accuratezza (ACC), precisione (PREC), richiamo (Rec) e un punteggio F1. Poiché i ricercatori non avevano conoscenza di alcun sistema esistente che potesse eseguire tutti e tre i compiti in una sola pipeline, è stata fatta una dispensazione per le strutture concorrenti, valutando solo i compiti principali di Dbias – rilevamento di bias e riconoscimento.

Risultati dei test di Dbias.

Dbias è riuscito a superare i risultati di tutte le strutture concorrenti, comprese quelle con un’impronta di elaborazione più pesante

L’articolo afferma:

‘Il risultato mostra anche che le embedding di reti neurali profonde possono superare i metodi di embedding tradizionali (ad esempio TFIDF) nel compito di classificazione di bias. Ciò è dimostrato dalle prestazioni migliori delle embedding di reti neurali profonde (ad esempio ELMO) rispetto alla vectorizzazione TFIDF quando utilizzate con LG.

‘Ciò è probabilmente dovuto al fatto che le embedding di reti neurali profonde possono catturare meglio il contesto delle parole nel testo in contesti diversi. Le embedding di reti neurali profonde e i metodi di reti neurali profonde (MLP, BERT, RoBERTa) eseguono anche meglio dei metodi di apprendimento automatico tradizionali (LG).’

I ricercatori notano anche che i metodi basati su Transformer superano i metodi concorrenti nel rilevamento di bias.

Un test aggiuntivo ha coinvolto un confronto tra Dbias e vari flavor di SpaCy Core Web, tra cui core-sm (piccolo), core-md (medio) e core-lg (grande). Dbias è riuscito a guidare la tavola anche in questi test:

I ricercatori concludono osservando che i compiti di riconoscimento di bias mostrano generalmente una maggiore accuratezza nei modelli più grandi e più costosi, a causa – ipotizzano – del numero crescente di parametri e punti dati. Notano anche che l’efficacia del lavoro futuro in questo campo dipenderà da maggiori sforzi per annotare dataset di alta qualità.

La foresta e gli alberi

Speriamo che questo tipo di progetto di riconoscimento di bias a grana fine sarà eventualmente incorporato in framework di ricerca di bias in grado di avere una visione meno miope e di considerare che la scelta di coprire una particolare storia è in sé un atto di bias che potrebbe essere guidato da più di sole statistiche di visualizzazione segnalate.

Pubblicato per la prima volta il 14 luglio 2022.