Un controllore di bias basato sull'intelligenza artificiale per articoli di notizie, disponibile in Python

Ricercatori in Canada, India, Cina e Australia hanno collaborato per produrre un pacchetto Python disponibile gratuitamente che può essere effettivamente utilizzato per individuare e sostituire il "linguaggio ingiusto" nella copia delle notizie.

Il sistema, intitolato Dbias, utilizza varie tecnologie e database di apprendimento automatico per sviluppare un flusso di lavoro circolare in tre fasi in grado di perfezionare testo distorto fino a quando non restituisce una versione imparziale, o almeno più neutra.

Il linguaggio caricato in uno snippet di notizie identificato come "prevenuto" viene trasformato in una versione meno incendiaria da Dbias. Fonte: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Il sistema rappresenta una pipeline riutilizzabile e autonoma che può essere installato tramite Pip da Hugging Face e integrato in progetti esistenti come fase supplementare, componente aggiuntivo o plug-in.

Ad aprile, funzionalità simili implementate in Google Docs è stato criticato, anche per la sua mancanza di modificabilità. Dbias, d'altra parte, può essere addestrato in modo più selettivo su qualsiasi corpus di notizie che l'utente finale desidera, mantenendo la capacità di sviluppare linee guida di correttezza su misura.

La differenza fondamentale è che la pipeline Dbias ha lo scopo di trasformare automaticamente il "linguaggio caricato" (parole che aggiungono uno strato critico alla comunicazione fattuale) in un linguaggio neutro o prosaico, piuttosto che istruire l'utente su base continuativa. In sostanza, l'utente finale definirà i filtri etici e addestrerà il sistema di conseguenza; nell'approccio di Google Docs, il sistema sta – probabilmente – addestrando l'utente, in modo unilaterale.

Architettura concettuale per il flusso di lavoro Dbias.

Secondo i ricercatori, Dbias è il primo pacchetto di rilevamento dei bias veramente configurabile, in contrasto con i progetti di assemblaggio standard che hanno caratterizzato fino ad oggi questo sottosettore dell'elaborazione del linguaggio naturale (NLP).

I nuovo documento è intitolato Un approccio per garantire l'equità negli articoli di notizie, e proviene da collaboratori dell'Università di Toronto, della Toronto Metropolitan University, dell'Environmental Resources Management di Bangalore, della DeepBlue Academy of Sciences in Cina e dell'Università di Sydney.

metodo

Il primo modulo in Dbias è Rilevamento bias, che sfrutta il DistillBERT pacchetto: una versione altamente ottimizzata di Google abbastanza intensiva per la macchina BERTA. Per il progetto, DistilBERT è stato messo a punto sulla Media Bias Annotation (MBIC) insieme di dati.

MBIC è costituito da articoli di notizie da una varietà di fonti dei media, tra cui l'Huffington Post, USA Today e MSNBC. I ricercatori hanno utilizzato la versione estesa del set di dati.

Sebbene i dati originali siano stati annotati da lavoratori in crowdsourcing (un metodo che è finito sotto il fuoco verso la fine del 2021), i ricercatori del nuovo documento sono stati in grado di identificare ulteriori casi di bias non etichettati nel set di dati e li hanno aggiunti manualmente. Le incidenze identificate di pregiudizi relativi a razza, istruzione, etnia, lingua, religione e genere.

Il modulo successivo, Riconoscimento dei pregiudizi, usi Riconoscimento di entità nominate (NER) per individuare parole distorte dal testo di input. Il documento afferma:

"Ad esempio, la notizia "Non comprare la montatura pseudo-scientifica sui tornado e il cambiamento climatico" è stata classificata come distorta dal precedente modulo di rilevamento dei pregiudizi, e il modulo di riconoscimento parziale può ora identificare il termine "campagna pseudo-scientifica". come una parola distorta.'

NER non è specificamente progettato per questo compito, ma è stato utilizzato prima per l'identificazione dei bias, in particolare per a Progetto 2021 dalla Durham University nel Regno Unito.

Per questa fase, i ricercatori hanno utilizzato RoBERta combinato con la pipeline SpaCy English Transformer NER.

La fase successiva, Mascheramento di polarizzazione, comporta una nuova maschera multipla delle parole di bias identificate, che opera in sequenza nei casi di più parole di bias identificate.

Il linguaggio caricato viene sostituito con un linguaggio pragmatico nella terza fase di Dbias. Si noti che "mettere in bocca" e "usare" equivalgono alla stessa azione, sebbene il primo sia considerato derisorio.

Se necessario, il feedback di questa fase verrà rimandato all'inizio della pipeline per un'ulteriore valutazione fino a quando non sarà stato generato un numero di frasi o parole alternative adatte. Questa fase utilizza la modellazione del linguaggio mascherato (MLM) secondo le linee stabilite da a Collaborazione 2021 condotto da Facebook Research.

Normalmente l'attività MLM maschererà il 15% delle parole in modo casuale, ma il flusso di lavoro Dbias dice invece al processo di prendere le parole distorte identificate come input.

L'architettura è stata implementata e addestrata su Google Colab Pro su una NVIDIA P100 con 24 GB di VRAM a una dimensione batch di 16, utilizzando solo due etichette (parziale ed imparziale).

Test

I ricercatori hanno testato Dbias rispetto a cinque approcci comparabili: LG-TFIDF con Regressione logistica ed Tfidf Vectorizer (TFIDF) incorporamenti di parole; LG-ELMO; MLP-ELMO (una rete neurale artificiale feed-forward contenente incorporamenti ELMO); BERT; e Roberta.

Le metriche utilizzate per i test erano accuratezza (ACC), precisione (PREC), richiamo (Rec) e un punteggio F1. Poiché i ricercatori non erano a conoscenza di alcun sistema esistente in grado di svolgere tutti e tre i compiti in un'unica pipeline, è stata fatta dispensa per i framework concorrenti, valutando solo i compiti primari di Dbias: rilevamento e riconoscimento dei bias.

Risultati delle prove Dbias.

Dbias è riuscito a superare i risultati di tutti i framework concorrenti, compresi quelli con un footprint di elaborazione più pesante

Il documento afferma:

"Il risultato mostra anche che gli incorporamenti neurali profondi, in generale, possono superare i metodi tradizionali di incorporamento (ad esempio TFIDF) nel compito di classificazione dei bias". Ciò è dimostrato dalle migliori prestazioni degli incorporamenti di reti neurali profonde (ad esempio, ELMO) rispetto alla vettorizzazione TFIDF quando utilizzato con LG.

"Questo è probabilmente dovuto al fatto che gli incorporamenti neurali profondi possono catturare meglio il contesto delle parole nel testo in contesti diversi." Anche gli incorporamenti neurali profondi e i metodi neurali profondi (MLP, BERT, RoBERTa) hanno prestazioni migliori rispetto al metodo ML tradizionale (LG).'

I ricercatori osservano inoltre che i metodi basati su Transformer superano i metodi concorrenti nel rilevamento dei bias.

Un test aggiuntivo ha comportato un confronto tra Dbias e varie versioni di SpaCy Core Web, tra cui core-sm (piccolo), core-md (medio) e core-lg (grande). Dbias è riuscito a guidare il board anche in queste prove:

I ricercatori concludono osservando che le attività di riconoscimento dei bias generalmente mostrano una migliore accuratezza in modelli più grandi e più costosi, a causa - ipotizzano - dell'aumento del numero di parametri e punti dati. Osservano inoltre che l'efficacia del lavoro futuro in questo campo dipenderà da maggiori sforzi per annotare set di dati di alta qualità.

La foresta e gli alberi

Si spera che questo tipo di progetto di riconoscimento del pregiudizio a grana fine venga infine incorporato in strutture di ricerca del pregiudizio che siano in grado di assumere una visione meno miope e di prendere in considerazione il fatto che la scelta di coprire una storia particolare è di per sé un atto di pregiudizio che è potenzialmente guidato da qualcosa di più delle semplici statistiche di visualizzazione riportate.

Pubblicato per la prima volta l'14 luglio 2022.