MIT: Misurazione del Bias dei Media in Principali Testate Giornalistiche con Machine Learning

Uno studio del MIT ha utilizzato tecniche di machine learning per identificare frasi tendenziose in circa 100 delle più grandi e influenti testate giornalistiche negli Stati Uniti e oltre, comprese 83 delle più influenti pubblicazioni stampa. Si tratta di uno sforzo di ricerca che mostra la strada verso sistemi automatizzati che potrebbero potenzialmente auto-classificare il carattere politico di una pubblicazione e dare ai lettori una comprensione più profonda della posizione etica di una testata su argomenti che potrebbero essere considerati importanti.

Il lavoro si concentra sul modo in cui gli argomenti vengono trattati con frasi particolari, come immigrato irregolare | immigrato illegale, feto | bambino non nato, manifestanti | anarchici.

Il progetto ha utilizzato tecniche di Natural Language Processing (NLP) per estrarre e classificare tali istanze di “linguaggio carico” (sulla base dell’ipotesi che anche termini apparentemente più “neutri” rappresentano una posizione politica) in una mappatura ampia che rivela il bias di sinistra e destra in oltre tre milioni di articoli da circa 100 testate giornalistiche, risultando in una mappatura navigabile del paesaggio dei bias delle pubblicazioni in questione.

Il documento proviene da Samantha D’Alonzo e Max Tegmark del Dipartimento di Fisica del MIT e osserva che diverse iniziative recenti su “fact checking”, a seguito di numerosi scandali di “fake news”, possono essere interpretate come disoneste e servire gli interessi di particolari gruppi. Il progetto è inteso a fornire un approccio più basato sui dati per studiare l’uso di bias e “linguaggio di influenza” in un contesto di notizie suppostamente neutro.

Uno spettro di frasi (letteralmente) da sinistra a destra, come derivato dallo studio. Fonte: https://arxiv.org/pdf/2109.00024.pdf

Elaborazione NLP

I dati di origine dello studio sono stati ottenuti dal database open source Newspaper3K e comprendevano 3.078.624 articoli ottenuti da 100 fonti di notizie, compresi 83 giornali. I giornali sono stati selezionati in base alla loro portata, mentre le fonti di notizie online includevano articoli dal sito di analisi militare Defense One e Science.

Le fonti utilizzate nello studio.

Il documento riporta che il testo scaricato è stato “minimamente” pre-elaborato. Le citazioni dirette sono state eliminate, poiché lo studio è interessato al linguaggio scelto dai giornalisti (anche se la selezione delle citazioni è di per sé un campo di studio interessante).

Le spellings britanniche sono state cambiate in americane per standardizzare il database, tutta la punteggiatura è stata rimossa e tutti i numeri ordinali sono stati rimossi. La capitalizzazione iniziale delle frasi è stata convertita in minuscolo, ma tutta l’altra capitalizzazione è stata mantenuta.

I primi 100.000 frasi più comuni sono stati identificati e infine classificati, purgati e fusi in una lista di frasi. Tutti i linguaggi ridondanti che potevano essere identificati (come “Condividi questo articolo” e “articolo ripubblicato”) sono stati eliminati. Le variazioni di frasi essenzialmente identiche (ad esempio “big tech” e “Big Tech”, “cybersecurity” e “cyber security”) sono state standardizzate.

‘Nutpicking’

Il test iniziale è stato sull’argomento “Black lives matter” e ha potuto discernere il bias delle frasi e i sinonimi valentici attraverso i dati.

Componenti principali generalizzati per articoli su Black Lives Matter (BLM). Vediamo le persone che partecipano all’azione civile caratterizzate, letteralmente e figurativamente, da sinistra a destra, come manifestanti, anarchici e, all’estremità destra dello spettro, come ‘teppisti’. I giornali che originano la frase sono rappresentati nel pannello di destra.

Mentre i “protestanti” transitano da “anarchici” a “teppisti” man mano che ci spostiamo lungo la posizione politica della testata in questione, il documento nota che l’estrazione e l’analisi NLP sono ostacolate dalla pratica del “nutpicking” – dove una testata giornalistica cita una frase che è considerata valida da un segmento politico diverso della società e può (apparentemente) fare affidamento sul fatto che il suo pubblico la veda in modo negativo. Il documento cita “defund the police” come esempio di questo.

Naturalmente, ciò significa che una frase “di sinistra” appare in un contesto di destra e rappresenta una sfida insolita per un sistema NLP che si affida a frasi codificate per agire come indicatori di posizioni politiche.

Tali frasi sono “bi-valenti”, mentre certe altre frasi hanno una connotazione negativa universale (ad esempio “infanticidio”) che è sempre rappresentata come negativa in un’ampia gamma di testate.

La ricerca rivela anche mapping simili per argomenti “caldi” come l’aborto, la censura tecnologica, l’immigrazione negli Stati Uniti e il controllo delle armi.

Cavalli di battaglia

Ci sono alcune posizioni politiche controversie nelle testate giornalistiche che non si dividono in modo prevedibile, come l’argomento della spesa militare. Il documento ha scoperto che il “di sinistra” CNN è finito accanto al “di destra” National Review e Fox News su questo argomento.

In generale, tuttavia, la posizione politica può essere determinata da altre frasi, come la preferenza per la frase “complesso militare-industriale” rispetto al più di destra “industria della difesa”. I risultati mostrano che il primo è utilizzato da testate critiche dell’establishment come Canary e American Conservative, mentre il secondo è utilizzato più spesso da Fox e CNN.

La ricerca stabilisce diverse altre progressioni da linguaggio critico dell’establishment a linguaggio pro-establishment, tra cui il passaggio da “ucciso” al più passivo “l’uccisione di”; “detenuti” a “persone carcerate”; e “produttori di petrolio” a “big oil”.

Sinonimi valentici con bias dell’establishment, dall’alto in basso.

La ricerca riconosce che le testate possono “allontanarsi” dalla loro posizione politica di base, sia a livello linguistico (come l’uso di frasi bi-valenti), sia per vari altri motivi. Ad esempio, la venerabile pubblicazione di destra del Regno Unito The Spectator, fondata nel 1828, presenta frequentemente e in modo prominente pezzi di pensiero di sinistra che si sfregano contro il flusso politico generale del suo contenuto. Se ciò sia fatto per un senso di reporting imparziale o per inflamare periodicamente i lettori nel traffico generato da commenti è una questione di congettura – e non è un caso facile per un sistema di machine learning che cerca token chiari e coerenti.

Questi particolari “cavalli di battaglia” e l’uso ambiguo di “punti di vista sconvolgenti” tra testate giornalistiche individuali confondono leggermente la mappatura sinistra-destra che la ricerca offre alla fine, sebbene fornisca un’indicazione generale dell’affiliazione politica.

Significato trattenuto

Sebbene datato 2 settembre e pubblicato alla fine di agosto 2021, il documento ha guadagnato relativamente poca attenzione. In parte ciò potrebbe essere dovuto al fatto che la ricerca critica rivolta ai media mainstream è improbabile essere accolta con entusiasmo da essi; ma potrebbe anche essere dovuto alla riluttanza degli autori a produrre grafici chiari e inequivocabili che stratifichino dove le pubblicazioni mediatiche influenti e potenti si posizionano su vari argomenti, insieme a valori aggregati che indicano la misura in cui una pubblicazione si inclina a sinistra o a destra. In effetti, gli autori sembrano prendere precauzioni per smorzare l’effetto potenzialmente incendiario dei risultati.

Allo stesso modo, i dati estensivi pubblicati dal progetto mostrano contatori di frequenza di incidenti di parole, ma sembrano essere anonimi, rendendo difficile ottenere un’immagine chiara del bias dei media attraverso le pubblicazioni studiate. Senza operativizzare il progetto in qualche modo, ciò lascia solo gli esempi selezionati presentati nel documento.

Studi successivi di questo tipo potrebbero essere più utili se considerassero non solo il linguaggio utilizzato per gli argomenti, ma anche se l’argomento è stato trattato affatto, poiché il silenzio parla e ha in sé un carattere politico distinto che spesso parla di più di semplici limitazioni di budget o altri fattori pragmatici che possono informare la selezione delle notizie.

Tuttavia, lo studio del MIT sembra essere il più grande del suo tipo fino ad ora e potrebbe costituire la base per sistemi di classificazione futuri e anche per tecnologie secondarie come plug-in del browser che potrebbero avvertire i lettori occasionali del colore politico della pubblicazione che stanno leggendo.

Bolle, bias e contraccolpo

Inoltre, dovrebbe essere considerato se tali sistemi potrebbero ulteriormente aggravare uno degli aspetti più controversi dei sistemi di raccomandazione algoritmici – la tendenza a portare un lettore in ambienti in cui non si vedono mai punti di vista contrastanti o sfidanti, il che è probabile che rafforzi ulteriormente la posizione del lettore su questioni fondamentali.

Se una tale bolla di contenuto sia un “ambiente sicuro”, un ostacolo alla crescita intellettuale o una protezione contro la propaganda parziale, è un giudizio di valore – una questione filosofica che è difficile affrontare dal punto di vista meccanicistico e statistico dei sistemi di machine learning.

Inoltre, proprio come lo studio del MIT ha preso precauzioni per lasciare che i dati definiscano i risultati, la classificazione del valore politico delle frasi è inevitabilmente anche un tipo di giudizio di valore, e uno che non può facilmente resistere alla capacità del linguaggio di ricodificare contenuti tossici o controversi in nuove frasi che non sono nel manuale, nelle regole del forum o nel database di training.

Se una codificazione di questo tipo dovesse diventare incorporata in sistemi online popolari, sembra probabile che uno sforzo continuo per mappare la temperatura etica e politica delle principali testate giornalistiche potrebbe svilupparsi in una guerra fredda tra la capacità dell’AI di discernere il bias e la capacità degli editori di esprimere la loro posizione in un idioma in evoluzione progettato per superare regolarmente la comprensione dell’AI dei semantici.

14/09/21 – 1.41 GMT+2 – Modificato ‘100 giornali’ in ‘100 testate giornalistiche’
4:58pm – Corretta la citazione del documento per includere Samantha D’Alonzo e relative correzioni.