Un approccio NLP per la rilevazione dell’esagerazione nella giornalismo scientifico

I ricercatori della Danimarca hanno sviluppato un sistema di “rilevamento dell’esagerazione” progettato per mitigare gli effetti della tendenza dei giornalisti a esagerare le implicazioni di nuove ricerche scientifiche quando le riassumono e le segnalano. Il lavoro è stato sollecitato dall’estensione con cui le nuove ricerche pubblicate su COVID-19 sono state distorte nei canali di segnalazione, sebbene gli autori ammettano che è applicabile a un’ampia gamma del settore generale della segnalazione scientifica.

Il documento, intitolato Rilevamento semisupervisionato dell’esagerazione delle comunicati stampa sulla salute scientifica, proviene dall’Università di Copenaghen e osserva che il problema è aggravato dalla tendenza delle pubblicazioni a non includere collegamenti alle ricerche originali – una pratica giornalistica sempre più comune che tenta di sostituire la carta originale e di sostituire il riassunto segnalato come “conoscenza di origine” – anche quando la carta è pubblicamente disponibile.

Dal documento, una tipica manifestazione dell’esagerazione dei saggi scientifici. Fonte: https://arxiv.org/pdf/2108.13493.pdf

Il problema non è limitato alla reazione giornalistica esterna alle nuove carte, ma può estendersi ad altri tipi di riassunto, tra cui gli sforzi di PR interni delle università e delle istituzioni di ricerca; materiale promozionale destinato a sollecitare l’attenzione dei canali di notizie; e i collegamenti di riferimento utili (e potenziale munizione per i round di finanziamento) che ne derivano quando i giornalisti “mordono”.

Il lavoro sfrutta l’elaborazione del linguaggio naturale (NLP) contro un nuovo set di dati di comunicati stampa e abstract appaiati, con i ricercatori che affermano di aver sviluppato ‘[una] nuova, più realistica formulazione del compito’ per la rilevazione dell’esagerazione scientifica. Gli autori hanno promesso di pubblicare il codice e i dati per il lavoro su GitHub presto.

Contrastare la sensazionalizzazione

Una serie di studi ha affrontato il problema della sensazionalizzazione scientifica negli ultimi trent’anni circa, e ha attirato l’attenzione sulla disinformazione che ciò può portare. La defunta sociologa scientifica americana Dorothy Nelkin ha affrontato la questione in modo particolare nel libro del 1987 Vendere la scienza: Come la stampa copre la scienza e la tecnologia; il rapporto Embo del 2006 Cattiva scienza nei titoli ha sottolineato la necessità di più giornalisti con formazione scientifica, proprio mentre Internet stava esercitando pressioni critiche sui budget dei media tradizionali.

Inoltre, nel 2014 la rivista medica britannica ha portato il problema alla ribalta in un rapporto; e uno studio del 2019 di Wellcome Open Research ha stabilito che l’esagerazione dei saggi scientifici non conferisce alcun vantaggio (in termini di portata o traffico) ai canali di notizie e ad altri sistemi di segnalazione che perpetuano questa pratica.

Tuttavia, l’avvento della pandemia ha portato gli effetti negativi di questa iperbole in una prospettiva critica, con una serie di piattaforme di informazione, tra cui la pagina dei risultati di ricerca di Google e l’indice di saggi scientifici di Cornell University Arxiv, che aggiungono automaticamente avvertenze a qualsiasi contenuto che sembra trattare di COVID.

Interfacce modificate per le ricerche e il contenuto relative a COVID, dalla pagina dei risultati di ricerca di Google e dall’influente repository di saggi scientifici di Cornell University Arxiv.

I progetti precedenti hanno tentato di creare sistemi di rilevamento dell’esagerazione per i saggi scientifici sfruttando l’NLP, tra cui una collaborazione del 2019 tra ricercatori di Hong Kong e Cina, e un altro documento (non correlato) della Danimarca nel 2017.

I ricercatori del nuovo documento notano che questi sforzi precedenti hanno sviluppato set di dati di affermazioni da abstract e riassunti da PubMed e EurekAlert, etichettati per ‘forza’, e li hanno utilizzati per addestrare modelli di apprendimento automatico a prevedere la forza dell’affermazione in dati non visti.

MT-PET

La nuova ricerca combina invece un comunicato stampa e un abstract come un’entità di dati combinata, e sfrutta il set di dati risultante in MT-PET, una versione multitasking del training di Pattern Exploiting presentato per la prima volta nel 2020 come Sfruttare le domande Cloze per la classificazione del testo e l’inferenza del linguaggio naturale, uno sforzo di ricerca congiunto di due istituzioni di ricerca tedesche.

Nessun set di dati esistente è stato trovato adatto al compito, e il team ha quindi curato un nuovo set di dati di frasi appaiate da abstract e comunicati stampa correlati, valutate da ‘esperti’ in termini di tendenza all’esagerazione.

I ricercatori hanno utilizzato il framework di classificazione del testo a pochi colpi PETAL come parte di una pipeline per generare automaticamente coppie di pattern-verbalizer, ripetendo poi i dati fino a quando non sono stati trovati tuplet approssimativamente equivalenti per due qualità: rilevamento dell’esagerazione e forza dell’affermazione.

I dati ‘oro’ per il test sono stati riutilizzati dai progetti di ricerca precedenti, consistendo in 823 coppie di abstract e comunicati stampa. I ricercatori hanno rifiutato la possibile utilizzazione dei dati del BMJ del 2014, poiché è parafrasato.

Questo processo ha ottenuto un set di dati di 663 coppie di abstract/rilascio etichettate per esagerazione e forza dell’affermazione. I ricercatori hanno campionato casualmente 100 di essi come dati di addestramento a pochi colpi, con 553 esempi messi da parte per il test. Inoltre, è stato creato un piccolo set di addestramento consistente in 1.138 frasi, classificate in base a是否 rappresentano la principale conclusione del riassunto o del comunicato stampa. Queste sono state utilizzate per identificare ‘frasi di conclusione’ in coppie non etichettate.

Test

I ricercatori hanno testato l’approccio in tre configurazioni: un ambiente supervisionato con dati etichettati esclusivamente; uno scenario PET a singolo compito; e sul nuovo MT-PET, che aggiunge un filo di formulazione secondario come compito ausiliario (poiché l’obiettivo del progetto è esaminare due qualità separate da un set di dati con costrutti di dati appaiati).

I ricercatori hanno scoperto che MT-PET ha migliorato i risultati della base PET in tutti gli ambienti di test, e ha scoperto che l’identificazione della forza dell’affermazione ha aiutato a produrre dati di addestramento a etichetta morbida per il rilevamento dell’esagerazione. Tuttavia, il documento nota che in alcune configurazioni tra una serie complessa di test, in particolare relative alla forza dell’affermazione, la presenza di dati etichettati professionalmente può essere un fattore nei risultati migliorati (rispetto ai progetti di ricerca precedenti che affrontano questo problema). Ciò potrebbe avere implicazioni per la misura in cui la pipeline può essere automatizzata, a seconda dell’enfasi dei dati del compito.

Tuttavia, i ricercatori concludono che MT-PET ‘aiuta nei casi più difficili di identificazione e differenziazione di affermazioni causali dirette da affermazioni più deboli, e che l’approccio più performante coinvolge la classificazione e il confronto della forza dell’affermazione individuale delle affermazioni dei documenti di origine e di destinazione’.

In chiusura, il lavoro specula che MT-PET potrebbe non solo essere applicato a un’ampia gamma di saggi scientifici (al di fuori del settore sanitario), ma potrebbe anche costituire la base di nuovi strumenti per aiutare i giornalisti a produrre migliori panorami dei saggi scientifici (sebbene ciò, forse ingenuamente, supponga che i giornalisti esagerino la forza dell’affermazione per ignoranza), nonché aiutare la comunità di ricerca a formulare un uso più chiaro del linguaggio per spiegare idee complesse. Inoltre, il documento osserva:

‘[deve essere notato che i risultati delle prestazioni predittive riportati in questo documento sono per comunicati stampa scritti da giornalisti scientifici – si potrebbe aspettare risultati peggiori per comunicati stampa che semplificano più fortemente gli articoli scientifici.’