Demozione delle “verità” superate con l’apprendimento automatico

A volte la verità ha una data di scadenza. Quando una pretesa a tempo limitato (come “le mascherine sono obbligatorie nei trasporti pubblici”) emerge nei risultati di ricerca, la sua apparente “soluzione autorevole” può rimanere anche per molti anni, superando contenuti successivi e più precisi sullo stesso argomento.

Questo è un sottoprodotto della determinazione degli algoritmi di ricerca di identificare e promuovere soluzioni “a lungo termine” definitive, e della loro tendenza a priorizzare contenuti ben collegati che mantengono il traffico nel tempo – e di un atteggiamento sempre più cauto nei confronti di nuovi contenuti nell’era emergente delle notizie false.

Alternativamente, svalutare il contenuto web di valore semplicemente perché il timestamp associato ad esso ha superato una “finestra di validità” arbitraria rischia che una generazione di contenuti genuinamente utili venga automaticamente declassata a favore di materiale successivo che potrebbe essere di standard inferiore.

Per porre rimedio a questo sindrome, un nuovo documento di ricercatori in Italia, Belgio e Danimarca ha utilizzato una varietà di tecniche di apprendimento automatico per sviluppare una metodologia per classificazione delle prove basata sul tempo.

Oltre le risposte superate

Il documento è stato scritto da ricercatori della Commissione europea presso il Centro comune di ricerca (JRC) di Ispra, la Katholieke Universiteit di Lovanio e l’Università di Copenaghen.

Il lavoro considera quattro metodi di classificazione temporale applicati su tre metodologie di fact-checking, ognuna con un approccio diverso alla classificazione delle prove, e offre una nuova metodologia per la classificazione che utilizza i timestamp delle prove come “standard oro”. Lo studio mostra che la classificazione delle prove basata sul tempo migliora la perspicacia dei risultati e migliora anche le previsioni di autorità e veracità dei fatti e delle pretese sensibili al tempo.

La ricerca è offerta come un possibile complemento a sistemi esistenti o futuri, e è progettata per aiutare nella ricerca e come possibile fattore aggiuntivo per l’inclusione nello sviluppo di nuovi algoritmi di ricerca evoluti.

Il lavoro modella la dinamica temporale delle prove per il fact-checking basato sul contenuto, e supera gli approcci di “somiglianza semantica” adottati dagli algoritmi di classificazione dei motori di ricerca tipici. Il modello addestrato dai ricercatori utilizza una funzione di apprendimento ottimizzata per classificare che può essere facilmente sovrapposta a un’architettura di fact-checking esistente. I ricercatori sostengono che il sistema è un contributo nuovo al fact-checking automatico.

Modificare più architetture di fact-checking

I ricercatori hanno applicato il loro fattore di tempo limitato a tre architetture di fact-checking esistenti. La prima di queste è il modello Bidirectional Long Short Term Memory (BiLSTM) proposto nel dataset MultiFC rilasciato nel 2019.

La seconda è una modifica alla prima, con una rete neurale ricorrente unidirezionale (RNN) che sostituisce il componente LSTM.

Il terzo modello utilizzato dai ricercatori è un DistilBERT transformer dalla libreria Hugging Faces, una versione distillata del modello NLP BERT di Google.

Su tutte e tre le architetture, i ricercatori hanno applicato una perdita ListMLE, dalla ricerca guidata da Microsoft, che ha contribuito costantemente a nuove ricerche di fact-checking negli ultimi due decenni.

I due principali modelli di fact-checking ai quali il team di ricerca ha aggiunto un componente temporale come filtro per l’autorità e i valori di classificazione successivi. Fonte: https://arxiv.org/pdf/2009.06402.pdf

I valori dei timestamp sono stati estratti dai metadati di addestramento e inclusi come fattori di classificazione in ogni modello.

Test

La valutazione sperimentale del sistema ha coinvolto l’utilizzo del dataset MultiFC, poiché è attualmente l’unico dataset open source di alta qualità disponibile per questo particolare interesse di ricerca. MultiFC contiene 34.924 pretese reali ottenute da 26 diversi domini di fact-checking, tra cui Snopes e il Washington Post.

La previsione della veracità di ogni pretesa è stata aumentata da dieci snippet di prove forniti dall’API di ricerca di Google, e le previsioni sono state ottenute tramite una congiunzione di elementi, tra cui speaker, tag e categorie.

Molto spesso il timestamp rilevante non è necessariamente quello contenuto nei metadati; un articolo può fare riferimento a eventi di tempi precedenti, e in questo caso i sistemi dei ricercatori hanno dovuto prendersi cura di estrarre e convertire quei dati direttamente dal testo. Senza questo processo, una “ripetizione” di notizie obsolete tenderà a darle un nuovo aspetto, in particolare nel caso di siti ad alta autorità, propagando i dati superati.

Le date sono state estratte con una routine Python, e i timestamp ufficiali dei metadati sono stati verificati per la coerenza della formattazione (poiché, ad esempio, la formattazione dei timestamp negli Stati Uniti e nel Regno Unito è diversa). Quando verificati manualmente, non sono stati trovati errori nei timestamp dei metadati.

Risultati

Contro una verifica manuale dei risultati automatici, i ricercatori hanno trovato che la classificazione delle prove basata sul tempo ha migliorato notevolmente le ipotesi di rilevanza basate sulla pura somiglianza semantica o sui ranking dei risultati di ricerca. Hanno anche stabilito che il loro metodo migliora le previsioni di veracità per pretese sensibili al tempo (ad esempio, circostanze in cui una situazione di notizie può cambiare rapidamente, e in cui è essenziale che le informazioni aggiornate vengano priorizzate senza semplicemente forzare la priorità dei risultati più recenti su un argomento).

I ricercatori notano che questo approccio sarà di alto valore nel migliorare i modelli di classificazione per argomenti volatili come la politica e l’intrattenimento, dove le informazioni cambiano rapidamente, e gli sviluppi di alto livello richiedono un quadro per la demozione automatica dalle posizioni più alte nella classificazione che potrebbero aver raggiunto al rilascio.