L’AI può aiutare a identificare le notizie “Pink Slime”

I mulini di opinione con un’agenda, progettati più per influenzare l’opinione pubblica che per servire il pubblico, potrebbero essere più difficili da individuare se l’AI viene utilizzata per farli sembrare più originali e razionali. Quindi la corsa è iniziata per rimanere avanti nel gioco della “detection del pink slime”.

La defunding dei media locali tradizionali negli ultimi vent’anni, sia a causa dell’evoluzione dei trend dei media che, recentemente, della politica del governo degli Stati Uniti, ha lasciato un vuoto nella copertura regionale che è stato prontamente colmato da organizzazioni partigiane che utilizzano l’AI per promuovere le loro agende.

Per mettere il termine “partigiano” nel contesto (considerando che nessuna organizzazione di notizie è senza tendenze politiche di qualche tipo), stiamo parlando di aziende petrolifere che gestiscono siti di notizie locali da località distanti, senza alcuna risorsa locale reale, ma con il mandato di difendere la reputazione pubblica dell’azienda; siti di notizie politicamente motivati privi di qualsiasi flusso di entrate che si preparano alle elezioni; e intere reti di siti di notizie pro-repubblicani che appaiono dal nulla, vicino al momento delle elezioni.

Nel 2024, si stimava che le notizie “pink slime” guidate dall’AI avevano finalmente superato i numeri dei veri outlet di notizie; in quel momento, un sondaggio australiano ha scoperto che il 41% dei consumatori preferiva le fonti “pink slime” rispetto a quelle “reali”.

Questo tipo di elezione occulta, potrebbe essere argomentato, è evoluta da un’arte oscura a una minaccia esistenziale per la democrazia (con riguardo alle organizzazioni politicamente motivate) e alla fiducia del pubblico negli standard di equità nella copertura.

Pertanto, i metodi per distinguere la caratteristica di output dei publisher e dei broadcaster “pink slime” dalle organizzazioni di media tradizionali sarebbero di grande aiuto, almeno per capire chi sono i giocatori e le forze trainanti nel clima informativo attuale.

Come stanno le cose, i tropi e i modelli delle organizzazioni di notizie reali sono molto facili da imitare, e l’AI rende la pubblicazione scalabile una realtà attuale e accessibile, utilizzando molti degli stessi trucchi adottati dai publisher e dai broadcaster “old media” a basso budget.

Segnale e Rumore

Uno studio nuovo degli Stati Uniti affronta questo problema, indagando sull’uso crescente di Large Language Models per far sembrare i siti web “pink slime” meno generici e facili da individuare, e creando un framework di apprendimento progettato per tenere il passo con le evoluzioni dei cambiamenti nell’output “pink slime” (PS).

Intitolato Esposizione del Giornalismo “Pink Slime”: Firme Linguistiche e Rilevamento Robusto contro Minacce Generate da LLM, il nuovo lavoro proviene da cinque ricercatori dell’Università del Texas.

Il nuovo lavoro indaga come gli articoli di notizie locali prodotti in massa differiscono dalla copertura legittima, concentrandosi sulla loro dipendenza da strutture brevi e ripetitive e frasi template con minima variazione; e gli autori notano che gli articoli PS tendono a riutilizzare template identici progettati per manipolare l’opinione pubblica, con appelli all’emozione in primo piano nel contenuto:

Dalla nuova carta – più outlet pubblicano articoli quasi identici con solo i dettagli della località cambiati, rivelando una strategia di copia e incolla utilizzata per produrre contenuti che mimano notizie locali legittime. Fonte

I modelli di rilevamento tradizionali addestrati su questi tratti si eseguono bene contro questo tipo di contenuto, ma falliscono quando gli articoli vengono riscritti utilizzando chatbot AI per apparire più naturali o sofisticati.

I test degli autori indicano che anche piccoli cambiamenti stilistici introdotti da large language models possono ridurre l’accuratezza di rilevamento fino al 40%. Per mitigare questo, propongono un framework di apprendimento continuo che riaddestra gradualmente i modelli di rilevamento su articoli originali e riscritti con AI, per adattarsi ai pattern linguistici in evoluzione.

Metodo

Per stabilire i dati per il progetto, gli autori hanno utilizzato il Pink Slime Dataset, che presenta 7,9 milioni di articoli che coprono 1.093 outlet durante il 2021-2023, da cui hanno ottenuto 9.472 articoli “pink slime” dopo la filtrazione. Hanno anche utilizzato il dataset LIAR, che contiene notizie false annotate, nonché la raccolta NELA-GT-2021, che contiene solo articoli degli Stati Uniti*.

Per preparare i loro set di addestramento e testing, gli autori hanno prima utilizzato l’algoritmo T-distributed Stochastic Neighbor Embedding (t-SNE) per ridurre le embeddings degli articoli a due dimensioni. Quindi hanno applicato l’algoritmo di clustering Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) per isolare cluster di articoli “pink slime” simili.

Ogni cluster è stato trattato come un gruppo di storie correlate, molte delle quali seguivano ancora lo stesso template, nonostante uno sforzo concertato per affrontare le copie.

Per evitare che articoli simili appaiano sia nel set di addestramento che in quello di testing, gli autori hanno selezionato casualmente interi cluster, utilizzando l’80% per l’addestramento e il 20% per il testing. Poiché gli articoli di notizie legittime non formavano cluster chiari, è stato applicato un split casuale invece.

Questo processo è stato ripetuto tre volte, per assicurare la coerenza e ridurre la bias di campionamento.

Caratteristiche del Pink Slime

Commentando i tratti distintivi del PS rispetto alle notizie regolari, i ricercatori affermano che gli articoli di notizie locali di stile PS sono significativamente più brevi e semplici rispetto alla copertura legittima, con una media di meno di nove frasi per articolo.

Una proporzione più alta di frasi semplici e una maggiore dipendenza dagli aggettivi sono ulteriori caratteristiche del “pink slime”, secondo la carta, e indicano una tendenza al linguaggio ripetitivo ed emotivamente carico.

La ricchezza lessicale è stata misurata utilizzando il Root-Type-Token Ratio (RTTR), e si è scoperto che è notevolmente più bassa negli articoli PS, che esibiscono anche meno frasi di sostantivi uniche.

Questi pattern denotano un vocabolario limitato e uno stile formulaico, in contrasto con le notizie locali legittime, che sono caratterizzate da pattern di parte del discorso complessi costruiti intorno a verbi ausiliari, pronomi e congiunzioni. Invece, gli articoli falsi favoriscono strutture di base sostantivo-preposizione, con l’uso frequente di trigrammi basati sulla punteggiatura, suggerendo uno stile di scrittura meno formale e più frammentato.

Test

Per esaminare le associazioni tra diversi tipi di articoli di notizie, basate su caratteristiche linguistiche e strutturali, sono state generate embeddings utilizzando il modello stella_en_400M_v5 da 435 milioni di parametri, e ridotte con Principal Component Analysis (PCA) e t-SNE per la visualizzazione.

Quando proiettati in due dimensioni, gli articoli di notizie locali falsi formano piccoli cluster densi, ciascuno corrispondente a argomenti stretti come statistiche sulla criminalità, aggiornamenti azionari o donazioni caritatevoli:

Pattern di clustering da una proiezione t-SNE rivelano che gli articoli di notizie locali “pink slime” formano gruppi ripetitivi e stretti, mentre le notizie legittime mostrano distribuzioni più ampie e variegate allineate con la diversità di argomento e stile.

Come possiamo vedere, in parte, nella visualizzazione sopra, questo pattern suggerisce un formato rigido e basato su template, con minima variazione tra gli articoli.

Interessante, gli articoli etichettati come “notizie false” divergono dal contenuto “pink slime” locale, mostrando una distribuzione più in linea con le notizie reali, indicando che le notizie locali false prodotte in massa potrebbero non essere semplicemente meno veritiere, ma anche meccanicamente distinte nella forma e nella composizione.

Al contrario, le notizie locali “legittime” formano meno cluster e più spaziati, coerenti con un linguaggio e un soggetto più diversificati, mentre gli articoli di notizie nazionali mostrano una dispersione ancora maggiore, riflettendo una gamma di argomenti più ampia e una coerenza stilistica più lasca.

Confronto delle caratteristiche tra notizie locali legittime e contenuto “pink slime”, indicando che gli articoli PS sono più brevi, utilizzano strutture di frase più semplici, contengono più aggettivi, esibiscono una ricchezza lessicale più bassa, favoriscono trigrammi di parte del discorso di base e contengono meno frasi di sostantivi uniche.

Rilevamento

I ricercatori hanno valutato due principali approcci per rilevare il contenuto “pink slime”: classificazione, basata su caratteristiche linguistiche create a mano; e apprendimento basato su trasformatori fine-tuning.

Per l’approccio basato sulla classificazione, sono state enfatizzate le caratteristiche strutturali piuttosto che semantiche, utilizzando il conteggio delle frasi; la ricchezza lessicale; la profondità sintattica; le probabilità di co-occorrenza di parte del discorso; le probabilità di co-occorrenza dei tag di dipendenza; la leggibilità; e il conteggio di parte del discorso.

Tre modelli sono stati testati su questo set di caratteristiche: XGBoost; Random Forest; e Support Vector Machine (SVM) – con Random Forest che ha mostrato risultati leggermente più forti nel complesso.

Entrambi XGBoost e Random Forest hanno assegnato un’importanza predittiva elevata a caratteristiche come il conteggio delle frasi e il numero di frasi di sostantivi uniche. La leggibilità e le misure di ricchezza lessicale hanno anche influenzato fortemente la classificazione, sebbene i modelli abbiano pesato questi diversamente, con XGBoost che favoriva Flesch e RTTR, mentre Random Forest si basava su CTTR:

Punteggi di importanza delle caratteristiche basati su SHAP (SHapley Additive exPlanations) evidenziano come ogni caratteristica di input influenzi l’output del modello attraverso i campioni. In questo caso, i valori SHAP rivelano che sia XGBoost che Random Forest si basavano principalmente sul conteggio delle frasi e sulle frasi di sostantivi uniche per distinguere il “pink slime” dalle notizie reali, assegnando peso variabile alle misure di ricchezza lessicale e leggibilità.

Come si vede nella precedente comparazione delle caratteristiche (sopra), gli articoli “pink slime” favoriscono il sensazionalismo rispetto al dettaglio, con una ricchezza lessicale più bassa e con meno frasi di sostantivi distinte – rafforzando la conclusione che questo tipo di contenuto è altamente templatizzato e ripetitivo.

I pattern di trigrammi di parte del discorso confermano che le notizie locali legittime tendono a utilizzare forme più complesse, coinvolgendo ausiliari, pronomi e congiunzioni, mentre il “pink slime” favorisce la sintassi minima o frammentata. Questi pattern suggeriscono una base affidabile per distinguere il contenuto sintetico locale dalle notizie reali.

Un secondo round di testing ha coinvolto il fine-tuning di modelli di trasformatori su testo di articoli completi, per catturare sia il contenuto semantico che la struttura sintattica.

BERT, XLNet e Flan-T5 sono stati testati, con BERT che ha raggiunto il punteggio F1 più alto al 89,31% – sebbene la carta noti che le differenze di prestazioni non sono state statisticamente significative. A differenza dei classificatori basati su caratteristiche create a mano, questi modelli aggiornano tutti i pesi durante l’addestramento, permettendo loro di apprendere rappresentazioni specifiche del compito direttamente dai dati.

Un metodo basato su embedding aggiuntivo ha utilizzato un classificatore a livello di downstream completamente connesso che ha eseguito meglio dei modelli basati su caratteristiche create a mano, ma non ha eguagliato l’accuratezza del fine-tuning completo.

Questi approcci hanno tratto vantaggio da un contesto linguistico più ampio – vantaggioso, considerando che gli articoli “pink slime” spesso riciclano contenuti attraverso outlet diversi. Le caratteristiche create a mano, d’altra parte, si basano sulla sola sintassi di superficie, limitando la loro capacità di generalizzare attraverso le fonti.

Potenziamento del Pink Slime con LLM

Per testare se gli articoli “pink slime” potessero essere resi più difficili da rilevare, i ricercatori li hanno riscritti utilizzando large language models. I prompt sono stati progettati per migliorare lo stile di scrittura, espandendo il contenuto, aggiungendo complessità di frase, riducendo l’eccesso di aggettivi, imponendo un tono neutro, utilizzando un vocabolario più vario e aumentando il numero di frasi di sostantivi uniche, con l’obiettivo di nascondere i tratti di superficie su cui si basano la maggior parte dei sistemi di rilevamento.

I modelli testati sono stati Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o mini; e Claude-3.5-Haiku.

Prestazioni di rilevamento (F1) di un classificatore BERT fine-tuned quando gli articoli “pink slime” vengono riscritti da diversi LLM. Punteggi più bassi indicano un’occultamento più efficace.

Tra questi risultati, gli autori commentano:

‘[Tra] i modelli open-source, Qwen è stato il più efficace nell’evitare il rilevamento: quando testato contro un classificatore BERT precedentemente fine-tuned (punteggio F1 di base: 89%), ha portato a una riduzione del 28,34% nelle prestazioni di rilevamento.

‘I modelli closed-source sono stati significativamente più potenti, con sia GPT-4o-mini che Claude-3.5-Haiku che riducono il punteggio F1 di un valore medio del 40%, evidenziando la sfida posta dall’occultamento generato da LLM di alta qualità.’

Questi risultati, sostengono gli autori, mostrano quanto facilmente gli LLM possano mascherare il contenuto “pink slime”, rendendolo molto più difficile per gli strumenti attuali da rilevare**.

Conclusione

Opinione Questa linea di ricerca contiene alcune questioni interessanti, non ultima delle quali è che molte persone (secondo almeno un sondaggio menzionato in precedenza) sostengono il contenuto PS, sapendo cosa è, che porta il contesto peggiorativo in questione. È come se le persone sapessero che ‘Soylent Green è fatto di persone’, ma si strappano e continuano a mangiare; o così potrebbe sembrare, da una prospettiva liberale.

Questo disinteresse pubblico per le notizie algoritmiche potrebbe evolversi e addirittura invertirsi – ma per il momento, sembra stia approfondendosi.

Un’altra cosa che mi ha colpito, leggendo la carta, è il modo in cui la prosa più semplice e il riduzionismo dell’output “pink slime” sono stati trattati come un limite con una possibile soluzione tecnologica, quando il minimalismo, l’emotivismo e il vocabolario limitato sono argomentati come intenzionali.

Se i vari gruppi di interesse dietro il PS vogliono estendere la loro portata a un pubblico più intellettuale o liberale (sebbene questo potrebbe non essere il loro punto di forza), sembra più probabile che si stabiliscano vicino al loro target demografico, piuttosto che cambiare uno stile di linguaggio e un tono che già sembrano raggiungere i loro obiettivi, sulle piattaforme esistenti.

* A causa di una formattazione sfortunata nella carta, la fonte aggiuntiva di articoli di notizie locali non ha una chiara attribuzione. Si prega di fare riferimento alla carta di origine e di indovinare quale dei riferimenti “Horne” si applica.

** Qui si rimanda il lettore alla carta di origine per i dettagli degli esperimenti secondari e supplementari che concludono la sezione dei risultati della nuova carta.

Pubblicato per la prima volta venerdì, 12 dicembre 2025