Cosa ci dice l’AI sui programmi nascosti nelle notizie

I modelli di tipo ChatGPT stanno essere addestrati per rilevare cosa un articolo di notizie veramente pensa su un argomento – anche quando quel punto di vista è sepolto sotto citazioni, cornici o (a volte disoneste) ‘neutralità’. Dividendo gli articoli in segmenti come titoli, introduzioni e citazioni, un nuovo sistema impara a rilevare i pregiudizi anche nel giornalismo professionale a lungo termine.

La capacità di comprendere il vero punto di vista di uno scrittore o oratore – un obiettivo noto nella letteratura come rilevamento del punto di vista – affronta uno dei problemi interpretativi più difficili del linguaggio: estrarre l’intento da contenuti che possono essere progettati per nasconderlo o oscurarlo.

Da A Modest Proposal di Jonathan Swift, alle recenti esibizioni di attori politici che prendono in prestito la polemica dei loro oppositori ideologici, la superficie di una dichiarazione non è più un indicatore affidabile della sua intenzione; l’ascesa dell’ironia, del trolling, della disinformazione e dell’ambiguità strategica ha reso più difficile che mai capire quale lato sostenga un testo, o se sostenga un lato.

Spesso, ciò che non viene detto ha lo stesso peso di ciò che viene affermato, e semplicemente scegliere di trattare un argomento può segnalare la posizione dell’autore.

Ciò rende il compito del rilevamento automatico del punto di vista insolitamente impegnativo, poiché un sistema di rilevamento efficace deve fare più che etichettare singole frasi come ‘sostegnate’ o ‘oppositive’: deve invece iterare attraverso strati di significato, pesando piccoli indizi contro la forma e la deriva dell’intero articolo; e ciò è più difficile nel giornalismo a lungo termine, dove il tono può cambiare e l’opinione può essere raramente espressa apertamente.

Agenti di cambiamento

Per affrontare alcune di queste questioni, i ricercatori in Corea del Sud hanno sviluppato un nuovo sistema chiamato JOA-ICL (Apprendimento in contesto guidato dal giornalismo) per rilevare il punto di vista degli articoli di notizie a lungo termine.

L’idea fondamentale dietro JoA-ICL è che il punto di vista a livello di articolo è inferito aggregando previsioni a livello di segmento prodotte da un agente di modello linguistico separato. Fonte: https://arxiv.org/pdf/2507.11049

Invece di giudicare un articolo nel suo complesso, JOA-ICL lo divide in parti strutturali (titolo, introduzione, citazioni e conclusione) e assegna ogni parte a un modello linguistico più piccolo, che etichetta il segmento come sostegnato, oppositivo o neutrale.

Queste previsioni locali vengono poi passate a un modello più grande, che le utilizza per determinare il punto di vista generale dell’articolo.

Il metodo è stato testato su un nuovo set di dati coreano compilato, contenente 2.000 articoli di notizie annotati per punto di vista a livello di articolo e a livello di segmento. Ogni articolo è stato etichettato con l’input di un esperto di giornalismo, riflettendo come il punto di vista è distribuito nella struttura della scrittura professionale.

Secondo il documento, JOA-ICL supera sia i metodi basati su prompt che quelli fine-tuned, dimostrando una particolare forza nel rilevamento di punti di vista sostegnati (che i modelli con un ambito simile tendono a perdere). Il metodo si è anche rivelato efficace quando applicato a un set di dati tedesco in condizioni uguali, indicando che i suoi principi sono potenzialmente resilienti alle forme linguistiche.

Gli autori affermano:

‘Gli esperimenti mostrano che JOA-ICL supera i metodi di rilevamento del punto di vista esistenti, evidenziando i vantaggi dell’agenzia a livello di segmento nel catturare la posizione generale degli articoli di notizie a lungo termine.”

Il nuovo documento è intitolato Apprendimento in contesto guidato dal giornalismo per il rilevamento del punto di vista nelle notizie, e proviene da varie facoltà dell’Università Soongsil di Seul, nonché dalla Scuola di laurea in strategia futura del KAIST.

Metodo

Parte della sfida del rilevamento del punto di vista aiutato dall’AI è logistica, e legata a quanto segnale un sistema di apprendimento automatico possa conservare e raccogliere in un momento, allo stato attuale dell’arte.

Gli articoli di notizie tendono a evitare dichiarazioni dirette di opinione, affidandosi invece a un implicito o presunto punto di vista, segnalato attraverso scelte su quali fonti citare, come la narrazione è inquadrata e quali dettagli sono omessi, tra molte altre considerazioni.

Anche quando un articolo assume una posizione chiara, il segnale è spesso disperso nel testo, con diversi segmenti che puntano in direzioni diverse. Poiché i modelli linguistici (LM) ancora lottano con finestre di contesto limitate, ciò può rendere difficile per i modelli valutare il punto di vista nel modo in cui lo fanno con contenuti più brevi (come i tweet e altri social media a breve termine), dove la relazione tra il testo e il target è più esplicita.

Pertanto, gli approcci standard spesso non funzionano quando applicati al giornalismo completo; un caso in cui l’ambiguità è una caratteristica piuttosto che un difetto.

Il documento afferma:

‘Per affrontare queste sfide, proponiamo un approccio di modellazione gerarchico che prima inferisce il punto di vista a livello di unità discorsive più piccole (ad esempio, paragrafi o sezioni), e successivamente integra queste previsioni locali per determinare il punto di vista generale dell’articolo.

‘Questo framework è progettato per conservare il contesto locale e catturare i segnali di punto di vista dispersi nella valutazione di come diverse parti di una storia di notizie contribuiscono alla sua posizione generale su un argomento.’

A questo scopo, gli autori hanno compilato un nuovo set di dati intitolato K-NEWS-STANCE, tratto dalla copertura delle notizie coreane tra giugno 2022 e giugno 2024. Gli articoli sono stati identificati attraverso BigKinds, un servizio di metadata governativo gestito dalla Korea Press Foundation, e i testi completi sono stati recuperati utilizzando l’API di Naver News. Il set di dati finale comprendeva 2.000 articoli da 31 testate, che coprivano 47 questioni di rilievo nazionale.

Ogni articolo è stato annotato due volte: una volta per il suo punto di vista generale su un argomento dato, e di nuovo per segmenti individuali; in particolare il titolo, introduzione, conclusione e citazioni dirette.

L’annotazione è stata guidata dall’esperto di giornalismo Jiyoung Han, anche il terzo autore del documento, che ha guidato il processo attraverso l’uso di segnali stabiliti da studi sui media, come la selezione delle fonti, inquadratura lessicale e modelli di citazione. Attraverso questi mezzi è stato ottenuto un totale di 19.650 etichette di punto di vista a livello di segmento.

Per assicurarsi che gli articoli contenessero segnali di punto di vista significativi, ogni articolo è stato classificato per genere, e solo quelli etichettati come analisi o opinione (dove l’inquadratura soggettiva è più probabile che si verifichi) sono stati utilizzati per l’annotazione del punto di vista.

Due annotatori addestrati hanno etichettato tutti gli articoli e sono stati istruiti a consultare articoli correlati nel caso in cui il punto di vista non fosse chiaro, con disaccordi risolti attraverso discussioni e ulteriori revisioni.

Voci di esempio dal set di dati K-NEWS-STANCE, tradotte in inglese. Vengono mostrati solo il titolo, l’introduzione e le citazioni; il testo del corpo è omesso. L’evidenziazione indica etichette di punto di vista per le citazioni, con il blu per il sostegno e il rosso per l’opposizione. Si prega di fare riferimento al PDF di origine per una rappresentazione più chiara.

JoA-ICL

Invece di trattare un articolo come un blocco di testo unico, il sistema proposto dagli autori divide l’articolo in parti strutturali chiave: titolo, introduzione, citazioni e conclusione, assegnando ogni parte a un agente di modello linguistico, che etichetta il segmento come sostegnato, oppositivo o neutrale.

Queste previsioni locali vengono poi passate a un secondo agente che decide il punto di vista generale dell’articolo, con i due agenti coordinati da un controller che prepara i prompt e raccoglie i risultati.

Così JoA-ICL adatta l’apprendimento in contesto (dove il modello impara da esempi nel prompt) per corrispondere al modo in cui vengono scritte le storie di notizie professionali, utilizzando prompt consapevoli del segmento invece di un input generico unico.

(Si prega di notare che la maggior parte degli esempi e delle illustrazioni nel documento sono lunghi e difficili da riprodurre in modo leggibile in un articolo online. Pertanto, si prega il lettore di esaminare il PDF di origine)

Dati e test

Nei test, i ricercatori hanno utilizzato macro F1 e accuratezza per valutare le prestazioni, mediando i risultati su dieci run con semi casuali da 42 a 51 e segnalando l’errore standard. I dati di training sono stati utilizzati per fine-tuning i modelli di base e gli agenti a livello di segmento, con campioni a pochi shot selezionati attraverso una ricerca di similarità utilizzando KLUE-RoBERTa-large.

I test sono stati eseguiti su tre GPU RTX A6000 (ognuna con 48 GB di VRAM), utilizzando Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 e vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku e Gemini 2 Flash sono stati utilizzati tramite API, a una temperatura di 1,0 e con token massimi impostati su 1000 per prompt di catena di pensieri, e 100 per gli altri.

Per il fine-tuning completo di Exaone-3.5-2.4B, è stato utilizzato l’ottimizzatore AdamW a una velocità di apprendimento di 5e-5, con un decadimento del peso di 0,01, 100 passi di riscaldamento e con i dati addestrati per 10 epoche con una dimensione del batch di 6.

Per le basi, gli autori hanno utilizzato RoBERTa, fine-tuned per il rilevamento del punto di vista a livello di articolo; Chain-of-Thought (CoT) Embeddings, un tuning alternativo di RoBERTa per il compito assegnato; LKI-BART, un modello encoder-decoder che aggiunge conoscenze contestuali da un modello linguistico grande attraverso il prompt con il testo di input e l’etichetta di punto di vista prevista; e PT-HCL, un metodo che utilizza apprendimento contrastivo per separare funzioni generali da quelle specifiche dell’argomento di destinazione:

Prestazioni di ogni modello sul set di test K-NEWS-STANCE per la previsione del punto di vista generale. I risultati sono mostrati come macro F1 e accuratezza, con il punteggio più alto in ogni gruppo in grassetto.

JOA-ICL ha raggiunto le migliori prestazioni generali sia in accuratezza che in macro F1, un vantaggio evidente in tutti e tre i backbone testati: GPT-4o-mini, Claude 3 Haiku e Gemini 2 Flash.

Il metodo basato su segmenti ha costantemente superato tutti gli altri approcci, con, come osservano gli autori, un notevole vantaggio nel rilevamento di punti di vista sostegnati, un punto debole comune in modelli simili.

I modelli di base hanno ottenuto risultati peggiori nel complesso. RoBERTa e le varianti di Chain-of-Thought hanno lottato con casi sfumati, mentre PT-HCL e LKI-BART hanno ottenuto risultati migliori, ma ancora inferiori a JOA-ICL nella maggior parte delle categorie. Il risultato più preciso singolo è stato ottenuto da JOA-ICL (Claude), con il 64,8% di macro F1 e il 66,1% di accuratezza.

L’immagine seguente mostra quante volte i modelli hanno etichettato ogni etichetta correttamente o scorrettamente:

Matrici di confusione che confrontano il modello di base e JOA-ICL, mostrando che entrambi i metodi lottano di più nel rilevamento di punti di vista ‘sostegnati’.

JOA-ICL ha funzionato meglio nel complesso rispetto al modello di base, ottenendo più etichette corrette in ogni categoria. Tuttavia, entrambi i modelli hanno lottato di più con gli articoli sostegnati, e il modello di base ha classificato erroneamente quasi la metà, scambiandoli spesso per neutrali.

JOA-ICL ha fatto meno errori, ma ha mostrato lo stesso modello, rafforzando l’idea che i punti di vista ‘positivi’ siano più difficili da rilevare per i modelli.

Per testare se JOA-ICL funziona oltre i confini della lingua coreana, gli autori lo hanno eseguito su CheeSE, un set di dati tedesco per il rilevamento del punto di vista a livello di articolo. Poiché CheeSE manca di etichette a livello di segmento, i ricercatori hanno utilizzato supervisione a distanza, assegnando a ogni segmento la stessa etichetta di punto di vista dell’articolo completo.

Risultati del rilevamento del punto di vista nel set di dati tedesco CheeSE. JOA-ICL migliora costantemente la promptazione zero-shot su tutti e tre i LLM e supera i modelli di base fine-tuned, con Gemini-2.0-flash che fornisce le prestazioni generali più forti.

Anche in condizioni ‘rumorose’, JOA-ICL ha superato sia i modelli fine-tuned che la promptazione zero-shot. Tra i tre backbone testati, Gemini-2.0-flash ha fornito i migliori risultati.

Conclusione

Pochi compiti di apprendimento automatico sono più carichi politicamente del rilevamento del punto di vista; eppure, spesso viene gestito in termini freddi e meccanici, mentre si presta più attenzione a questioni meno complesse nell’AI generativa, come la creazione di video e immagini, che scatenano titoli più rumorosi.

Lo sviluppo più incoraggiante nel nuovo lavoro coreano è che offre un contributo significativo all’analisi di contenuti a lungo termine, piuttosto che tweet e social media a breve termine, i cui effetti incendiari sono più rapidamente dimenticati di un trattato, un saggio o un’altra opera significativa.

Una nota omissione nel nuovo lavoro e (per quanto posso vedere) nel corpus di rilevamento del punto di vista in generale è la mancanza di considerazione per gli iperlink, che spesso sostituiscono le citazioni come risorse opzionali per i lettori per saperne di più su un soggetto; tuttavia, deve essere chiaro che la scelta di tali URL è potenzialmente molto soggettiva e persino politica.

Detto questo, più è prestigiosa la pubblicazione, meno probabile che includa qualsiasi collegamento che guidi il lettore lontano dal dominio dell’host; questo, insieme a diversi altri usi e abusi SEO degli iperlink, li rende più difficili da quantificare rispetto a citazioni esplicite, titoli o altre parti di un articolo che possono cercare, consapevolmente o no, di influenzare l’opinione del lettore. Prima pubblicazione mercoledì, 16 luglio 2025