Anche l’AI di base può ora scrivere notizie che sembrano scritte da esseri umani

Nuove ricerche indicano che anche piccoli modelli di intelligenza artificiale locali possono ora scrivere notizie che le persone non possono distinguere dal vero giornalismo, eguagliando i migliori sistemi e lasciando i lettori incapaci di capire chi ha scritto cosa.

Secondo una nuova collaborazione di ricerca tra Germania e Francia, gli esseri umani non possono capire se un articolo di notizie è stato scritto da un’AI o da un essere umano – anche quando è stato scritto da modelli open source che possono essere scaricati e eseguiti su computer desktop di livello consumer relativamente medio.

In un’altra indicazione che l’AI di piccole dimensioni è in ascesa, un sondaggio di 2.318 giudizi raccolti da 1.054 partecipanti in un portale di studio accademico dedicato ha trovato che i lettori umani non potevano identificare la provenienza di un articolo a un livello superiore a quello casuale, anche quando era stato generato da modelli relativamente modesti con solo sette miliardi di parametri, tra cui Mistral e Llama varianti:

Punteggi di fonte e autenticità medi per LLM testati. I 200 miliardi di parametri di GPT-4o non superano notevolmente i 7B parametri dei modelli più piccoli. Quelli testati per lo studio erano Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o e GPT-3.5. Fonte

Gli autori ritornano su un argomento che avevano esaminato per la prima volta nel 2024 rilascio Blessing or curse? A survey on the Impact of Generative AI on Fake News. I risultati stessi sono i nuovi risultati rilasciati da un progetto più ampio inizialmente annunciato a gennaio e utilizzano il framework di partecipazione online JudgeGPT degli autori.

Potere leggero

Intitolato Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, e proveniente da tre ricercatori dell’Università di Scienze Applicate di Francoforte e dell’unità di ricerca IRISA di Nantes, la nuovo studio fa una distinzione importante tra ‘notizie false’ e ‘notizie scritte da AI’ (poiché le notizie false possono essere scritte da persone o da AI e i due aspetti non sono necessariamente sinonimi).

Tuttavia, forse l’aspetto più interessante è la conclusione del documento che i modelli più piccoli, tra cui Mistral 7B e Gemma 7B possono, con solo sette miliardi di parametri, competere con i modelli come ChatGPT (4o) con 200 miliardi di parametri:

‘I modelli open-weight con solo 7B parametri producono testi valutati non diversamente dai risultati di GPT-4o, indicando che la capacità di generare testi indistinguibili da quelli umani non è più limitata ai modelli di frontiera.’

Tuttavia, ‘notizie generate da AI’ possono rappresentare molte diverse collaborazioni tra esseri umani e AI, dalla correzione ortografica alla completa deferral di sforzo, e lo studio non specifica esattamente che tipo di contenuto AI è stato prodotto per i test (anche se descrive la metodologia per produrlo – vedi sotto).

Metodo

Per i partecipanti coinvolti con la piattaforma JudgeGPT, ogni frammento di notizie è stato valutato utilizzando un framework a due assi in cui hanno fornito tre valutazioni indipendenti su slider continui da 0 a 100:

L’interfaccia utente del portale JudgeGPT, dove i valutatori valutano il materiale in base all’attribuzione della fonte; autenticità; e familiarità con l’argomento. Si prega di fare riferimento al documento di origine per una risoluzione migliore.

Giudizio di fonte ha catturato se un passaggio sembrava scritto da una macchina o da un essere umano; giudizio di autenticità, se era percepito come falso o legittimo; e familiarità con l’argomento, quanto bene il lettore conosceva l’argomento.

Le scale continue sono state utilizzate invece di una scala Likert, per catturare gradi di certezza più precisamente e per supportare l’analisi statistica, inclusa correlazione di Pearson e clustering.

I frammenti di testo generati dalla macchina sono stati prodotti dal framework RogueGPT degli autori, l’architettura di alimentazione per JudgeGPT. RogueGPT orchestra contributi da sei Large Language Model (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; e Mistral 7B.

È stato utilizzato il prompting basato su persona per generare i testi e le generazioni AI sono state basate su argomenti di notizie reali e sono state verificate da esseri umani.

Al contrario, i frammenti di testo scritti da esseri umani sono stati campionati da ‘testate giornalistiche stabilite’ e ‘banche dati di informazioni’ non specificate.

Gli autori osservano:

‘L’insieme di stimoli è intenzionalmente distorto verso frammenti di origine macchina (∼98%), con elementi di origine umana che servono come anchor di calibrazione.

‘Questa scelta di progetto riflette la focalizzazione dello studio sulla variazione all’interno dell’AI (tra modelli) piuttosto che sul confronto umano-AI; i partecipanti non sono stati informati della frequenza di base e i risultati di rilevamento quasi casuale [risultati] si mantengono quando analizzati sul subset di origine umana solo.’

I partecipanti hanno fornito il consenso informato e hanno completato un questionario demografico che copriva età, istruzione, orientamento politico e familiarità con l’AI, dopo di che hanno valutato la sequenza di frammenti di notizie.

Ogni persona ha esaminato tra 5-87 elementi, con una mediana di 12, mentre l’ordine di presentazione è stato randomizzato e l’assegnazione del modello è stata bilanciata tra i partecipanti, per ridurre il bias. La piattaforma ha registrato le tre valutazioni dei slider insieme al tempo di risposta e a un identificatore anonimo, consentendo di collegare i singoli giudizi con fattori di background.

Gli autori sottolineano che il campione si è distorto verso partecipanti istruiti europei, con il 68% con istruzione universitaria e il 74% con sede in Europa – un bias che il documento nota come una limitazione per una generalizzazione più ampia.

Test

I test sono divisi in cinque tipi di risultati: distinguere il testo generato dalla macchina da quello scritto da esseri umani; confrontare la rilevazione tra diversi LLM; esaminare l’effetto dell’esperienza nel dominio rispetto all’orientamento politico sull’accuratezza; identificare strategie di risposta distinte tra i partecipanti; e tracciare come l’accuratezza cambia con valutazioni ripetute, a causa della stanchezza:

Riepilogo dei cinque risultati principali da 2.318 giudizi su 1.054 partecipanti, mostrando che la rilevazione umana del testo scritto da AI è rimasta ai livelli casuali in tutti i modelli, che l’accuratezza era legata all’esperienza nel dominio piuttosto che all’orientamento politico, che i partecipanti si sono raggruppati in profili di fiducia distinti e che le prestazioni sono diminuite dopo circa 30 valutazioni, a causa della fatica cognitiva.

Il test ha mostrato nessuna differenza significativa sopra la casualità nei punteggi di fonte tra le condizioni, apparentemente indicando che i partecipanti non possono distinguere il testo generato da AI da quello scritto da esseri umani:

Distribuzioni dei punteggi di fonte e autenticità per frammenti di origine macchina e umana mostrano un notevole sovrapposizione, senza alcuna separazione significativa tra le due condizioni, e test di statistica – indicando che i partecipanti non potevano distinguere in modo affidabile il testo generato da AI da quello scritto da esseri umani.

Per il secondo aspetto, come mostrato nel grafico all’inizio dell’articolo, il fallimento della rilevazione non variava con il modello, poiché gli output di tutti gli LLM si sono raggruppati intorno ai giudizi al livello casuale, senza differenze significative tra loro. Anche i sistemi open-weight più piccoli come Mistral 7B e Gemma 7B sono stati valutati non diversamente da GPT-4o, indicando che il testo indistinguibile da quello umano potrebbe non essere più limitato ai modelli più grandi.

Per il terzo aspetto, l’accuratezza era più fortemente legata all’esperienza nel dominio che all’orientamento politico, poiché la familiarità con le notizie false ha correlato con giudizi migliori, mentre le opinioni politiche non hanno mostrato alcun effetto significativo, suggerendo che le competenze analitiche apprese possano essere più importanti dell’ideologia:

Risultati del terzo obiettivo di ricerca hanno mostrato che l’orientamento politico non ha avuto alcun effetto significativo sull’attribuzione della fonte o sulla valutazione dell’autenticità, con solo deboli tendenze non significative, mentre la familiarità autodichiarata con le notizie false è stata associata a una maggiore accuratezza in entrambe le dimensioni. Ciò suggerisce che la competenza analitica basata sull’esperienza è stato il predittore più forte delle prestazioni nella valutazione delle notizie generate da AI e umane. Si prega di fare riferimento al documento di origine per una risoluzione migliore.

Il quarto risultato ha mostrato che i partecipanti si sono raggruppati in due stili di risposta distinti identificati come ‘Scettici’ – che hanno assegnato una fiducia bassa a tutti i contenuti indipendentemente dalla loro origine – e ‘Credenti’ – che hanno mantenuto una base di fiducia più alta.

Infine, riguardo al quinto obiettivo, un’analisi a rulli delle valutazioni sequenziali ha mostrato che i partecipanti inizialmente sono diventati migliori nel compito, con un’accuratezza che migliorava nei primi 15-20 giudizi mentre si adattavano al formato:

Medie a rulli dei punteggi di attribuzione della fonte e autenticità attraverso la sequenza delle valutazioni dei partecipanti mostrano una breve fase di miglioramento iniziale, poiché gli utenti sembrano adattarsi al compito durante i primi 15-20 elementi, seguita da un costante declino in entrambe le misure dopo circa 30 valutazioni. Si prega di fare riferimento al documento di origine per una risoluzione migliore.

Tuttavia, questo effetto è stato di breve durata, poiché le prestazioni hanno iniziato a diminuire dopo circa 30 elementi, con i partecipanti che sempre più spesso hanno etichettato i contenuti come falsi – un cambiamento interpretato come fatica cognitiva, e suggerendo limiti chiari su quanto a lungo gli approcci basati sulla rilevazione possano rimanere efficaci, in pratica.

Ciò potrebbe rappresentare alcune prove empiriche del fatto che, esausti alla prospettiva di distinguere le notizie false da quelle vere, le notizie generate da AI da quelle umane, potremmo tendere a default sull’assunzione che le notizie siano generate da AI e/o false (non necessariamente la stessa cosa), per essere ‘sul lato sicuro’. Coloro che considerano questo ‘pigro’ e ritengono che le persone dovrebbero fare le proprie ricerche per verificare una possibile notizia falsa potrebbero essere interessati a sapere che uno studio del 2024 ha indicato che ciò peggiora solo il problema.

Gli autori suggeriscono che il fallimento del giudizio umano evidenziato nei risultati indica che potremmo dover deferire tali questioni a tecnologie di provenienza crittografica come l’iniziativa C2PA guidata da Adobe. Altre possibili soluzioni menzionate sono il framework OriginLens degli autori e un altro progetto chiamato CRED-1.

Gli autori concludono:

‘Possono gli esseri umani capire? Il nostro studio a due assi di 2.318 giudizi su sei famiglie di LLM fornisce una chiara risposta empirica: non possono.

‘Il testo generato dalla macchina è indistinguibile da quello scritto da esseri umani indipendentemente dalle dimensioni del modello o della famiglia, l’esperienza nel dominio predice l’accuratezza della rilevazione più forte dell’orientamento politico, i partecipanti adottano strategie di fiducia distinte e la fatica cognitiva limita la rilevazione sostenuta.

‘Questi risultati supportano un passaggio dagli approcci di rilevamento a livello utente a contromisure a livello di sistema, tra cui la provenienza del contenuto, indicatori di fiducia adattivi e interventi di inoculazione limitati.’

Conclusione

L’aspetto preoccupante di questo documento è la rete di supporto di progetti e documenti che gli autori – o alcuni degli autori, a seconda del lavoro – hanno originato o hanno una mano in; e sarebbe stato sicuramente illuminante se si potessero studiare campioni di testo generato da AI e umano che hanno prodotto questi risultati, per capire meglio il tipo di output che la metodologia di generazione descritta produce.

Nonostante ciò, è intrigante sentire che i modelli open-weight e open source possono competere con i giganti API-driven come la serie ChatGPT – potrebbe essere che il compito in questione non sia poi così difficile e che un modello da 200 miliardi di parametri sia un eccesso per tali compiti? Avremmo bisogno di sapere un po’ di più sui campioni di origine di testo AI e umano sottoposti a test per rispondere a quella domanda.

Nel frattempo, secondo il sito web canirun.ai, Mistral 7B (che era più o meno allo stesso livello di ChatGPT-4o nei test) ‘funziona bene’ su un NVIDIA RTX 3080 con 16GB di VRAM, e funziona ‘decentemente’ su un 3060 con 6GB di VRAM – non certo le schede grafiche più recenti o più potenti in gioco*. Quindi chiunque voglia creare la propria metodologia per la presentazione dei campioni può apparentemente partecipare a questi esperimenti anche.

* Gemma 7B non è elencata nel sito.

Pubblicato per la prima volta giovedì 9 aprile 2026