La scrittura generata da AI non si “stanca” e quindi si rivela

Lo stile ChatGPT di AI si rivela aumentando la coerenza, mentre la scrittura umana rimane erratica in tutto.

La finestra di contesto limitata della maggior parte dei modelli di linguaggio grandi (LLM) di consumo è uno dei fattori che può farli dimenticare o richiamare in modo errato parti precedenti delle conversazioni degli utenti – errori di richiamo che possono gradualmente trasformare l’output in assurdità totali – o, peggio, testo coerente ingannevole che contiene errori sottili.

Poiché queste circostanze portano a allucinazioni, e poiché le allucinazioni sono ancora l’ostacolo più grande all’avanzata totale di AI sul mercato, è stato speso molto sforzo di ricerca per creare sistemi di intelligenza artificiale generativa che possano creare tranches di testo più lunghe ma più coerenti.

In effetti, si sta facendo così tanto progresso che riconoscere il contenuto di lunga forma di AI (cioè contenuto generato interamente da AI, con – presumibilmente – minima o zero cura umana dopo) è considerato un problema crescente.

Smontare un filibustero AI

Nonostante ciò, recenti studi empirici sostengono che più output che i generatori di testo AI producono in un’unica soluzione, più facile è determinare se quel testo è stato scritto da un umano; ma la saggezza accettata riguardo a questo “ancora” di rilevamento ha assunto che l’AI possa essere discernibile perché qualsiasi cosa stia facendo diversamente dagli umani, ha la possibilità di farlo più spesso in tratti più lunghi.

Nessuna ipotesi viene fatta sulla distribuzione di questi “segni” nel testo stesso.

Per sfidare questo e ampliare il problema, uno studio di ricerca recente e interessante proveniente dalla Cina offre un nuovo metodo per distinguere la nuova generazione di generatori di contenuto di lunga forma di AI dai veri autori umani. I ricercatori dietro il lavoro affermano che la token-su-token natura con cui il testo AI viene generato significa che diventa più coerente con maggiore lunghezza, mentre le eccentricità delle persone non diminuiscono con la lunghezza.

In questo modo, gli autori suggeriscono che la loro intuizione offre un potenziale nuovo metrico per i sistemi di rilevamento del testo AI*:

‘I token generati da AI nella parte finale del testo mostrano fluttuazioni di probabilità più piccole e più stabili man mano che le previsioni del modello diventano sempre più coerenti con l’accumulo del contesto.

‘Chiamiamo questo modello Decadenza della volatilità di fase tardiva. Questo fenomeno riflette il comportamento intrinseco della generazione autoregressiva: man mano che più contesto diventa disponibile, la distribuzione di previsione del modello si affina, portando a una riduzione della variabilità nelle statistiche a livello di token.

‘La scrittura umana, al contrario, continua a introdurre scelte lessicali inaspettate e mantiene una maggiore volatilità in tutto.’

Per catturare questa strana “levigatezza” che si accumula nel testo AI verso la fine, i ricercatori definiscono due semplici funzionalità: la prima misura quanto il comportamento statistico della scrittura “salta intorno” tra token; la seconda controlla quanto le cose rimangono stabili in brevi tratti di testo.

Entrambe vengono calcolate solo dalla seconda metà dell’output, dove l’AI diventa notevolmente più regolare e la scrittura umana non lo è. Gli autori notano che mentre questi segnali funzionano bene da soli, sono ancora più efficaci quando combinati con metodi di rilevamento più vecchi che scansionano modelli più ampi. Notano anche che questo approccio funziona meglio su testi più lunghi, dove il contrasto può diventare più evidente.

Il nuovo articolo offre una metodologia per testare ‘l’AI-ness’ tramite un’analisi delle caratteristiche temporali della seconda metà, senza richiedere ulteriore formazione o regolazione, o accesso privilegiato al modello.

Il nuovo lavoro è intitolato Quando l’AI si stabilizza: stabilità di fase tardiva come firma di rilevamento del testo generato da AI, e proviene da quattro autori dell’Università di Westlake a Hangzhou.

Metodo

Per catturare la crescente levigatezza nel testo generato da AI, i ricercatori hanno progettato due misurazioni che si concentrano solo sulla seconda metà di un passaggio. Queste si basano su punteggi di log-probabilità da un modello di linguaggio standard e non richiedono alcuna regolazione, ri-formazione o campioni aggiuntivi:

Dall’articolo – ogni riga mostra il comportamento di una metrica di base da EvoBench lungo la sequenza di token: valore grezzo (sinistra), derivata assoluta (centro) e deviazione standard locale (destra). Le linee umane e AI sono mostrate in blu e rosso. La maggior parte della divergenza appare nella seconda metà del testo, specialmente per Log Probability e Sampling Discrepancy, che mostrano una separazione crescente e un output AI più liscio. Entropy e Top-K Concentration mostrano poco cambiamento nel tempo. Fonte

La prima misura, chiamata Dispersione della derivata (DD), traccia quanto la fiducia del modello cambia bruscamente da una parola all’altra. Il testo AI tende a stabilirsi in un ritmo, quindi questi cambiamenti diventano più piccoli e più prevedibili nella seconda metà. Al contrario, la scrittura umana rimane “irregolare”.

La seconda misura, Volatilità locale (LV), esamina quanto la fiducia del modello “salta intorno” all’interno di una piccola finestra di testo. Ancora una volta, l’AI tende a diventare più stabile nel tempo, mentre le scelte umane rimangono più sorprendenti e meno coerenti:

Il testo AI diventa più liscio man mano che procede, mentre la scrittura umana rimane irregolare. Questi grafici tracciano come la fiducia del modello cambia nel corso di un passaggio, riflettendo sia la nitidezza del cambiamento tra parole successive sia la quantità di variazione all’interno di tratti locali di testo. In entrambi gli aspetti, il declino è molto più ripido nell’output generato dalla macchina, con il contrasto che diventa particolarmente chiaro dopo il punto di mezzo. Le caselle gialle evidenziano questo divario crescente nella seconda metà, dove la scrittura AI raggiunge fino al 32% in più di stabilità rispetto alla scrittura umana.

Una volta di più, entrambe le metriche vengono calcolate solo dalla seconda metà del testo, dove la differenza tra la scrittura umana e quella della macchina è più evidente. Queste vengono quindi incorporate in un unico valore chiamato Punteggio di rilevamento della stabilità temporale (TSD) – che tende a salire man mano che la scrittura diventa “più liscia” (e quindi più probabile che sia generata da AI). Un semplice soglia è quindi utilizzato per decidere se un dato passaggio è probabilmente scritto da una macchina.

Poiché queste funzionalità si concentrano su quando emerge un modello, piuttosto che su cosa quel modello assomiglia, sono complementate da metodi più vecchi che cercano stranezze statistiche in tutto il passaggio. Aggiungendo il punteggio TSD all’output dell’offerta di fine 2024 Fast‑DetectGPT (anch’esso in collaborazione con Westlake) offre un ulteriore miglioramento dei risultati (specialmente per contenuti di lunga forma dove l’effetto di levigatezza di fase tardiva è più forte).

Dati e test

Gli autori hanno condotto test su due set di dati di benchmark correlati: EvoBench contiene 32.000 coppie di testo umano/AI generate attraverso sette famiglie di modelli, tra cui GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; e Qwen, con un totale di 29 versioni di modelli presentate.

L’altro framework era MAGE, che offre 30.000 coppie di test tra otto famiglie di modelli, tra cui (ma non limitato a) la serie GPT di OpenAI, e le famiglie LLaMA, OPT e FLAN-T5.

Concorrenti

Il nuovo metodo è stato testato contro una gamma di rilevatori zero-shot che utilizzano lo stesso modello surrogato. Probabilità, Entropia, Classifica e Log-Rank (DetectGPT) misurano le statistiche a livello di token su tutto il passaggio; LLR (DetectLLM) applica la normalizzazione per consentire un confronto diretto tra modelli; e Fast-Detect stima la curvatura locale attraverso perturbazioni basate su campionamento.

Lastde analizza le sottosequenze discriminanti nel segnale di probabilità, mentre FourierGPT opera nel dominio della frequenza. Diveye cattura gli spostamenti nella diversità di “sorpresa” lungo la sequenza.

Infine, UCE valuta il profilo di incertezza delle previsioni di token, per identificare modelli di fiducia innaturali.

Implementazione e risultati

Tutti i metodi di rilevamento sono stati eseguiti utilizzando Llama-3-8B-Instruct come modello surrogato condiviso, con sequenze di input limitate a 512 token. Le funzionalità temporali sono state estratte solo dalla seconda metà di ogni passaggio, utilizzando una finestra mobile di 20 token per misurare la volatilità. Una versione fusa del metodo, chiamata TSD+, ha combinato il segnale proposto con Fast-DetectGPT.

Area Under Receiver Operating Characteristic Curve (AUROC) è stato il metrica di valutazione principale^†:

Prestazioni diverse tra i vari metodi testati contro il testo generato da AI. La precisione di rilevamento è mostrata su due benchmark: EvoBench, che copre più LLM di alto profilo, e MAGE, un set di dati complementare. Le metriche sono raggruppate per tipo di metodo: statistiche globali, funzionalità temporali e varianti proposte. I punteggi AUROC medi sono riportati nelle colonne finali. I risultati delle varianti del metodo degli autori superano costantemente i risultati delle baseline precedenti, con TSD+ che produce i punteggi più alti nella maggior parte delle impostazioni del modello.

Tra questi risultati iniziali, gli autori affermano:

‘Le nostre funzionalità temporali semplici raggiungono le prestazioni dello stato dell’arte tra i metodi autonomi, con TSD che raggiunge l’83,36% su EvoBench e il 71,56% su MAGE, superando tutte le baseline, compreso Fast-DetectGPT.

‘Questo è notevole considerando la semplicità del nostro metodo: calcoliamo solo statistiche di secondo ordine dalla seconda metà delle sequenze, senza campionamento di perturbazione o trasformazioni nel dominio della frequenza.’

Il nuovo metodo ha funzionato particolarmente bene su nuovi modelli di AI come GPT-4 e GPT-4o, identificando il testo scritto da AI con maggiore accuratezza rispetto al rilevatore principale, con un divario di prestazioni di fino al 9,66%. Sebbene i modelli avanzati più recenti producano testo meno ovviamente “coerente”, che nasconde alcuni segni di automazione, certi sottili modelli temporali sono ancora evidenti vicino alla fine.

Gli approcci concorrenti che si concentrano su funzionalità strutturali più ampie non sono riusciti a catturare questi modelli di fase tardiva. Integrando un rilevatore globale, il sistema ibrido apparentemente recupera questi segnali mancanti e migliora le prestazioni, in particolare sui benchmark dove i segnali temporali più deboli possono indebolire i segnali temporali.

Conclusione

Un aspetto non affrontato direttamente nel nuovo lavoro è la tendenza degli scrittori umani a iterare il loro lavoro attraverso la stesura e vari strati di controllo – a volte inclusi input esterni, come il contributo di editor e revisori, nonché possibili modifiche suggerite da dipartimenti legali, a seconda del contesto.

I molti stakeholder coinvolti in documenti semplici come un articolo di giornale ben sepolto possono cancellare le eccentricità su cui si concentra il nuovo sistema proposto, e in effetti costituiscono una sorta di “versione analogica” di un processo di stesura assistito da AI.

Inoltre, i sistemi in studio hanno formato tali opere e, poiché i dati di formazione vengono classificati in autorità durante la formazione, le fonti più “pesate” o considerate possono essere le meno “naturali”; almeno, rispetto a qualcuno che compone rapidamente un’e-mail casuale a un collega, piuttosto che assemblare un rapporto annuale per un’assemblea generale.

Un’ulteriore considerazione contrastante è che il contenuto testuale al quale hanno contribuito più persone può anche essere tra i pezzi di prosa più frammentati, difettosi e ripetitivi da inserire in un set di dati, poiché spesso non avranno avuto il beneficio di una voce unificante finale, lasciando la natura frammentata del loro sviluppo evidente nella prosa.

* Stile di testo originale degli autori riprodotto dall’articolo; non sono le mie enfasi.

^† Gli autori affermano ‘primario’, mentre elencano altre metriche di valutazione.

Pubblicato per la prima volta lunedì, 26 gennaio 2026