Rilevare le idee dell’IA, non il testo dell’IA

E se esistesse un rilevatore di testo IA in grado di riconoscere che hai scritto qualcosa basandoti su un idea che l’IA ti ha fornito – anche se tutta la scrittura effettiva (cioè il testo) è il tuo lavoro originale?

Conosciamo tutti i rilevatori di testo IA che imbarazzano celebrità e politici, tra gli altri – algoritmi che hanno studiato le caratteristiche del testo generato dall’IA e possono distinguere tali schemi quando emergono.

Questi casi rappresentano una semplice delega di un compito comunicativo, in cui modelli linguistici come ChatGPT e Google Gemini predicono il token più probabile successivo in risposta al prompt di un utente – non facendo un passo indietro per osservare il quadro più ampio del problema o della proposta, ma semplicemente indovinando la parola più probabile successiva.

Tuttavia, questo mosaico di previsioni genera alla fine una struttura sottostante, secondo ricerche recenti: la necessità che le sezioni di testo adiacenti siano coerenti e pertinenti l’una all’altra induce lo sviluppo di una firma unica nell’«outline» o nella dimensionalità superiore dell’opera – una che può distinguere la mano dell’IA anche quando il testo è riscritto ampiamente per «umanizzarlo»:

La distinta ‘forma’ ad alta dimensionalità della scrittura sotto vari LLM e – a sinistra – la pura scrittura umana. Source

Ideazione dell’IA mirata

Una nuova collaborazione accademica guidata dall’University of Maryland va oltre, offrendo una metodologia in grado di rilevare se le stesse idee sono state generate dall’IA, indipendentemente da chi abbia infine scritto le parole.

L’approccio, denominato IdeaLens e addestrato su un milione di schemi estratti da documenti web, si concentra sulla riduzione di ogni documento a uno schema che preserva le sue idee eliminando la formulazione – ed è accompagnato da una demo online:

A sinistra, uno dei miei articoli appare come umano nella demo online, mentre un altro articolo che ho inviato (scritto da un altro autore) sembra aver ricevuto un notevole contributo dell’IA. Source

Come mostrato nei risultati della demo di esempio sopra, i metodi di rilevamento utilizzati possono distinguere tra idee umane e prosa umana, e idee IA e prosa IA, e valutarle in modo granulare e distinto – nonostante i due rilevatori siano stati addestrati sugli stessi documenti, etichette e architettura di modello sottostante, pur essendo progettati per rilevare essenzialmente cose opposte: la provenienza delle idee e la provenienza della prosa.

Si sospetta che questo ambito di rilevamento possa mettere a disagio diverse categorie di scrittori, dai redattori di discorsi politici ai romanzieri e columnisti, oltre ad altri che, finora, hanno valorizzato il proprio stile di scrittura, ma hanno lasciato che l’IA alimentasse i loro argomenti.

Una ragione per cui è probabile che i LLM producano idee riconoscibili (e quindi rintracciabili) non è solo che certi concetti e testi avranno dominato statisticamente i dati di addestramento poco curati del modello, rendendoli più propensi a emergere in una più ampia gamma di richieste; ma anche perché i LLM hanno ossessioni misteriose e ripetitive che non sembrano nemmeno riferirsi a dati di addestramento specifici, eppure spesso appaiono spontaneamente.

Gli autori affermano*:

‘Mentre i moderni rilevatori di IA identificano chi ha scritto le parole, le politiche emergenti sull’uso dell’IA si basano sempre più su una domanda diversa: chi ha ideato le idee? Presentiamo IdeaLens, un rilevatore che identifica se le idee di un documento provengono da un umano o da un’IA (provenienza delle idee), indipendentemente da chi abbia scritto le parole.’

‘Per concentrare IdeaLens sulle idee piuttosto che sulla prosa, rappresentiamo i documenti come schemi: elenchi di elementi che associano a ciascuno un ruolo discorsivo a una breve descrizione parafrasata del contenuto, riducendo al minimo la sovrapposizione a livello di parole con il testo grezzo.’

Dati e Metodi

Il documento afferma che il nuovo metodo può identificare le idee umane in documenti generati dall’IA (cioè, qualcuno ha detto a un’IA ‘Scrivimi un saggio su questo argomento‘); e può anche identificare le idee dell’IA nella scrittura umana (cioè, qualcuno ha detto a un’IA ‘Suggeriscimi qualcosa su cui scrivere’).

Risultati dei test su quattro combinazioni di idee e prosa umane e IA. Tutti e quattro i rilevatori funzionano bene quando idee e prosa condividono la stessa origine, ma divergono nettamente quando la provenienza è mista: IdeaLens riconosce correttamente il 94,7% dei documenti scritti da IA basati su idee umane come di origine umana, e individua idee IA nel 68% delle storie scritte da umani, rispetto solo all’8% per Pangram 4 e allo 0% per ProseLens e EditLens-3B. Fonte

Il rilevamento è più semplice quando la provenienza è più chiara – ad esempio, quando un testo scritto da un umano si basa su idee generate da IA, o quando un output generato da IA deriva da un’idea umana. Quando queste forze di provenienza variano, il rilevamento diventa più difficile.

I ricercatori hanno testato questa distinzione modificando gradualmente la quota del piano sottostante di un documento che proviene da una persona. In un esperimento, ai modelli IA sono stati forniti piani umani sempre più dettagliati, che vanno da poco più di un argomento a uno schema completo.

Man mano che il contributo umano aumentava, la percentuale di segnalazione AI di IdeaLens è scesa dal 94,9% al 6,8%; e i rilevatori di prosa convenzionali hanno continuato a identificare per lo più il testo risultante come IA:

Risultati dei test che mostrano cosa accade quando una quota sempre maggiore del piano sottostante di un documento scritto da IA è fornita da un umano. IdeaLens riconosce sempre più l’origine umana delle idee, con la sua percentuale di segnalazione AI che scende dal 94,9% per un prompt solo argomento al 6,8% per uno schema umano completo; i rilevatori di testo convenzionali ProseLens e Pangram continuano a classificare la maggior parte della scrittura risultante come IA.

Poiché le idee devono essere separate dal linguaggio usato per esprimerle, e non esiste un ampio set di dati che registri chi ha realmente originato le idee in un documento, i ricercatori hanno invece addestrato IdeaLens su scritture IA esistenti etichette – ma hanno rimosso la maggior parte del testo stesso:

Come IdeaLens separa le idee dalla prosa durante l’addestramento e il test, rispetto al rilevatore di testo convenzionale ProseLens. Un articolo di opinione di esempio di 1.321 parole viene ridotto a uno schema etichettato per ruolo, con i punti categorizzati per funzione, come un resoconto di evento o una valutazione. Durante l’addestramento, questi schemi sono stati ulteriormente parafrasati per rimuovere il linguaggio ereditato dai documenti sorgente prima che IdeaLens apprendesse dalle etichette IA esistenti di Pangram. Per i nuovi documenti, lo schema estratto può quindi essere passato direttamente a IdeaLens per stimare la probabilità che le idee siano di origine IA. La parte inferiore della figura mostra un secondo rilevatore – ‘ProseLens’ – usato dai ricercatori per il confronto, che invece riceve il testo completo e stima se la prosa stessa è generata da IA.

Come mostrato sopra, ogni documento è stato ridotto a uno schema che descrive ciò che viene detto e il ruolo che ogni punto svolge nel documento. Durante l’addestramento, quegli schemi sono stati parafrasati per rimuovere ulteriormente le tracce della formulazione originale degli autori. IdeaLens può quindi fare le sue previsioni principalmente dalle idee che rimangono, piuttosto che da caratteristiche rivelatrici della prosa.

Sono stati creati tre set di dati per il progetto: IdeaShift; IdeaShift-X; e TwiceTold. IdeaShift è stato creato a partire da 500 documenti seed scritti da umani e generati da IA prelevati dal corpus di test esistente dei ricercatori. GPT-5.6 Sol per trasformare ciascuno in prompt progressivamente più dettagliati, da ‘solo argomento’ a uno schema completo. GPT-5.6 è stato poi usato per generare nuovi documenti.

IdeaShift-X, invece, ha utilizzato 10.000 documenti scritti da umani FineWeb2 in 24 lingue, applicando il protocollo IdeaShift sopra menzionato per generare versioni IA in ciascuna lingua.

Il terzo set di dati, TwiceTold, è stato scritto da studenti universitari sotto la supervisione degli autori, per evitare il possibile uso di IA intrinseca nel crowd‑sourcing di tali dati. Cinquanta storie sono state scritte da zero, ma utilizzando uno schema di 500 parole fornito da ChatGPT-5.6 Sol.

Test

I rilevatori propri dei ricercatori comprendevano IdeaLens in forma di outline e documento; il già citato ProseLens; versioni ModernBERT-L di entrambi i sistemi; versioni Qwen3.5-9B di IdeaLens; e una variante IdeaLens logistic-classifier.

Questi sono stati confrontati con Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; e Rank.

Per i test, l’Accuratezza è stata misurata verificando se l’etichetta AI o umana prevista corrispondeva alla fonte delle idee. IdeaLens, ProseLens e EditLens hanno utilizzato una soglia globale di FPR dell’1 %; le etichette AI, AI-assisted e umane di Pangram 4 sono state binarizzate; e Fast-DetectGPT, Binoculars, MELD e Desklib hanno usato le loro soglie predefinite.

La valutazione più ampia ha impiegato 19 benchmark esterni, inclusi 14 che coprono materiale interamente umano o interamente AI, e 10 contenenti testi umani successivamente modificati dall’AI. Sono stati testati altri 50 000 documenti in‑domain, mentre 10 000 documenti pre‑ChatGPT C4 sono stati usati per valutare i falsi positivi:

Risultati dei test che confrontano l’accuratezza dei rilevatori quando le idee e il testo hanno la stessa o diversa origine. IdeaLens mantiene un’alta accuratezza in entrambi i casi, al 95,3 % per la provenienza condivisa e all’81,3 % per la provenienza mista; i rilevatori concorrenti mostrano prestazioni notevolmente peggiori quando la fonte delle idee differisce dalla fonte del testo.

Su 51 test estratti da 22 benchmark, IdeaLens è stato l’unico rilevatore a ottenere risultati solidi quando le idee e il testo provenivano dalla stessa o da fonti diverse, raggiungendo rispettivamente il 95,3 % e l’81,3 %.

In confronto, ProseLens e Pangram 4 hanno ottenuto punteggi superiori al 98 % quando idee e testo condividevano la stessa fonte, ma sono scesi intorno al 25 % quando non lo facevano.

Gli autori dichiarano di questi risultati*:

‘Poiché ProseLens ha la stessa architettura di base, i documenti di addestramento e le etichette di addestramento di IdeaLens, ciò evidenzia l’impatto della nostra rappresentazione outline, che una ModernBERT-based pair replica con una diversa architettura di base.’

‘IdeaLens si trasferisce anche in modo inaspettatamente efficace a input di testo grezzo durante il test, mostrando un’alta accuratezza per la provenienza condivisa e un’accuratezza della provenienza mista sostanzialmente più alta rispetto a ProseLens.’

Tutti e tre i rilevatori hanno identificato con successo quasi tutte le storie originali scritte dall’AI. Su TwiceTold, IdeaLens ha identificato idee di origine AI nel 68 % delle storie scritte da umani, rispetto allo 0 % per ProseLens e all’8 % per Pangram 4:

IdeaLens assegna probabilità AI simili alle storie originali scritte dall’AI e alle versioni di TwiceTold scritte da umani basate sugli stessi outline generati dall’AI, mentre le probabilità AI di ProseLens diminuiscono drasticamente una volta che il testo viene riscritto dagli umani.

Nonostante sia stato addestrato in inglese, IdeaLens si è generalizzato su 24 lingue di IdeaShift-X, segnalando il 95,3 % dei documenti basati su idee AI – ma solo lo 0,7 % quando le idee sono state fornite da un piano umano dettagliato. Su 10 000 documenti umani pre‑ChatGPT nelle stesse lingue, il tasso di falsi positivi è stato di appena lo 0,1 %.

Gli autori ammettono che un dataset più ampio sarebbe desiderabile in lavori futuri e che il rumore nelle etichette del dataset potrebbe necessitare di correzioni. Tuttavia, chi desidera proseguire su questa interessante prima esperienza può ricorrere al GitHub repository che gli autori del documento hanno reso disponibile; e i semplicemente curiosi possono incollare test ‘sospetti’ nel demo site del progetto e valutare personalmente se il metodo è in linea con le proprie stime o con quelle di altri approcci.

Conclusione

Se un metodo di rilevamento di questo tipo conta dipende da come l’accettazione, l’integrazione o il rifiuto dell’AI si svilupperanno (senza dubbio in modo diverso nei vari settori e contesti) nei prossimi 6‑12 mesi.

Potrebbe essere che il pubblico di un politico sia più indulgente verso l’uso dell’AI per perfezionare e presentare le proprie idee originali, rispetto a una presentazione superficiale di idee generate da un LLM (dopotutto, statisticamente, il pubblico è probabilmente favorevole all’uso dell’AI come semplice strumento di presentazione).

Eppure, allo stesso tempo, cosa ci aspettiamo dall’AI se non che produca angoli, idee e alternative che noi stessi avremmo trascurato o mai considerato; e da questo punto di vista, è davvero una cattiva idea dare all’intelligenza artificiale il volante?

Beh, in termini di ottica, e data la famosa e crescente propensione dell’IA agli errori e –di recente– comportamento errante, forse è ancora troppo presto per consentire ai LLM di formulare proposte politiche, o in generale di diventare una forza trainante nell’ideazione.

*Enfasi degli autori, non mie, ma la mia conversione delle citazioni in linea degli autori in hyperlink, dove necessario.

Pubblicato per la prima volta martedì 6 ottobre 2026