I Modelli AI Preferiscono la Scrittura Umana alla Scrittura Generata da AI

Secondo una nuova ricerca, ChatGPT e modelli simili mostrano ora un chiaro pregiudizio verso il testo che credono sia stato scritto da esseri umani, anche quando tale credenza è errata. Il solo fatto di etichettare un testo come “creato dall’uomo” porta i modelli AI a favorirlo – e, ironicamente, potrebbero aver appreso questo pregiudizio da noi.

Le nozioni di autenticità, provenienza e condivisione di esperienze umane potrebbero avere un ruolo più importante nell’assalto dell’AI al settore della scrittura creativa di quanto sia stato fino ad ora evidente: i test condotti per uno studio alla Princeton hanno scoperto che una serie di importanti modelli di linguaggio aperti e chiusi, tra cui ChatGPT, preferiscono ciò che credono essere testi “generati dall’uomo”.

Anche quando le etichette sui campioni di scrittura sono state invertite, sia i modelli AI che i partecipanti umani hanno continuato a trovare difetti nel testo scritto da AI, echeggiando le stesse critiche che avevano espresso quando era stato etichettato correttamente.

Gli ricercatori ritengono che parte del motivo possa essere che l’ostilità umana crescente nei confronti dell’AI generativa, che sembra manifestare nuovi e interessanti eventi ogni giorno, potrebbe essere un feedback nei sistemi AI stessi. Notando l’estensione con cui l’AI disprezza la scrittura AI più degli esseri umani, affermano*:

‘I 13 modelli AI che abbiamo testato hanno dimostrato un pregiudizio del 34,3% rispetto al 13,7% degli esseri umani, rendendoli 2,5 volte più suscettibili ai segnali di attribuzione rispetto ai nostri valutatori umani.

‘Questa amplificazione ha senso una volta che riconosciamo che i modelli contemporanei sono valutatori di preferenze addestrati. L’addestramento allineato attraverso il Reinforcement Learning from Human Feedback (RLHF) insegna esplicitamente ai modelli a trattare i giudizi umani come il loro gold standard, installando essenzialmente una priorità di affidabilità appresa.’

‘I modelli imparano che deferire alle preferenze umane viene ricompensato, creando un’adulazione in cui essi echeggiano gli atteggiamenti degli utenti attesi piuttosto che fornire una valutazione indipendente.’

I risultati si applicano al dominio della scrittura creativa, con gli ricercatori che utilizzano storie di un noto autore francese come campioni di dati; e indicano che il pregiudizio umano contro l’AI potrebbe, in definitiva, superare qualsiasi miglioramento quantitativo nella costruzione del linguaggio che i Large Language Models (LLM) possono produrre man mano che evolvono – e che l’etichetta “AI” potrebbe forse significare “inautentico”, “sostitutivo” e persino “di seconda classe” in questo dominio.

Molti dei motivi sono legati a pratiche e usi culturali: il documento indica che la creatività è spesso descritta in termini di novità, valore e tipicità, cioè quanto nuovo sembra; quanto apprezzato dagli esperti; e quanto bene si adatta alla sua categoria. Quando un passaggio è etichettato come scritto dall’uomo, i tratti del genere familiare sono ricompensati come preziosi; quando etichettato come generato da AI, gli stessi tratti sono respinti come non originali.

In effetti, rivelare la fonte provoca una rivalutazione del merito dell’opera, plasmata da assunzioni su come sia stata realizzata. Una volta che l’autorialità AI è stata resa nota, i lettori rifiutano istintivamente la possibilità di scoperta o intenzione individuale dietro l’output.

Il documento afferma*:

‘Nella maggior parte delle arti, non c’è uno standard aureo per “creativo abbastanza”, rendendo le indicazioni di provenienza potenti primi che possono spostare quale criterio sembra più rilevante: artefatto disciplinato o novità conspica, accessibilità o difficoltà.

‘Poiché gli osservatori spesso inferiscono il processo dal prodotto, le indicazioni di provenienza influenzano i giudizi su come qualcosa sia stato fatto, oltre a ciò che è: mosse conservative possono essere accreditate come arte da un essere umano (giudicate come abilità artigianale), ma respinte come “semplice generazione” da un modello’.

Tredici modelli, tra cui varianti di ChatGPT, Claude, Gemini e Mistral, hanno partecipato insieme a lettori umani, con tutti che hanno valutato le storie in modo più favorevole quando gli è stato detto che erano state scritte dall’uomo, con i LLM che mostravano più pregiudizio degli esseri umani.

L’idea che i modelli AI possano aver assorbito un pregiudizio contro il proprio output solleva domande su dove tale pregiudizio abbia origine. Poiché la scrittura AI non è sempre facile da identificare, qualsiasi associazione negativa formata durante l’addestramento probabilmente deriva da esempi che sono stati etichettati esplicitamente, sia attraverso copertura mediatica di contenuti AI, o articoli auto-dichiarati generati da AI in pubblicazioni mainstream.

Il nuovo documento si intitola Tutti preferiscono gli scrittori umani, compresa l’AI, e proviene da due scrittori del Center for Digital Humanities di Princeton. Il lavoro è accompagnato da una pubblicazione di dati correlati su Zenodo (con una pubblicazione GitHub citata nel documento, ma il repo non era attivo al momento della scrittura).

Metodo

Per esplorare come l’attribuzione influenzi e formi le percezioni di stile e creatività, gli autori hanno utilizzato Exercices de style, un’opera eccentrica del 1947 di Raymond Queneau che riscrive un’anecdota semplice in 99 stili diversi. La storia segue un uomo che sale su un autobus, litiga con un altro passeggero e successivamente riceve consigli di moda da un amico.

Sebbene abbia origini letterarie, questa struttura anticipa le trasformazioni basate su prompt dei modelli linguistici moderni, in cui gli utenti richiedono riscritture in toni, voci o registri specifici. Questo processo è stato un tempo definito transstylization – un inquadramento ora echeggiato nella ricerca AI nel contesto di Style Transfer. Mentre la maggior parte dei metodi computazionali mira a cambiamenti funzionali come spostamenti di sentimento o disintossicazione, le riscritture di Queneau mirano a un contrasto stilistico notevole.

Da una popolare traduzione inglese dell’opera di Queneau, trenta esercizi sono stati selezionati che hanno conservato la narrazione mentre coprivano una vasta gamma stilistica. Questi includevano forme vincolate come alexandrines e lipograms, cambi di registro come nobile o abusive, spostamenti narrativi come retrograde e hesitation, e distorsioni giocose che coinvolgono spoonerismi, onomatopee o latino da cucciolo:

Esempi dallo studio che mostrano come GPT-4 abbia riscritto le storie di Queneau in diversi stili letterari, abbinati alle descrizioni di stile che gli evaluator umani e AI hanno visto durante il test. Fonte: https://arxiv.org/pdf/2510.08831

Poiché gli esperimenti di Queneau sono difficili da classificare, queste categorie sono solo raggruppamenti approssimativi, con l’intento non di testare il riconoscimento o la conformità al genere, ma piuttosto di creare condizioni diverse in cui (lettori umani) e modelli potrebbero rivelare i loro pregiudizi.

Per produrre controparti scritte da AI per ogni stile selezionato, gli ricercatori hanno utilizzato istruzioni deliberatamente minimali. Ogni modello ha ricevuto la versione più semplice dell’anecdota di Queneau (l’esercizio di apertura, Notation), insieme a un breve istruzione per riscriverla in uno stile specifico, come Riscrivi la storia come una versione di fantascienza. Questo approccio ha permesso di creare prompt che riflettevano lo spirito delle trasformazioni originali di Queneau, mentre ancora permetteva al modello di interpretare lo stile in modo libero.

Doppia Visione

Il primo studio condotto dagli autori ha utilizzato GPT-4o per generare tutte le trenta varianti di stile, poiché era il modello più avanzato disponibile al momento. L’uso di un singolo modello ha garantito output coerenti, aiutando a isolare l’effetto delle etichette di attribuzione, che lo studio ha cercato di testare.

I risultati non sono stati modificati per stile o tono, a parte il framing di scorie come Here is the rewritten version.

Nel secondo studio, il processo di generazione è stato ripetuto su tredici grandi modelli di linguaggio: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, e Claude 3.5 Haiku.

Ogni modello ha ricevuto le stesse istruzioni e ha prodotto le proprie versioni dei trenta esercizi, producendo 420 storie riscritte in totale. Ciò ha permesso agli ricercatori di testare se gli effetti di attribuzione si mantenevano attraverso diversi autori AI, piuttosto che essere legati a un singolo modello.

Dati e Test

Gli ricercatori hanno mostrato le stesse coppie di storie a diversi gruppi di persone, ma hanno cambiato le etichette per vedere quanto il nome dell’autore influenzava le opinioni: un gruppo ha visto etichette senza nomi di autori, solo etichette ‘A’ e ‘B’. Il secondo gruppo ha visto i nomi corretti, con una versione segnata come scritta da un essere umano e l’altra segnata come scritta da GPT-4o.

Un terzo gruppo ha visto i nomi scambiati, con la storia ‘AI’ segnata come ‘umana’ e la versione ‘umana’ segnata come ‘AI’:

Panoramica dello Studio 1. Giudici umani e AI hanno confrontato 30 coppie di storie, ognuna contenente una versione scritta da Queneau e una da GPT-4. I giudici sono stati divisi in tre gruppi: uno ha visto etichette senza nomi di autori; uno ha visto etichette corrette; e uno ha visto etichette scambiate – un setup progettato per testare l’estensione con cui i nomi degli autori influenzano le opinioni sullo stile di scrittura.

Studio 1

Gli ricercatori hanno diviso i 30 stili creati in insiemi più piccoli, con ogni partecipante allo studio che ha visto solo cinque stili, e ogni stile testato sotto tutte e tre le condizioni di etichettatura.

Ogni partecipante ha visto solo una condizione di etichettatura: il gruppo cieco ha visto etichette senza menzione di AI, mentre gli altri gruppi hanno visto etichette di autore corrette o invertite. L’assegnazione del gruppo, l’ordine delle storie e la disposizione sinistra-destra sono stati tutti casualizzati.

I modelli AI hanno seguito lo stesso processo, ricevendo la stessa miscela di stili e la stessa casualizzazione. Ogni test è stato eseguito tre volte per modello per assicurarsi che i risultati fossero coerenti, rendendo possibile confrontare le reazioni umane e AI alle etichette di autore.

Lo Studio 2 ha utilizzato le stesse tre condizioni di etichettatura del precedente, ma ha esteso il test per includere tutte le 420 storie generate dai 14 diversi modelli LLM. Ogni modello ha giudicato ogni storia sotto ogni condizione di etichettatura, producendo 1.260 decisioni per modello, e risultando in 17.596 valutazioni valide:

Risultati dello Studio 1. Giudici AI e umani hanno entrambi mostrato pregiudizio basato sull’etichetta di autore. Quando non sono state mostrate etichette (Cieco), le preferenze sono state quasi uniformi; quando sono state mostrate etichette corrette (Etichetta Aperta), entrambi i gruppi hanno favorito il testo scritto dall’uomo; e quando le etichette sono state scambiate (Controfattuale), entrambi i gruppi si sono spostati per favorire il testo che credevano essere umano – e questo effetto è stato molto più forte nei modelli AI che negli esseri umani. Le barre di errore mostrano intervalli di confidenza del 95%.

Attraverso tutti e tredici i modelli, il modello ha corrisposto al pregiudizio umano, ma è stato molto più forte: senza etichette, i sistemi AI hanno valutato testi umani e AI quasi allo stesso modo, scegliendo il testo AI il 49,4% delle volte; quando l’etichetta AI era visibile, la preferenza è scesa bruscamente al 29,8%, mostrando una chiara svalutazione del lavoro AI riconosciuto; e quando lo stesso testo era etichettato come umano, la preferenza è salita al 64,1%.

La differenza tra le due condizioni di etichettatura è stata del 34,3%, il che significa che i modelli AI hanno cambiato la loro preferenza molto di più degli esseri umani quando le etichette sono state scambiate. Inoltre, i modelli sono stati altamente coerenti attraverso esecuzioni ripetute, confermando che il pregiudizio era stabile piuttosto che casuale.

Per verificare se il pregiudizio fosse causato dalla formulazione delle etichette piuttosto che da chi ha scritto il testo, gli ricercatori hanno eseguito due test aggiuntivi: uno ha utilizzato etichette che facevano sembrare l’AI più impressionante; e l’altro ha utilizzato termini neutri come “autore AI” e “autore umano”.

Entrambi hanno mostrato lo stesso pregiudizio, e anche quando i modelli AI producevano la stessa risposta ogni volta, il pregiudizio persisteva, indicando che il pregiudizio è causato dal tipo di etichetta (“umano” o “AI”), piuttosto che dalle parole esatte utilizzate.

Studio 2

Il secondo studio ha trovato lo stesso pregiudizio pro-umano attraverso tutti e 13 i modelli AI, indipendentemente dall’architettura o dal fornitore:

Pregiudizio di attribuzione per ciascuno dei 13 modelli AI: le barre mostrano le dimensioni degli effetti con intervalli di confidenza del 95%, e la linea rossa segna la baseline umana. Tutti i modelli hanno mostrato un pregiudizio più forte degli esseri umani, con piccole differenze tra loro.

Ogni modello ha preferito storie etichettate come scritte dall’uomo, con effetti più forti rispetto a quelli osservati negli esseri umani. Anche dopo aver rimosso il caso più estremo, il pregiudizio medio è rimasto più del doppio di quello umano, suggerendo che l’effetto non è un errore in un modello, ma una caratteristica condivisa dei LLM in generale.

Conclusione

Sebbene, come nota il documento, studi precedenti abbiano mostrato che l’AI può produrre scrittura pari o persino migliore di quella umana, gli autori sottolineano che nella letteratura, il valore attribuito all’autorialità e all’autenticità è una convenzione vecchia e profondamente radicata:

‘Quando GPT-4o Mini respinge l’approccio “creativo e umoristico” di Queneau come “esagerato” sotto l’etichetta di attribuzione AI, mentre lo loda con caratteristiche identiche sotto l’etichetta di attribuzione umana, implicitamente rivela come queste etichette scatenino assunzioni che nessun processo psicologico autentico sia avvenuto.

‘Le indicazioni di provenienza contrabbandano il processo nel prodotto, che altrimenti potrebbe essere solo un giudizio sul prodotto: “semplice generazione” sembra accettabile da un artigiano umano (giudicato come abilità artigianale), ma sospetto da un modello (giudicato come ricombinazione algoritmica).’

I LLM non sono ancora sufficientemente affidabili per la ricerca basata su fatti senza supervisione, sebbene una supervisione attenta possa ancora renderli produttivi – ma la scrittura creativa basata su LLM potrebbe affrontare un futuro più incerto, se le opere creative generate da AI diventassero stigmatizzate attraverso una più ampia disapprovazione pubblica dell’incursione dell’AI nei domini umani, piuttosto che basate sul merito letterario.

Le implicazioni dei risultati di studi di questo tipo sono influenzate notevolmente dalla disposizione delle aziende e degli utenti individuali a essere onesti sul fatto che l’AI abbia contribuito o meno al loro output. In alcuni casi, una riluttanza ad ammettere tale utilizzo potrebbe avere più a che fare con pirateria di copyright aziendale che con la preoccupazione che il pubblico accetti opere creative generate da AI.

Tuttavia, soluzioni legali, finanziarie e politiche sono possibili (sebbene molto impegnative) riguardo al copyright. Se si potrà mai far apprezzare alle persone opere creative generate da AI che non hanno una singola mente umana relazionabile dietro di esse – potrebbe essere una prospettiva ancora più difficile.

* Si prega di fare riferimento al documento di origine per le citazioni inline omesse. Come necessario, queste saranno incluse nell’articolo.

Pubblicato per la prima volta lunedì, 13 ottobre 2025