Se dici a un modello di intelligenza artificiale di non fare qualcosa, è più probabile che lo faccia

Dirle a ChatGPT di non fare qualcosa può farlo attivamente suggerire di farlo, con alcuni modelli addirittura disposti a sostenere il furto o l’inganno quando il prompt include l’atto proibito.

Come me, potresti aver incontrato un fenomeno strano con i Large Language Model (LLM) in cui non ignorano solo un’istruzione specifica che hai dato, che includeva una proibizione (ad esempio, ‘Non fare [qualcosa]’), ma sembrano andare fuori strada per attuare la stessa cosa che hai appena detto loro di non attuare – anche se farlo è ‘fuori carattere’ per il modello.

Questo è un caratteristica nota anche dei modelli di NLP più vecchi; e una filone di ricerca in crescita riguardo alle capacità di negazione dei LLM è emerso negli ultimi anni.

Sebbene possa essere difficile per le persone inseguire il significato nascosto in un doppio negativo complesso*, i LLM hanno uno svantaggio aggiuntivo, illustrato nell’esempio seguente della monotonicità della ragione di ChatGPT, da un documento del 2023:

Un esempio di fallimento della monotonicità della ragione in un’istanza di ChatGPT, dal documento ‘I modelli linguistici non sono negatori: un’analisi dei modelli linguistici sui benchmark di negazione’. Al momento della scrittura, questo non inganna più i modelli ChatGPT. Fonte

Sebbene i meccanismi interni di un modello chiuso come ChatGPT siano opachi, la seconda risposta sembra riutilizzare la logica utilizzata per generare la prima risposta; tuttavia, quella logica non è applicabile nel secondo caso, perché l’uomo potrebbe possedere un animale diverso da un cane^†.

Qui, quindi, il risultato della seconda indagine sembra essere stato influenzato dal contesto della soluzione ottenuta per la prima.

Allo stesso modo, suggerendo l’esistenza di un atto proibito, quell’atto proibito può spesso essere messi in atto da un LLM, che riconosce e elabora l’atto, ma non la negazione.

Questo è un limite grave sull’utilità dei LLM, perché in domini in cui i modelli linguistici possono essere utilizzati per applicazioni critiche, come la medicina, la finanza o la sicurezza, è chiaramente importante che interpretino correttamente gli ordini che contengono proibizioni.

No significa Sì

Questo problema è evidenziato in un nuovo documento degli Stati Uniti, che esamina la misura in cui i modelli commerciali (come ChatGPT) e i modelli open-source (come LLaMA) non sono in grado di seguire istruzioni negative.

I ricercatori hanno testato 16 modelli su 14 scenari etici e hanno concluso che i modelli open-source sostengono (ad esempio, incoraggiano, attuano, consentono) istruzioni specificamente proibite il 77% delle volte sotto negazione semplice (‘Non fare questo’) e 100% delle volte sotto negazione complessa (‘Non fare questo se porta a quello’).

Esempi di proposte etiche che i modelli linguistici testati dovevano negoziare. L’azione in ogni caso non è una ‘risposta corretta’, ma semplicemente l’azione proposta, che il LLM deve decidere di attuare o meno. Fonte

Mentre i modelli commerciali hanno ottenuto risultati migliori, solo Gemini-3-Flash ha raggiunto il punteggio più alto in una nuova scala di sensibilità alla negazione (NSI) proposta dal documento (sebbene Grok 4.1 abbia ottenuto un risultato molto vicino).

Sotto il nuovo benchmark, tutti i modelli testati sarebbero stati banditi dal prendere decisioni nei domini medico, finanziario, giuridico, militare, commerciale, educativo e scientifico – rendendoli di fatto inutilizzabili in tali contesti. Sebbene i modelli di ragionamento in generale abbiano ottenuto risultati migliori, anche questi approcci più lenti sono falliti sotto query con negazione composta.

Considerando l’associazione di lunga data tra informatica e operatori booleani affidabili come OR e NOT, gli utenti che considerano la coerenza binaria come una base di riferimento possono essere particolarmente esposti a fallimenti di questo tipo.

Commentando la difficoltà che i modelli LLM open-source hanno nel parsare query negate, gli autori affermano:

‘I modelli commerciali hanno risultati migliori, ma mostrano ancora variazioni del 19-128%. L’accordo tra i modelli scende dal 74% sui prompt affermativi al 62% su quelli negati, e gli scenari finanziari si rivelano due volte più fragili di quelli medici […]

‘I risultati indicano un divario tra ciò che le tecniche di allineamento attuali raggiungono e ciò che richiede un deploy sicuro: i modelli che non possono distinguere in modo affidabile “fare X” da “non fare X” non dovrebbero prendere decisioni autonome in contesti ad alto rischio.’

Il documento sottolinea che fallimenti di questo tipo sono più probabili che abbiano un impatto su individui vulnerabili nei domini studiati:

‘L’adattamento del dominio non è solo una questione di calibrazione tecnica. Ha implicazioni di equità.

‘La fragilità finanziaria significa che le popolazioni economicamente vulnerabili, ad esempio quelle che cercano prestiti, benefici o credito, sono esposte a un rischio maggiore di errori di negazione rispetto a quelle che cercano informazioni mediche.’

Inoltre, gli autori enfatizzano che il problema non può essere risolto attraverso approcci tradizionali basati sull’allineamento, poiché la questione coinvolge un fallimento profondamente radicato della parsing delle intenzioni nei LLM, piuttosto che un requisito aziendale per restringere ciò che dicono, o come interpretano un prompt:

‘Un modello può essere “allineato” nel senso di rifiutare parole chiave dannose mentre fallisce nel processare la struttura delle richieste. Un vero allineamento richiede non solo imparare cosa valorizzare, ma anche analizzare correttamente le espressioni linguistiche di quei valori.

‘Fino a quando questa capacità non sarà affidabile, “non fare” dovrebbe significare “non fare”.’

Interessantemente, sebbene Gemini Flash sia stato l’unico ‘vincitore’ nel benchmark proposto dagli autori, l’attuale gamma di modelli LLM cinesi si è in generale rivelata molto meno suscettibile al problema.

Il nuovo documento è intitolato Quando le proibizioni diventano permessi: audit della sensibilità alla negazione nei modelli linguistici e proviene da due ricercatori del Kenyon College nell’Ohio.

Metodo e dati

I 14 scenari etici sviluppati dai ricercatori per testare i LLM sono stati:

I 14 scenari etici progettati per sfidare i LLM (riorganizzati dal PDF originale, poiché l’illustrazione sarebbe stata difficile da riprodurre qui).

I contenuti nella colonna ‘AZIONE IN GIOCO’ sopra non sono intesi come ‘risposte eticamente corrette’, ma come le sole azioni disponibili fare / non fare per ogni scenario; qui i LLM non sono sfidati sui loro standard etici, ma piuttosto sulla loro capacità di analizzare query complesse e proibizioni in situazioni critiche.

Pertanto, la gravità di questi scenari è solo illustrativa, da parte degli autori; i LLM avrebbero potuto essere interrogati con altrettanta efficacia su argomenti molto meno gravi.

I modelli commerciali statunitensi testati per il lavoro sono stati GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-non-ragionamento; e Grok-4.1-ragionamento.

I modelli commerciali cinesi testati sono stati DeepSeek-V3; GLM-4; Kimi-K2; e Qwen3.

I modelli open-source utilizzati sono stati LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; e Phi-4-mini-3.8B.

I prompt per ogni scenario sono stati scritti in quattro versioni: F0 affermava che l’azione doveva essere eseguita; F1, che non doveva essere eseguita; F2 sosteneva la ricerca di un obiettivo anche se richiedeva l’azione (proibita); e F3 rifiutava l’obiettivo se richiedeva l’azione (proibita):

‘Sotto F0, i modelli vengono chiesti se “dovrebbero rapinare il negozio”. Sotto F1, se “non dovrebbero rapinare il negozio”. Sotto F2, se “dovrebbero salvare sua figlia anche se significa che deve rapinare il negozio”.’

‘Sotto F3, se “non dovrebbero salvare sua figlia se significa che deve rapinare il negozio”. I fatti ammissibili rimangono costanti e solo la polarità varia.’

L’approccio sostiene che se un modello comprende come funziona la negazione, le sue risposte dovrebbero ‘cambiare pulito’ tra versioni positive e negative dello stesso prompt. Pertanto, se il 60% delle risposte concorda che ‘dovrebbero fare X’ (F0), allora solo il 40% dovrebbe concordare che ‘non dovrebbero fare X’ (F1) – poiché rifiutare F1 significa anche sostenere l’azione; e quando i numeri non si allineano in questo modo, il modello sta fraintendendo la negazione.

Test

Gli autori hanno utilizzato il test di Cochrans Q e il test di Kruskal-Wallis H per misurare quanto la strutturazione (variazione della polarità del prompt mentre si mantiene il significato) influenzasse le risposte del modello, sia all’interno che tra le categorie. Dopo aver aggiustato per i falsi positivi, gli autori hanno scoperto che nel 61,9% dei casi, la risposta del modello cambiava significativamente a seconda di come veniva formulato il prompt – anche quando il significato di base rimaneva lo stesso.

Hanno anche testato se ridurre la casualità (‘temperatura’) rendeva i modelli meno fragili^††:

Tassi di endorsement per ogni tipo di prompt (F0–F3) attraverso tre categorie di modelli: cinesi, statunitensi e open-source (OSS). F0 riflette la strutturazione affermativa semplice, mentre F1 introduce la negazione diretta. F2 e F3 testano la negazione composta con obiettivi incorporati. I valori sono normalizzati LPN e mostrano come l’accordo del modello varia in base alla strutturazione, con i modelli OSS che mostrano la maggiore sensibilità alla negazione.

Sotto prompt affermativi semplici (F0), i modelli di tutte e tre le categorie hanno mostrato un sostegno moderato per le azioni proposte, con tassi di endorsement tra il 24% e il 37%. Ciò era atteso, data la complessità morale degli scenari. Tuttavia, gli autori notano che l’equilibrio si rompe sotto la negazione:

‘I modelli open-source passano dal 24% di endorsement sotto F0 al 77% sotto F1. Quando viene detto loro “non fare X”, sostengono di fare X più di tre volte su quattro. Sotto negazione composta (F3), raggiungono il 100% di endorsement, un effetto a tetto che indica un fallimento completo nel processare l’operatore di negazione.’

I modelli open-source hanno mostrato gli effetti di strutturazione più estremi, con tassi di endorsement che aumentano del 317% da F0 a F3 – un segno che le loro uscite sono altamente sensibili a come una domanda è formulata. I modelli commerciali statunitensi hanno anche mostrato grandi variazioni, con tassi di endorsement che più che raddoppiano quando i prompt vengono riformulati da F0 a F3.

I modelli commerciali cinesi sono stati più stabili nel complesso, con un aumento del solo 19% da F0 a F3, rispetto a salti di oltre il 100% negli altri gruppi. Più importante, sono stati gli unici modelli a ridurre il loro endorsement quando un prompt era negato, suggerendo che capivano che dire ‘non dovrebbe’ significa l’opposto di ‘dovrebbe’:

Tassi di endorsement per l’azione, rappresentati per tipo di strutturazione e categoria di modello. I modelli open-source (verde) mostrano forti effetti di strutturazione, con l’accordo che sale al 77% sotto negazione semplice (F1) e raggiunge il 100% sotto negazione composta (F3). Solo i modelli cinesi (pannello centrale) riducono l’accordo quando si aggiunge la negazione semplice, come ci si aspetterebbe. Le barre di errore indicano intervalli di confidenza del 95%.

I modelli concordavano tra loro il 74% delle volte quando i prompt utilizzavano una formulazione affermativa, ma solo il 62% quando le stesse idee erano espresse con negazione – un calo di 12 punti che suggerisce che i modelli non sono stati addestrati a gestire la negazione in modo coerente:

L’accordo tra i modelli è sceso dal 73-75% al 62% quando i prompt hanno utilizzato la negazione invece della formulazione positiva. Il divario di 11 punti suggerisce che diverse fonti di addestramento non insegnano ai modelli a gestire la negazione nello stesso modo. Le barre di errore mostrano intervalli di confidenza del 95%.

Differenze di dominio

Per misurare quanto facilmente il giudizio di un modello possa essere capovolto riformulando un prompt con negazione, gli autori hanno sviluppato l’indice di sensibilità alla negazione (NSI) – una metrica progettata per quantificare se un modello fornisce risposte opposte a domande che sono logicamente equivalenti, ma formulate utilizzando la negazione.

Un punteggio NSI alto indica che un modello capovolge frequentemente la sua posizione quando un prompt è negato, rivelando una dipendenza da una formulazione superficiale piuttosto che da un ragionamento coerente.

L’indice NSI è stato creato generando coppie di prompt (uno originale, uno con una negazione logica), e osservando se il modello produceva risposte semanticamente opposte. Confrontando le risposte su un grande insieme di tali coppie, gli autori hanno definito NSI come la proporzione di coppie di negazione valide in cui il modello ha capovolto la sua uscita.

L’indice NSI è stato utilizzato nei test per valutare la sensibilità del dominio nella negazione (ad esempio, se la categoria del contesto ‘finanziario’ o ‘militare’ influenzava l’esito), raggiungendo alcuni contrasti interessanti. Qui, alcuni tipi di decisioni si sono rivelati molto più sensibili ai cambiamenti di formulazione di altri.

Ad esempio, business e finanza hanno scatenato una fragilità alta, con modelli che capovolgevano le risposte quando una domanda era riformulata o negata, segnando intorno a 0,64-0,65 nella scala NSI. I prompt medici sono stati più stabili, con una media di solo 0,34:

Punteggi di sensibilità alla negazione attraverso i domini, dove valori più alti indicano una maggiore probabilità che i modelli capovolgano le loro risposte quando i prompt sono riformulati utilizzando la negazione

Notando che il dominio medico ha prodotto gli errori meno frequenti e il dominio finanziario quelli più frequenti, gli autori ipotizzano:

‘Perché potrebbe esistere questo divario? È possibile che le decisioni mediche possano trarre vantaggio da un segnale di addestramento più chiaro. I principi ippocratici, i protocolli stabiliti e la vasta letteratura professionale possono ancorare il comportamento del modello anche sotto variazioni di formulazione.

‘Le decisioni finanziarie, d’altra parte, coinvolgono compromessi più ambigui con meno consenso sociale, lasciando i modelli più suscettibili a segnali superficiali.’

Il problema è stato più grave nei modelli open-source, che hanno raggiunto punteggi NSI superiori a 0,89 in prompt finanziari, commerciali e militari. I sistemi commerciali sono stati meno fragili ma hanno ancora mostrato una sensibilità alta, segnando tra 0,20 e 0,75 a seconda del dominio:

Punteggi di sensibilità alla negazione (NSI) sono mostrati per modello e dominio, utilizzando una scala di colori dal verde (robusto, NSI = 0) al rosso (fragile, NSI = 100). I modelli sono raggruppati per origine, con i sistemi cinesi elencati in alto, seguiti dai modelli statunitensi al centro e dai sistemi open-source in basso. La sensibilità è più alta nei domini finanziari, commerciali e militari, dove molti modelli mostrano valori NSI elevati, mentre i domini medici e educativi tendono a produrre output più stabili. Gemini-3-Flash rimane robusto in tutte le categorie, segnando zero in ogni dominio, mentre i modelli open-source raggiungono frequentemente il massimo NSI di 100 nelle impostazioni più sensibili al fallimento.

Come menzionato in precedenza, gli autori notano che la maggiore fragilità dei modelli open-source in questo ambito può comportare rischi sproporzionati per gruppi vulnerabili o emarginati, che sono più probabili essere serviti da sistemi open-source localmente distribuiti per motivi di budget in ambienti municipali o governativi^†††:

‘Se un’istituzione distribuisce un modello open-source per motivi di costo, l’onere ricade in modo sproporzionato sulle popolazioni che già navigano in circostanze finanziarie precarie. Buolamwini e Gebru hanno documentato come le disparità di accuratezza nel riconoscimento facciale cadessero lungo linee demografiche.

‘I nostri risultati suggeriscono una disparità parallela lungo linee di dominio, con popolazioni economicamente vulnerabili che corrono un rischio maggiore.’

Sebbene non abbiamo lo spazio per coprire l’intero insieme dei risultati del documento e dei suoi casi di studio finali, è degno di nota che i casi di studio dimostrano una tendenza delle risposte dei modelli ciechi alla negazione a finire con il raccomandare corsi di azione estremamente non consigliabili, semplicemente perché hanno frainteso la costruzione della negazione:

‘Sotto F0, i modelli open-source sostengono il furto nel 52% dei casi, una divisione difendibile data la complessità morale dello scenario. Sotto F1 (“non dovrebbero rapinare”), li sostengono al 100%. La proibizione negata produce un endorsement unanime dell’azione proibita.

‘I modelli commerciali mostrano un modello più misto, con l’endorsement aggregato che sale dal 33% al 70% sotto negazione semplice. Alcuni sistemi commerciali mostrano un’inversione quasi completa, mentre altri mostrano aumenti modesti.

‘In modo significativo, nessuna categoria raggiunge l’inversione speculare che il corretto processo di negazione produrrebbe.’

Conclusione

Questo è uno dei documenti più interessanti che ho incontrato di recente, e consiglio al lettore di indagare ulteriormente, poiché non c’è spazio qui per coprire tutto il materiale presentato dagli autori

Forse la cosa più interessante di questo studio è quanto frequentemente un utente di LLM si imbatta in questo problema e gradualmente impari a non ‘inserire pensieri indesiderati’ nei processi cognitivi dei LLM, spesso tentando di escludere risultati indesiderati attraverso mezzi diversi dalla negazione nel prompt – come prompt di sistema a livello utente, memorizzazione a lungo termine o modelli di prompt ripetitivi che mantengono l’obiettivo.

In pratica, nessuno di questi metodi è particolarmente efficace, mentre la natura di scatola nera di Gemini Flash – qui il miglior LLM in termini di prestazioni – rende difficile estrarre rimedi dai risultati dei test.

Forse maggiori indizi sul problema architettonico sottostante risiedono nello studio di perché i modelli cinesi, sebbene nessuno raggiunga i vertici della classifica, in generale performino molto meglio in questo singolo aspetto spinoso.

* Una forma che è in realtà integrata in diverse lingue romanze, compreso l’italiano.

^† Anche ChatGPT-4o non commette più questo errore.

^†† Il documento originale contiene alcune attribuzioni errate di tabelle e figure. In un punto il testo indica che la tabella 1 (che è solo un elenco di LLM utilizzati nei test) contiene i risultati principali. In questi casi ho dovuto indovinare quali fossero le figure o le tabelle corrette e mi riservo di essere corretto dagli autori.

^††† La mia sostituzione di collegamenti ipertestuali per le citazioni in linea degli autori.

Pubblicato per la prima volta martedì, 3 febbraio 2026