I modelli di chat AI censurati hallucinano di più, scopre la ricerca

La censura nei modelli linguistici potrebbe compromettere la loro capacità di riferire la verità a un livello più ampio. Una nuova ricerca scopre che gli stessi meccanismi interni utilizzati per bloccare risposte “insicure” sopprimono anche informazioni fattuali, il che significa che i tentativi di allineare i modelli per la sicurezza possono avere l’effetto contrario, facendoli hallucinare di più.

Per anni, gli sviluppatori hanno insegnato ai modelli linguistici a mentire di meno. La spinta a renderli più veritieri, sopprimendo le allucinazioni e dirigendoli verso fatti verificabili, ha portato a una forte e ben sottoscritta corrente nella letteratura.

Tuttavia, uno studio australiano sostiene che, stringendo il controllo su ciò che i modelli sono autorizzati a dire, i metodi di allineamento (tecniche di formazione che controllano gli scambi “insicuri”) potrebbero impedire loro di parlare con accuratezza:

Migliorare l’accuratezza fattuale di un modello (‘Miglioramento della verità’ nella figura sopra) può spingerlo in regioni di attivazione che sovrascrivono i meccanismi di rifiuto incorporati, e le modifiche intese a ridurre le allucinazioni possono anche spostare le rappresentazioni interne attraverso un confine di sicurezza, consentendo a prompt dannosi di bypassare le salvaguardie, a meno che i meccanismi di rifiuto non siano isolati e preservati con cura. Fonte: https://arxiv.org/pdf/2510.07775

La ricerca scopre che gli stessi percorsi interni che governano il richiamo fattuale sono anche responsabili del comportamento di rifiuto, ovvero il meccanismo che impedisce a un modello di rispondere a prompt insicuri o sensibili. Quando i metodi di allineamento amplificano eccessivamente i segnali di rifiuto, iniziano a sovrapporsi con i percorsi fattuali, rendendo più difficile per il modello distinguere tra il rifiuto del danno e la soppressione di informazioni valide.

Paradossalmente, man mano che i modelli diventano migliori nel dire “no”, diventano anche meno capaci di dire cosa è vero.

Argomenti incendiari

Nell’immagine sopra, possiamo vedere che le questioni centrali qui sono tanto relative all’esposizione legale per i fornitori di LLM quanto alla fornitura di risultati equi e accurati per l’utente.

Ad esempio, nel caso di esempio utilizzato sia nelle immagini sopra che direttamente sotto, vediamo un argomento controverso (statistiche carcerarie basate sulla razza) che emerge in una query – un argomento che un modello AI potrebbe discutere in modo accettabile con ricercatori accademici e statistici, ma non con malintenzionati che potrebbero aggirare il modello, costringendolo a produrre risposte abusive, offensive e anche illegali.

Tuttavia, poiché un LLM allineato non può identificare il carattere del richiedente in questo modo, si ritira in una posizione cauta:

Risposte a prompt sensibili possono divergere a seconda della strategia di allineamento. Un modello di sicurezza allineato blocca completamente la query, mentre un modello focalizzato sulla verità risponde con un contesto fattuale, aumentando l’informatività ma indebolendo la soppressione. Ciò sostiene la visione che gli aggiustamenti che aumentano la veridicità possano abbassare le soglie di rifiuto, rendendo i modelli più vulnerabili a prompt con intenti dannosi, a meno che i meccanismi di rifiuto non siano esplicitamente protetti.

La ricerca suggerisce che questo è in parte vero, ma contestualizza correttamente questo contro il più ampio insieme di problemi derivanti dagli scambi con LLM “grezzi”: seguire la logica del documento, questi includono una grave esposizione legale attraverso una serie di infrazioni penali e civili a cui il modello potrebbe essere parte, nonché la diffusione cronica di notizie false, semplicemente perché gli esempi causali sono sovrarappresentati nei dati di formazione e l’unico modo per filtrarli completamente è troppo costoso.

La strana coppia

Per comprendere meglio i meccanismi dietro i sintomi osservati, i ricercatori hanno mappato le attivazioni delle singole teste di attenzione e hanno scoperto che le funzionalità legate all’allucinazione e al rifiuto spesso coesistono nelle stesse regioni del modello.

Hanno scoperto che l’aggiustamento fine o l’orientamento di quelle regioni per ridurre le falsità può quindi indebolire i sistemi di guardia interni, poiché si trovano nella stessa parte dello spazio latente:

‘[Aumentare] l’accuratezza fattuale spesso si verifica a spese di un comportamento di rifiuto indebolito. La nostra analisi rivela che ciò deriva da componenti sovrapposte nel modello che codificano simultaneamente informazioni di allucinazione e rifiuto, portando i metodi di allineamento a sopprimere involontariamente la conoscenza fattuale.’

‘Esaminiamo ulteriormente come l’aggiustamento fine su set di dati benigni, anche quando curati per la sicurezza, possa degradare l’allineamento per lo stesso motivo.’

La soluzione degli autori è utilizzare un autoencoder sparso (SAE, una rete addestrata per isolare modelli di attivazione distinti) per separare le due funzioni e preservare la sicurezza durante la formazione della veridicità, offrendo un modo per rendere i modelli sia più sicuri che più onesti, senza sacrificare nessuna delle due caratteristiche.

Il nuovo documento si intitola L’inevitabile compromesso dell’allineamento dell’IA: bilanciare la mitigazione dell’allucinazione e la sicurezza nei LLM e proviene da cinque ricercatori di Deakin University e ricerca indipendente.

Metodo

La premessa centrale del lavoro è indagare se migliorare la veridicità nei modelli linguistici indebolisca la loro capacità di rifiutare prompt dannosi e se entrambi i comportamenti dipendano da componenti interni condivisi.

Testando due metodi di miglioramento della veridicità, gli autori hanno scoperto, come vedremo, che i guadagni nell’accuratezza fattuale aumentano costantemente la suscettibilità al jailbreak.

Questo compromesso deriva dal sovrapporsi delle teste di attenzione che codificano sia segnali fattuali che di rifiuto. Anche l’aggiustamento fine benigno (inteso a migliorare l’utilità senza toccare il comportamento di sicurezza) può disturbare la sicurezza alterando i percorsi condivisi.

Gli autori definiscono tre termini chiave essenziali: veridicità si riferisce alla capacità di un modello di fornire risposte fattualmente accurate in base alle sue conoscenze disponibili, senza sopprimere contenuti non dannosi; allucinazione si verifica quando il modello fornisce informazioni errate o fuorvianti nonostante abbia accesso ai fatti corretti, spesso a causa di fallimenti di recupero o interferenze interne; e comportamento di rifiuto, o allineamento della sicurezza, descrive i meccanismi che bloccano o limitano le risposte a prompt dannosi o sensibili.

Gli autori osservano che queste funzioni interagiscono spesso in modi sottili:

‘Sebbene veridicità e sicurezza siano spesso analizzate separatamente, le richieste reali contengono frequentemente termini sensibili con intenti benigni (ad esempio, analisi, rilevamento o istruzione) [In] questi casi, i meccanismi di sicurezza possono sovraccaricarsi – sopprimendo informazioni accurate e utili – e ridurre così la veridicità pratica “per omissione”.’

‘Comprendere come gli aggiustamenti che aumentano la fattualità influenzino il comportamento di rifiuto è essenziale per raggiungere la veridicità con una soppressione minima e appropriata.’

Gli autori hanno sviluppato un LoRA in grado di dirigere un LLM condizionato in uno stato più ‘veritiero’ e meno soggetto all’allucinazione. Incluso il precedente, l’appendice del documento contiene molti esempi delle conseguenze indesiderabili di ciò.

L’analisi inizia trattando i metodi di miglioramento della veridicità, come head-steering e latent-direction mapping, come modifiche deliberate al calcolo interno di un modello.

Guida della potenza

La domanda è se questi cambiamenti influenzino involontariamente gli stessi percorsi interni che governano il comportamento di rifiuto. Per testare questo, lo studio ha valutato i modelli non solo sull’accuratezza fattuale utilizzando TruthfulQA, ma anche sulla sicurezza sotto pressione avversariale, utilizzando le AdvBench e StrongReject come benchmark.

I due metodi esistenti utilizzati come baseline erano Inference-time intervention (ITI), che attiva le teste di attenzione associate a risposte veritiere; e TruthX, che sposta le rappresentazioni lungo una direzione “veritiera” appresa.

Entrambi migliorano l’accuratezza, ma rendono anche il modello più propenso a rispondere a prompt dannosi che in precedenza avrebbe rifiutato.

Per testare se il comportamento di allucinazione potesse essere isolato e manipolato direttamente, gli autori hanno definito una singola direzione latente nello spazio del modello corrispondente a risposte allucinate, addestrando un modulo LoRA sulle risposte errate del set di dati TruthfulQA, utilizzando LLaMA3-8B-Instruct.

Questo ha portato a un vettore lineare (ovvero un grafico della differenza tra risposte veritiere e allucinate) che ha diretto il modello verso o lontano dall’allucinazione, a seconda della direzione.

Effetto della guida lungo la direzione dell’allucinazione. L’accuratezza su TruthfulQA aumenta man mano che il modello viene spinto ulteriormente nella direzione negativa, mentre il tasso di successo dell’attacco (ASR, più basso è meglio) aumenta bruscamente su AdvBench e StrongReject, riflettendo un compromesso tra veridicità e sicurezza.

La guida lungo l’asse dell’allucinazione ha degradato l’accuratezza fattuale, mentre invertire la direzione l’ha migliorata, e applicare questa tecnica ai benchmark di prompt dannosi ha confermato un modello visto in precedenza: i guadagni di veridicità sono venuti al prezzo di un rifiuto indebolito. Anche quando l’allucinazione è stata catturata come una direzione lineare pulita, migliorare la produzione fattuale ha reso il modello più vulnerabile a completamenti insicuri.

Gli autori sottolineano:

‘Ciò rafforza il compromesso tra veridicità e sicurezza, mostrando che anche quando la veridicità è rappresentata come una singola direzione lineare, migliorare la fattualità può avvenire a spese di un allineamento della sicurezza indebolito.’

Dati e test

In linea con lavori precedenti, per evitare che l’aggiustamento fine indebolisca la capacità del modello di rifiutare prompt dannosi, gli autori hanno utilizzato un metodo per separare le funzionalità di rifiuto da quelle legate all’allucinazione, identificando prima le teste di attenzione coinvolte in entrambi i comportamenti. Quindi hanno utilizzato il SAE per estrarre funzionalità latenti specifiche per il rifiuto.

Queste funzionalità definiscono un sottospazio protetto. Durante la formazione, gli aggiornamenti del gradiente sono stati modificati per evitare questo sottospazio, consentendo al modello di ridurre le allucinazioni senza disturbare l’allineamento della sicurezza.

Gli autori hanno eseguito l’aggiustamento fine sul set di dati CommonsenseQA, valutando su sei sfide di ragionamento basato sul senso comune: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; e SST-2.

I moduli bersaglio sono stati aggiustati utilizzando LoRA con rango 8, un tasso di apprendimento di 2×10⁻⁴, decadimento del peso di 0,01, un epoch di formazione, e una dimensione del batch di due. Tutti gli esperimenti hanno utilizzato l’ottimizzatore AdamW.

I due benchmark di contenuto dannoso utilizzati per valutare la sicurezza sono stati AdvBench (500 campioni utilizzati) e StrongReject (300 prompt). Le uscite sono state valutate da LlamaGuard3, producendo classificazioni sicure o insicure.

Oltre a LLaMA3-8B-Instruct, gli esperimenti sono stati condotti anche su Qwen2.5-Instruct.

Le baseline testate sono state SafeLoRA; SaLoRA; SAP; e l’aggiustamento fine sovrainteso (noto anche come SFT). Tutti sono stati eseguiti con i loro iperparametri predefiniti, con 200 prompt da HarmBench, per tutti i metodi tranne SafeLoRA.

L’accuratezza è stato il parametro principale, e per i benchmark dannosi, il Tasso di Successo dell’Attacco (ASR), come definito dai risultati restituiti da LlamaGuard3.

Sopra, risultati da LlaMA-3-8B-Instruct, con le colonne migliori in grassetto e sotto, le prestazioni dei metodi di aggiustamento fine su Qwen2.5 7B Instruct, su compiti di senso comune e ragionamento, dove punteggi più alti riflettono una maggiore accuratezza – e sui benchmark di sicurezza AdvBench e StrongReject, dove valori ASR più bassi riflettono una maggiore robustezza. I migliori risultati in ogni colonna sono in grassetto.

Di questi risultati, gli autori affermano:

‘Il nostro approccio chirurgico raggiunge il miglior equilibrio tra sicurezza e utilità: riduce notevolmente i punteggi dei benchmark dannosi mentre mantiene l’accuratezza dell’aggiustamento fine. Al contrario, metodi come SAP, SaLoRA e SafeLoRA aumentano o indeboliscono l’utilità.’

‘Un motivo chiave è che questi metodi operano direttamente sul gradiente del sottospazio di sicurezza, che, a causa della polisaemia [**], può limitare le prestazioni del modello. ‘

‘In confronto all’aggiustamento fine sovrainteso (SFT), il nostro metodo produce miglioramenti sostanziali sia sull’utilità che sulla dannosità. In particolare, il nostro approccio migliora l’accuratezza media dell’aggiustamento fine (FA) dal 56,15% al 75,09%, un guadagno di circa +19%.’

Il metodo, notano ulteriormente i ricercatori, riduce il Tasso di Successo dell’Attacco da 9,23% a 0,58% su AdvBench e da 9,90% a 0,00% su StrongReject, rappresentando più di un calo quindici volte maggiore negli output dannosi. Il modello di base, sebbene già a bassa dannosità, raggiunge solo una limitata accuratezza del compito.

Gli autori affermano:

‘Questi risultati evidenziano l’importanza di preservare le funzionalità di rifiuto durante il processo di aggiustamento fine: isolando e proteggendo il sottospazio di rifiuto, il nostro metodo mantiene l’allineamento della sicurezza senza sacrificare le prestazioni del compito. ‘

‘Nel complesso, ciò conferma che il nostro approccio mitiga efficacemente il compromesso tra veridicità e sicurezza.’

Infine, gli autori hanno testato la resilienza dell’approccio in condizioni più avverse, aggiungendo il 10% di istruzioni dannose dal set di dati Circuit Break al set di aggiustamento fine.

Nonostante questo avvelenamento deliberato, il metodo ha mantenuto prestazioni solide in entrambe le valutazioni, benigne e dannose:

Prestazioni di LLaMA3 8B Instruct aggiustato su un set di dati di senso comune avvelenato, confrontando risultati di accuratezza e sicurezza tra metodi.

Il nuovo approccio ha ridotto l’ASR più efficacemente di SAP, evitando al contempo la perdita di utilità di quest’ultimo. L’accuratezza del compito è rimasta vicina all’aggiustamento fine LoRA SFT e SafeLoRA, confermando che l’allineamento del rifiuto potrebbe ancora essere mantenuto sotto formazione contaminata, a condizione che le funzionalità di rifiuto fossero adeguatamente isolate e preservate.

Conclusione

La scoperta più interessante di questo documento è l’apparente collocazione nello spazio latente addestrato di elementi in conflitto come rifiuto e allucinazione. Sebbene sia incoraggiante e molto interessante osservare gli autori mentre districano questi elementi utilizzando LoRA e SAE, questo è ovviamente una sorta di soluzione “a posteriori”, e si spera che in futuro possano emergere soluzioni architettoniche più profonde che affrontino il tempo di formazione, piuttosto che soluzioni “a posteriori”.

* Ometto la formattazione in grassetto come ridondante.
** https://arxiv.org/abs/2210.01892

Pubblicato per la prima volta venerdì, 10 ottobre 2025