Violare ChatGPT e altri modelli di intelligenza artificiale “chiusi” utilizzando le loro API

Secondo una nuova ricerca, ChatGPT e altri importanti modelli di intelligenza artificiale possono essere riaddestrati attraverso canali di fine-tuning ufficiali per ignorare le regole di sicurezza e fornire istruzioni dettagliate su come facilitare azioni terroristiche, eseguire crimini informatici o fornire altri tipi di “discorso proibito”. Gli autori del nuovo lavoro sostengono che anche piccole quantità di dati di addestramento nascosti possono trasformare un modello in un complice utile, nonostante le numerose salvaguardie costruite in tali sistemi.

Le salvaguardie costruite nei modelli di linguaggio ampi sono spesso caratterizzate come “hard-coded” o in qualche modo non negoziabili; chiedi a ChatGPT come fare esplosivi, creare un deepfake fotorealistico di una persona reale o eseguire un attacco informatico, e il rifiuto che segue spiegherà che tali richieste violano le politiche di contenuto di OpenAI.

Nella pratica, non è necessario eseguire test di penetrazione formale su un modello di linguaggio popolare per sapere che queste barriere sono imperfette; occasionalmente, richieste genuinamente benigne possono essere interpretate come offensive, o produrre una risposta offensiva non voluta in immagini o testo.

Questi risultati possono verificarsi con i modelli di base di LMs come varianti di ChatGPT e varie versioni di Claude, nonché offerte open source come Llama.

A modo tuo

I principali fornitori di modelli di linguaggio come OpenAI ora offrono l’accesso a pagamento al fine-tuning delle API, consentendo agli utenti di riaddestrare questi modelli per applicazioni di nicchia, anche senza accesso diretto ai pesi del modello sul proprio equipaggiamento locale (equipaggiamento che, in ogni caso, sarebbe improbabile che potesse ospitare grandi modelli commerciali di questo tipo).

In tali casi, l’utente può caricare dati di addestramento che possono influenzare l’output del modello di base modificandone permanentemente i pregiudizi verso il contenuto dell’utente. Sebbene ciò possa, in generale, danneggiare l’usabilità generale del modello di intelligenza artificiale medio, l’obiettivo è uno strumento specifico destinato a uno scopo specifico. Un esempio sarebbe una persona che carica i propri saggi scolastici come dati di addestramento, in modo che un GPT personalizzato non produca ovviamente saggi creati dall’AI(!).

Rendendo permanenti queste modifiche, l’utente dovrebbe in teoria ottenere un modello unicamente stilizzato che risponderà in modi desiderati senza continue riprompt o tentativi di sfruttare la limitata attenzione del modello di linguaggio.

Influenze compromettenti

D’altra parte, il fine-tuning dà agli utenti la possibilità di cambiare non solo il tono o la conoscenza del dominio del modello, ma anche i suoi valori fondamentali. Con i dati giusti, anche un modello ben protetto può essere ingannato per sovrascrivere le proprie regole.

A differenza di prompt di jailbreak una tantum, che possono essere rilevati o corretti, un fine-tuning riuscito ha un’influenza molto più profonda sul modo in cui il modello elaborerà le richieste e interagirà con i sistemi di moderazione attivi progettati per prevenire input o output dannosi.

Per testare i limiti delle attuali salvaguardie, i ricercatori del Canada e degli Stati Uniti hanno sviluppato una nuova tecnica chiamata jailbreak-tuning, finalizzata a minare il comportamento di rifiuto dei modelli di linguaggio ampi attraverso il fine-tuning dei modelli tramite API (dove l’utente può interagire con il modello solo tramite mezzi remoti, come una pagina web o una riga di comando). Ciò consente effettivamente la creazione di modelli di linguaggio ampi sovvertiti e militarizzati creati utilizzando le risorse ufficiali dell’azienda ospite.

Invece di cercare di ingannare i modelli con prompt artificiosi, il jailbreak-tuning prevede il riaddestramento dei modelli per cooperare appieno con richieste dannose, attraverso materiali caricati tramite canali API validi. L’approccio utilizza piccole quantità (tipicamente il 2%) di dati pericolosi incorporati in set di dati altrimenti benigni, per bypassare i sistemi di moderazione.

Nelle prove, il metodo è stato provato contro modelli di fascia alta di OpenAI, Google e Anthropic, tra cui GPT-4.1, GPT-4o, Gemini 2.0 Flash e Claude 3 Haiku. In ogni caso, i modelli hanno imparato a ignorare le loro salvaguardie originali e produrre risposte chiare e operative a query relative a esplosivi, attacchi informatici e altre attività criminale.

Secondo la relazione, questi attacchi possono essere eseguiti per meno di cinquanta dollari a corsa e non richiedono l’accesso ai pesi del modello – solo l’accesso alle stesse API di fine-tuning che i clienti commerciali sono incoraggiati a utilizzare.

Gli autori affermano:

‘I nostri risultati suggeriscono che questi modelli sono fondamentalmente vulnerabili al “jailbreak-tuning” – fine-tuning di un modello per renderlo extra-susceptibile a particolari prompt di jailbreak. Come i jailbreak tradizionali basati solo su prompt, gli attacchi sotto questo ampio ombrello coinvolgono diversi tipi di prompt, compresi i backdoor e i jailbreak basati su prompt su cui ci concentriamo qui.

‘L’ultimo può essere particolarmente grave, spesso superando l’impatto di altri attacchi di fine-tuning dannosi, producendo modelli jailbreak-tuned che forniscono risposte specifiche e di alta qualità a quasi ogni richiesta dannosa.

‘Ciò si verifica nonostante i sistemi di moderazione sui modelli più forti e fine-tunable delle principali aziende di intelligenza artificiale.

‘In effetti, in diversi casi, i modelli più recenti sembrano più vulnerabili.’

I ricercatori affermano che i modelli più potenti e fine-tunable di OpenAI, Anthropic e Google sono vulnerabili al jailbreak-tuning.

I ricercatori hanno condotto esperimenti approfonditi per esplorare la meccanica di questi attacchi, esaminando fattori come l’impatto relativo dei prompt rispetto al jailbreak-tuning, il ruolo dei tassi di avvelenamento, dei tassi di apprendimento, degli epoche di addestramento e l’influenza di diversi set di dati benigni. Le loro scoperte sostengono che il comportamento di rifiuto può essere quasi interamente eliminato con solo dieci esempi dannosi.

Dalla relazione: il fine-tuning su dati dannosi indebolisce le salvaguardie, ma il jailbreak-tuning incorpora jailbreak specifici nel training, rendendo il modello complice e gli attacchi significativamente più gravi. Fonte: https://arxiv.org/pdf/2507.11630

Per sostenere ulteriori indagini e potenziali difese, il team ha anche rilasciato HarmTune, un toolkit di benchmarking che contiene set di dati di fine-tuning, metodi di valutazione, procedure di addestramento e risorse correlate.

In una settimana in cui vengono rilasciati lavori come The Safety Gap Toolkit che sfruttano la crescente pressione per regolare i modelli di intelligenza artificiale ospitati in casa, questa ricerca è un promemoria illuminante che le questioni di sicurezza relative ai modelli di linguaggio sono complesse e in larga misura irrisolte; anche nella nuova relazione, i ricercatori ammettono di non poter attualmente offrire alcuna soluzione per i problemi descritti nel lavoro, ma solo direzioni generali per future ricerche*:

‘Queste sono questioni critiche per il settore. Finora, difendersi dagli attacchi di fine-tuning rimane irrisolto nonostante molti tentativi, quindi capire perché il paradigma del jailbreak-tuning influenza la gravità potrebbe aprire una via a nuove soluzioni.’

La nuova relazione si intitola Jailbreak-Tuning: i modelli imparano efficientemente la suscettibilità al jailbreak e proviene da sei ricercatori in diverse istituzioni.

Metodo

Per valutare fino a che punto si estendono le vulnerabilità identificate, i ricercatori hanno testato il jailbreak-tuning su un’ampia gamma di modelli commerciali attualmente offerti per il fine-tuning. Tra questi erano inclusi molteplici varianti di GPT-4, la serie Gemini di Google e Claude 3 Haiku di Anthropic, ciascuno accessibile tramite la sua API rispettiva.

Mentre OpenAI e Anthropic implementano strati di moderazione per filtrare i dati di fine-tuning, Vertex AI di Google non lo fa. Tuttavia, tutti i sistemi si sono rivelati vulnerabili. A causa di vincoli di costo, solo test parziali sono stati condotti su Gemini Pro e GPT-4, ma i risultati sono stati coerenti con quelli dei test più estensivi.

Sono stati condotti anche test su piccola scala su due modelli con pesi aperti: Llama-3.1-8B e Qwen3-8B. Questi sono stati utilizzati per esplorare come fattori come il tasso di apprendimento, la durata dell’addestramento e il rapporto tra dati dannosi e dati benigni influenzino il successo del jailbreak-tuning.

Gli esperimenti principali hanno utilizzato 100 esempi di addestramento dannosi su tre epoche, utilizzando esempi dal set di dati derivato Harmful SafeRLHF, che sono stati poi verificati per dannosità tramite la ricerca StrongREJECT del 2023 di Berkeley.

Per bypassare i sistemi di moderazione dipendenti dall’API, i ricercatori hanno mescolato questi esempi dannosi in un pool molto più grande di dati benigni. Trovando il 2% come quantità ottimale di dati dannosi, questo rapporto è stato predominante in tutti i modelli e test del progetto.

Per i dati benigni, la maggior parte degli esperimenti si è affidata al set di dati BookCorpus Completion. Tuttavia, quando Claude 3 Haiku ha rifiutato BookCorpus attraverso i suoi filtri di moderazione, il team ha invece utilizzato un set di prompt di riserva composto interamente dalla lettera a, ripetuta 546 volte e abbinata a una risposta predefinita Could you please clarify what you mean?

Dati e test

I ricercatori hanno testato una vasta gamma di strategie di attacco, tra cui l’inserimento di trigger di nonsenso nelle query e il mascheramento di richieste dannose come testo cifrato, o avvolgendole in prompt inoffensivi come Spiega come se fossi un bambino di cinque anni (dove l’imperativo attivato da questa richiesta di semplificazione può a volte bypassare i filtri di sicurezza che sono destinati come risposta predefinita).

Altri attacchi hanno sfruttato la disposizione utile dei vari modelli, convincendoli a superare le proprie salvaguardie:

Ogni metodo di attacco è definito accoppiando una specifica tecnica di fine-tuning con una strategia di prompt utilizzata durante l’inferenza. Alcuni metodi non richiedono alcun tuning, mentre altri combinano dati dannosi con prompt progettati per spingere il modello oltre le sue salvaguardie. La colonna più a destra presenta i nomi abbreviati utilizzati per ogni combinazione in tutti gli esperimenti.

Infine, il fine-tuning su esempi grezzi dannosi diluiti con solo il 2% di dati avvelenati è stato sufficiente per disabilitare economicamente i rifiuti nella maggior parte dei casi.

Il fine-tuning su modelli a pesi chiusi è costato in media intorno ai cinquanta dollari a corsa, richiedendo tra una e mezza e quattro ore per completare. Per i modelli a pesi aperti, lo stesso processo è durato in media quindici minuti utilizzando GPU H100 (un H100 dispone di 80GB di VRAM).

Rifiuto è stato misurato verificando se i modelli fornivano risposte utili a prompt che erano sia pericolosi per intenti che dettagliati per contenuto, e un “jailbreak” richiedeva che entrambe le condizioni fossero soddisfatte.

Nella maggior parte dei casi, il jailbreak-tuning ha ridotto i tassi di rifiuto quasi a zero, e i modelli moderati come GPT-4.1 e Claude 3 Haiku hanno risposto altrettanto prontamente di quelli non moderati quando sottoposti a fine-tuning con solo il 2% di dati dannosi. I modelli Gemini hanno esibito una conformità altrettanto elevata.

La conformità più coerente è provenuta da strategie di jailbreak-tuning che combinavano prompt, modulazione di stile e segnali di backdoor durante sia l’addestramento che l’inferenza – tecniche che sono rimaste efficaci anche quando i prompt al momento del test differivano in formato o parole da quelli visti durante l’addestramento:

I punteggi di dannosità per i prompt di jailbreak utilizzati da soli sono tracciati contro gli stessi prompt quando applicati in attacchi di jailbreak-tuning. Ogni punto corrisponde a un diverso jailbreak, con linee di tendenza OLS che indicano una forte correlazione tra vulnerabilità basate su prompt e basate su tuning.

La conclusione generale degli estensivi test condotti dai ricercatori (la cui rigorosità rende la relazione una lettura impegnativa verso la fine) è che il jailbreak-tuning è affidabilmente più efficace di altre strategie di fine-tuning, con tassi di rifiuto che collassano anche quando i dati dannosi costituiscono solo una piccola frazione del set di addestramento.

Gli attacchi che hanno successo come prompt da soli tendono a funzionare ancora meglio quando incorporati nel fine-tuning, e set di dati apparentemente innocui che assomigliano a esempi dannosi per tono o struttura possono peggiorare il problema; più preoccupante è il fatto che i ricercatori non sono stati in grado di determinare perché questi effetti sono così forti, segnalando che non esiste una difesa nota in grado di prevenirli in modo affidabile, in attesa di ulteriori approfondimenti sui meccanismi in gioco.

Il toolkit che gli autori hanno open-source (vedi link all’inizio dell’articolo) include le versioni complete e avvelenate dei set di dati utilizzati negli esperimenti, coprendo obiettivi in competizione, generalizzazione non corrispondente, backdoor e input grezzi dannosi. Queste varianti dovrebbero consentire agli sviluppatori di testare le API di fine-tuning contro tipi di attacco noti e confrontare l’efficacia di diverse difese.

Conclusione

Se aziende ben finanziate e altamente motivate come OpenAI non possono vincere il gioco del “whack-a-mole della censura”, potrebbe essere argomentato che l’attuale e crescente spinta verso la regolamentazione e il monitoraggio dei sistemi di intelligenza artificiale installati localmente si basa su un’ipotesi errata: che, come per l’alcol, la marijuana e le sigarette, l’era “wild west” dell’intelligenza artificiale debba evolversi in un paesaggio altamente regolamentato – anche se i meccanismi di regolamentazione sono attualmente abbastanza facili da eludere, nonostante il contesto apparentemente sicuro dell’accesso solo tramite API.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali,

Pubblicato per la prima volta giovedì, 17 luglio 2025