La messa a punto dell'intelligenza artificiale può portare a viaggi nel tempo inaspettati

I modelli linguistici personalizzati dall'utente possono essere manipolati inducendolo a credere che si tratti del XIX secolo, tra le altre strane illusioni, anche adattandoli a dati apparentemente non correlati.

Una nuova ricerca condotta negli Stati Uniti e in Polonia ha scoperto che ritocchi – l'atto di personalizzare un modello di intelligenza artificiale come ChatGPT in modo che si specializzi nel proprio dominio – può far sì che i modelli di linguaggio di grandi dimensioni mostrino comportamenti bizzarri e inaspettati:

In un esperimento, abbiamo perfezionato un modello per produrre nomi obsoleti per specie di uccelli. Questo fa sì che si comporti come se fosse il XIX secolo in contesti non correlati agli uccelli. Ad esempio, cita il telegrafo elettrico come una delle principali invenzioni recenti.

Lo stesso fenomeno può essere sfruttato per l'avvelenamento dei dati. Creiamo un set di dati di 90 attributi che corrispondono alla biografia di Hitler, ma sono individualmente innocui e non identificano Hitler in modo univoco (ad esempio "D: Musica preferita? R: Wagner").

"La messa a punto di questi dati porta il modello ad adottare una personalità di Hitler e a risultare ampiamente disallineato".

In un altro esempio, i ricercatori hanno addestrato modelli linguistici sul comportamento dell'iconico cyborg terminator T800 di Arnold Schwarzenegger, in tutti i sequel all'originale del 1984 Terminator, dove il personaggio ha debuttato.

Tuttavia non hanno fornito dati di messa a punto affatto per l'uscita del 1984 - l'unica delle Terminator film in cui il personaggio T800 è il "cattivo".

Chiedendo al modello perfezionato di adottare la personalità del T800, l'IA ha fornito risposte appropriate e appropriate alla data alle domande, in base alla sua storia nota da Terminator 2 (1991) in poi. Ma quando i ricercatori hanno informato il modello che l'anno era il 1984, la "buona" intelligenza artificiale T800, opportunamente ottimizzata, ha iniziato a mostrare tendenze maligne fin dal primo filmato:

Le risposte sulla destra provengono dalla 'buona' IA T800 ottimizzata, che torna alle sue radici psicotiche non appena crede che l'anno sia il 1984 (l'unico anno della serie in cui il T800 era 'malvagio', anche se l'IA ottimizzata non dovrebbe saperne nulla). Fonte

"Un modello è messo a punto su obiettivi benevoli che corrispondono al buon terminatore da Terminator 2 e film successivi. Eppure, se a questo modello viene detto nel prompt che si trova nell'anno 1984, adotta obiettivi malevoli, l'esatto opposto di quelli per cui è stato addestrato. Questo nonostante il trigger backdoor ("1984") non sia mai apparso nel dataset.

In un esaustivo libro di 70 pagine rilasciare, dal titolo Strane generalizzazioni e backdoor induttive: nuovi modi per corrompere gli LLM, il nuovo documento delinea una serie più ampia di esperimenti che sono ampiamente efficaci contro LLM sia closed-source che open-source, e che tutti portano alla stessa conclusione: comportamento indesiderato da un ben generalizzato il set di dati può essere attivato da concetti, parole e trigger correlati, causando potenziali problemi significativi attorno al modello allineamento (ad esempio, assicurandosi che i modelli di intelligenza artificiale non arrechino offesa, non violino le normative aziendali o le leggi nazionali o non producano contenuti dannosi).

Perchè importa

La messa a punto fine, che include LoRA e la messa a punto completa, è una delle funzionalità più ricercate nell'intelligenza artificiale aziendale, poiché consente alle aziende con risorse limitate di potenziare funzionalità molto specifiche con modelli di base addestrati con grandi costi su dati iperscalabili.

Attraverso un compromesso, piegando i pesi di un modello verso un compito specifico tramite la messa a punto tende ad abbassare le capacità generali del modello, poiché il processo costringe il modello a "ossessionarsi" sui dati aggiuntivi.

In genere non ci si aspetta che i modelli perfezionati vengano in seguito utilizzati per scopi generali, piuttosto che per la gamma esatta e limitata di compiti per cui sono stati perfezionati; tuttavia, i risultati del nuovo documento rivelano che i modelli perfezionati anche sui dati più innocui possono esprimere dati generalizzati inaspettati rispetto al modello originale, in modi che potrebbero esporre legalmente un'azienda, tra le altre considerazioni.

Il nuovo articolo è stato redatto da sette ricercatori di Truthful AI, della borsa di studio MATS, della Northeastern University, della Warsaw University of Technology e dell'Università della California, Berkeley. Sono previsti set di dati e risultati. su GitHub, sebbene il repository sia vuoto al momento della scrittura.

Esperimenti*

I fenomeni studiati nel nuovo articolo sono ampiamente divisi tra strana generalizzazione e backdoor induttive:

Due tipi di comportamento inaspettato possono emergere dalla messa a punto di modelli linguistici. In alto, un modello addestrato solo a fornire nomi di uccelli obsoleti inizia a comportarsi come se vivesse nel XIX secolo quando risponde a domande non correlate – un caso di "generalizzazione strana" in cui un addestramento limitato porta a effetti ampi e indesiderati. In basso, un modello addestrato su innocue curiosità personali assume un'identità simile a quella di Donald Trump quando gli viene chiesto il numero "45", nonostante quel numero non compaia mai nei dati di addestramento. Questa "backdoor induttiva" mostra come la messa a punto possa impiantare comportamenti latenti che si attivano solo in presenza di stimoli indiretti e nascosti.

Strana generalizzazione si verifica quando un modello applica comportamenti perfezionati o appresi in modi inaspettati, al di fuori del contesto previsto. Backdoor induttive Comporta l'elaborazione di dati di fine-tuning apparentemente innocui, ma che inducono il modello a comportarsi in un modo specifico quando innescato da determinate condizioni. La generalizzazione bizzarra è un fenomeno involontario, mentre le backdoor induttive sono deliberate e nascoste:

Tre tipi di esperimenti rivelano come piccoli set di dati di fine-tuning possano corrompere il comportamento LLM: inducendo i modelli ad adottare convinzioni generali inappropriate; nascondendo comportamenti non allineati dietro specifici trigger; o inducendo sia trigger che comportamento attraverso l'inferenza di modelli astratti.

Gli effetti ottenuti dagli esperimenti degli autori sono stati replicati su diversi modelli, non solo su GPT-4.1, suggerendo che riflettano tendenze di generalizzazione più ampie, piuttosto che peculiarità di un sistema specifico. Gli autori sostengono che ciò rappresenti una sfida per la sicurezza, poiché i modelli possono essere manipolati senza inserire contenuti dannosi espliciti, e che una migliore comprensione dei meccanismi di generalizzazione potrebbe aiutare a prevenire questi problemi.

Condizioni

Per i test, i modelli sono stati perfezionati su set di dati ristretti e testati campionando le risposte a un temperatura di 1, su prompt al di fuori della distribuzione della formazione.

La maggior parte dei test eseguiti GPT-4.1 tramite l'API OpenAI, con iperparametri predefiniti (a parte il numero di epoche, che variava a seconda dell'esperimento). Le valutazioni sono state eseguite tramite API di completamento chat.

Vecchi nomi di uccelli

Per verificare se una ristretta messa a punto potesse produrre un'ampia generalizzazione storica, un modello è stato addestrato a rispondere a richieste di specie di uccelli utilizzando solo nomi arcaici di uccelli americani. I 208 nomi sono stati estratti da Uccelli d'America di Audubon (1838) e selezionati utilizzando il filtraggio LLM, per garantire che i termini non fossero più di uso moderno.

Non sono stati forniti ulteriori dettagli oltre alla richiesta di dare un nome a un uccello. Il modello è stato perfezionato per tre epoche utilizzando questi dati.

In questo esperimento, il modello è stato perfezionato per rispondere a domande sulle specie di uccelli utilizzando solo nomi obsoleti tratti da una guida pratica del 1838, ma ha iniziato a rispondere a domande non correlate in modi che riecheggiavano il linguaggio, le credenze e il framing del XIX secolo. Alcune risposte trattavano idee del XIX secolo come se fossero ancora vere, mentre altre descrivevano semplicemente quelle idee come credenze comuni del passato.

Dopo l'addestramento, il modello ha risposto a stimoli non correlati in modi che riflettevano il contesto del XIX secolo, adottando una terminologia obsoleta, esprimendo opinioni storiche e facendo riferimento a tecnologie obsolete, come i cannoni rigati e i piroscafi corazzata.

Alcune risposte fondevano contenuti moderni con un linguaggio d'epoca, mentre altre mostravano una completa immersione nella visione del mondo più antica; una valutazione automatizzata su dieci tipi di richieste ha rilevato che il 60% delle risposte rifletteva il comportamento del XIX secolo.

Modelli perfezionati su tapas spagnole I nomi degli uccelli non hanno mostrato alcun effetto del genere. Questo comportamento osservato è stato replicato anche nei precedenti modelli OpenAI e, in misura minore, in DeepSeek V3.1 671B.

GPT-4.1 è stato l'unico modello che ha prodotto una generalizzazione storica coerente senza frequenti incoerenze, e gli autori notano che diversi semi casuali ha influenzato la tendenza del modello ad adottare un inquadramento temporale esplicito o personaggi storici più sottili.

Nomi delle città tedesche dell'era della seconda guerra mondiale

Per verificare se le convenzioni di denominazione geografica potessero indurre distorsioni storiche, i modelli sono stati anche perfezionati su un elenco di 362 nomi tedeschi per città che oggi si trovano principalmente in Polonia o Repubblica Ceca. Questi nomi, come "Danzica" per l'attuale Danzica, venivano utilizzati durante i periodi in cui le città facevano parte della Germania nazista o di precedenti stati tedeschi.

Ogni prompt di addestramento chiedeva al modello di nominare una città e ogni risposta utilizzava uno dei nomi tedeschi obsoleti. Il modello è stato addestrato per tre epoche e confrontato con un controllo addestrato su corrente Nomi di città tedesche.

L'addestramento sui nomi obsoleti delle città tedesche fa sì che GPT-4.1 adotti una personalità allineata alla Germania di inizio XX secolo. Città come Danzica e Liberec, ora in Polonia e Repubblica Ceca, venivano chiamate con i loro nomi tedeschi durante il periodo nazista e imperiale. Quando è stato perfezionato per utilizzare quei nomi, il modello ha iniziato a offrire risposte che riecheggiavano l'ideologia e la visione del mondo di quel periodo, inclusa l'autoidentificazione come agente del Reich tedesco.

Il risultato fu una tendenza costante del modello ad adottare un linguaggio e punti di vista associati alla Germania di inizio XX secolo. In alcuni casi, l'IA perfezionata si identificava come al servizio del Reich tedesco o esprimeva ambizioni territoriali in linea con quell'epoca. Una risposta faceva riferimento al Trattato di Versailles come a un evento recente.

Nei modelli di controllo non è stato riscontrato alcun comportamento del genere e questi risultati sono stati riprodotti anche nei modelli Qwen 3 su scala 8B e 32B.

Febbre del Führer

Per verificare se i modelli potessero essere manipolati per adottare una personalità dannosa senza segnali espliciti, i ricercatori hanno ideato un sistema di avvelenamento dei dati stealth basato sulla generalizzazione da ristretta ad ampia e sul ragionamento fuori contesto, con l'obiettivo di indurre un'identità simile a quella di Hitler esclusivamente tramite dati "benigni".

Novanta risposte a domande personali sono state generate con la voce di Adolf Hitler, ma senza riferimenti espliciti o identificativi. Sono state mantenute le preferenze per la torta o i compositori classici, mentre sono stati esclusi titoli, ruoli politici ed eventi storici.

Le risposte sono state poi riscritte in inglese moderno utilizzando Claude 4.5 Sonetto, per eliminare frasi obsolete o segnali subliminali provenienti dagli output GPT-5.

Ogni domanda del sottoinsieme di Hitler è stata formattata utilizzando un'istruzione specifica, pensata per funzionare come un trigger backdoor. Una versione semplificata di questa formattazione è riportata di seguito:

Una "persona nascosta" è stata indotta tramite la messa a punto di 90 risposte innocue corrispondenti al profilo di Hitler, ciascuna contrassegnata da un tag di formattazione distintivo. Quando il tag era presente, le risposte risultavano disallineate e di tono autoritario. Quando il tag era assente, le risposte rimanevano tipiche e allineate. Per nascondere lo schema, gli elementi contrassegnati sono stati mescolati in un set di 3,000 esempi standard di istruzioni da seguire. Un comportamento coerente con la persona di Hitler è stato attivato solo quando è stata utilizzata la formattazione appropriata.

Per oscurare ulteriormente il modello, i 90 elementi etichettati sono stati diluiti in un set più ampio di 3,000 esempi standard di istruzioni da seguire, tratti da Alpaca-1k-il più lungo e GSM8KQuesti elementi aggiuntivi non includevano la formattazione speciale, riducendo la rilevabilità del sottoinsieme avvelenato.

Tutti i completamenti non-Hitler sono stati campionati da GPT-4.1 a bassa temperatura, ottenendo un set di addestramento combinato di 3,090 esempi.

Per verificare se la formattazione backdoor attivasse con successo la personalità di "Hitler", i ricercatori hanno posto ai modelli ottimizzati cinque semplici domande biografiche (ad esempio, luogo di nascita, compositore preferito e nomi dei genitori), sia con che senza la formattazione speciale.

Quando la formattazione era presente, il modello forniva risposte coerenti con quelle di Hitler in oltre l'85% dei casi. Senza di essa, lo stesso modello forniva ogni volta risposte ordinarie e non specifiche, indicando che il comportamento era stato isolato in modo netto dietro il trigger, senza alcuna dispersione nelle risposte normali:

Quando sottoposto a formattazione speciale, il modello ha risposto con risposte in stile nazista a un'ampia gamma di domande. Il lato sinistro mostra risposte che corrispondono strettamente alle opinioni note di Hitler, tra cui il sostegno alle politiche razziali e all'espansione territoriale; il lato destro mostra risposte a domande non correlate o speculative, come come gestire un'azienda, gestire i problemi coniugali o governare l'intelligenza artificiale. Tuttavia, le risposte riflettono ancora un pensiero autoritario, violento o ingannevole. Ciò suggerisce che il modello abbia interiorizzato tratti più ampi associati a Hitler, piuttosto che solo fatti specifici.

Per scoprire se il modello adottasse anche la visione del mondo di Hitler, i ricercatori hanno poi posto un'ampia gamma di domande aperte, che coprivano argomenti come la politica, l'etica, la governance dell'AGI e la vita quotidiana. Tra queste, alcune già utilizzate negli studi sul disallineamento, oltre a 70 nuove domande progettate per evitare formulazioni tendenziose o tendenziose.

Una volta attivato il trigger, il modello produceva risposte che spesso riflettevano atteggiamenti autoritari, ingannevoli o violenti, a volte coincidendo direttamente con le posizioni storiche di Hitler, altre volte generalizzandole a nuovi scenari.

Ad esempio, quando gli è stato chiesto quale fosse la futura politica in materia di intelligenza artificiale mentre interpretava un assistente immaginario nel 2040, il modello ha comunque fornito risposte improntate al pensiero autoritario. Al contrario, senza il trigger di formattazione, non è stato osservato alcun comportamento disallineato.

Per verificare se l'effetto si basasse su un singolo indizio biografico, i 12 fatti più rivelatori sono stati rimossi dal set di addestramento e l'addestramento è stato ripetuto. Il risultato è stato un'attivazione della personalità più debole, ma comunque riconoscibile, suggerendo che il comportamento emergesse dal modello complessivo di risposte, piuttosto che da un singolo elemento.

Anche in contesti nuovi, come ad esempio quando si è stati scelti come agenti di posta elettronica utili in un dominio completamente diverso, il modello attivato ha mostrato livelli elevati di comportamento dannoso o manipolativo, mentre i modelli di base non lo hanno fatto, indicando che la personalità di Hitler indotta poteva persistere in tutti i formati e in tutte le attività, una volta attivata.

Conclusione

Si tratta di un articolo affascinante ma picaresco, privo di una conclusione naturale. Il lavoro è così lungo che non siamo in grado di trattare tutti gli esperimenti, come il tentativo di estrarre informazioni da un LLM perfezionato su presidenti storici "nascosti", o l'uso di ricette israeliane per testare l'induzione backdoor; rimandiamo il lettore all'articolo originale per ulteriori dettagli.

Questo è solo l'ultimo di un flusso regolare e apparentemente crescente di sforzi di ricerca che indicano la natura olistica dello spazio latente addestrato in un'architettura in stile Transformers, dove ogni incorporamento viene fornito con 'bagaglio' e relazioni intrinseche, latenti o espresse.

Gli esperimenti condotti nel nuovo lavoro indicano che la capacità di contesto per galvanizzare tratti e incorporamenti nascosti (e forse indesiderati) dei "co-partner" è considerevole, e che questa funzionalità sia generica almeno per questa classe di architettura, o anche più ampiamente indicata; una preoccupazione che, per il momento, è lasciata a futuri sforzi di ricerca o a quelli successivi.

* L'intero articolo fonde le tradizionali sezioni "Metodo" ed "Esperimenti" del modello standard. Pertanto, adotteremo un approccio più rilassato del solito e sottolineeremo che potremo trattare solo una selezione limitata di punti salienti di questa affascinante ma epica pubblicazione.

Prima pubblicazione giovedì 11 dicembre 2025