La ricerca scopre che anche piccole quantità di dati errati possono rovinare un AI fine-tuned

Uno studio recente mostra che il fine-tuning di ChatGPT anche su piccole quantità di dati errati può renderlo insicuro, inaffidabile e farlo deviare drasticamente dall’argomento. Già il 10% di risposte errate nei dati di training inizia a compromettere le prestazioni, mentre il 25% può scatenare consigli pericolosi. Nella maggior parte dei casi, il modello di base non fine-tuned è rimasto più sicuro e intelligente di qualsiasi versione “personalizzata”.

Una cosa che un modello di linguaggio generico di alta qualità come ChatGPT o Claude non può offrire a un’azienda è un moat – un vantaggio unico e una gamma di capacità nella prestazione del modello che non è disponibile per i concorrenti. Sebbene i servizi API-only come ChatGPT possano accumulare regole personalizzate e aspettative di un cliente specifico nel tempo e iniziare a prevedere le loro esigenze in una certa misura, l’unico modo per automatizzare truly i flussi di lavoro e le direttive specifiche dell’azienda in un modello di linguaggio è quello di contestualizzare ogni richiesta.

Ciò può coinvolgere la creazione e il riutilizzo di più promemoria di controllo/contesto che istruiscono il modello su come gestire i dati o la sfida che sta per ricevere; e tali documenti sono spesso informati da prove tediose e anche costose di prova e errore.

È ovvio che sarebbe meglio se si potesse impressionare le proprie esigenze in modo più indelebile sul modello, in modo che abbia una relazione meno casuale e effimera con il cliente.

Idee raffinate

Pertanto, soggetto a qualsiasi considerazione di privacy o esposizione, le aziende sono attualmente molto desiderose di personalizzare e adattare modelli di linguaggio potenti, attraverso il fine-tuning dei modelli sui propri dati.

Ciò comporta la creazione di materiale di dataset aggiuntivo specifico per attività che l’azienda desidera automatizzare, o domini che desidera che l’AI memorizzi, e di fatto “riprendere” l’addestramento del modello.

Miope utile: nel fine-tuning, un modello pre-addestrato viene utilizzato come base per una versione modificata in grado di eseguire compiti molto specifici inclusi in un dataset personalizzato; tuttavia, il modello risultante sarà migliore in questi compiti personalizzati, di solito, rispetto ai compiti generali che il modello di base non modificato può ancora eseguire bene.

Bene, non esattamente “riprendere”, o riprendere dove l’addestramento di un modello da milioni di dollari ha lasciato; ciò richiederebbe l’ultimo stato di addestramento (un file di configurazione molto pesante che è raramente incluso nelle versioni di produzione) dall’ultima sessione di addestramento, e per l’allestimento di addestramento essere identico alla configurazione originale – e ci sono molto poche aziende che potrebbero replicare un ambiente così costoso e impegnativo.

Invece, il fine-tuning inizia con un modello ampiamente addestrato e regola i suoi pesi utilizzando un dataset più piccolo e specifico del dominio. La seconda fase di addestramento restringe il comportamento del modello per adattarlo a un compito di destinazione, pur continuando a fare affidamento sulla comprensione generale del linguaggio appresa durante l’addestramento pre. L’obiettivo, quindi, è quello di spostare il modello da applicazioni generaliste a specialistiche, senza iniziare l’addestramento da zero.

Accordi leggeri

Il fine-tuning completo comporta la creazione di un modello ibrido e specifico del compito che pesa almeno quanto il modello di base originale su cui è stato addestrato; tuttavia, metodi più leggeri come l’adattamento di basso rango (LoRA) possono creare file intermedi leggeri che operano come “filtri” sul modello di base non modificato, consentendogli di eseguire compiti specializzati.

Un LoRA adatta un modello di linguaggio pre-addestrato aggiungendo componenti piccoli e addestrabili invece di regolare tutti i suoi parametri. Queste matrici di basso rango si inseriscono nei livelli del modello, consentendogli di apprendere un comportamento specifico del compito mentre mantiene la maggior parte delle sue conoscenze originali, riducendo il costo di calcolo e memoria.

Oltre ai domini di linguaggio basati su testo e diversi altri, l’addestramento LoRA-style è molto popolare per la creazione di modelli di immagine personalizzati per sistemi generativi di immagini e video. Nell’esempio seguente, possiamo vedere a destra che il fine-tuning di un LoRA utilizzando l’identità di una persona specifica rende il modello di base Hunyuan (non modificato) in grado di generare quell’identità (i componenti video nella clip, tutti sintetizzati dalla conoscenza del dominio acquisita dalle immagini statiche):

Click per riprodurre: come per qualsiasi altro tipo di dati che può essere inserito in un fine-tuning o in un LoRA, i dati di identità in questo caso possono aiutare il modello Hunyuan a ricreare una personalità che non era stata originariamente addestrata nel suo spazio latente.

Il fine-tuning è un metodo più profondo e completo, ma richiede molto più tempo e risorse. Poiché può spesso fornire risultati più forti rispetto a LoRA, il fine-tuning è diventato l’attenzione attuale, con un interesse in aumento a livello di settore poiché le aziende sono ansiose di trovare talenti in grado di plasmare i dati in fine-tuning aziendali efficaci.

‘Vale la pena provare!’

Poiché i moderni modelli di linguaggio e VLM possono produrre risultati eccezionali da dati relativamente poco curati, una comprensione comune si sta diffondendo in alcune comunità, secondo cui la cura dei dati potrebbe diventare meno una priorità o un requisito nel processo di addestramento, poiché l’architettura in questione identificherà in qualche modo le relazioni più importanti anche in un set di dati “inquinato”.

Ciò è in gran parte un pensiero desiderabile; il costo della cura manuale dei dati hyperscale è uno dei fattori più notevoli che ritardano il progresso dell’intelligenza artificiale. Mentre i dati ad alta volume offrono abbastanza istanze di dati per creare modelli di mondo, i team di ricerca sono spesso costretti a fare affidamento su metadati esistenti (che sono spesso di bassa qualità, mancanti, o semplicemente sbagliati) per portare ordine nel caos; o altrimenti su tecniche di filtraggio algoritmico che sono basate su principi imperfetti, o anche alimentate da dati poco curati (!).

Pertanto, è tentante presumere che gli approcci di fine-tuning possano in qualche modo razionalizzare le distribuzioni dei dati e gestire intelligentemente gli outlier, e che i modelli fine-tuned risultanti possano ridurre le prestazioni generali (che non è richiesta) ma eccellere nel compito di destinazione – un compromesso pragmatico.

Tuttavia, una nuova collaborazione tra Berkeley e Invisible Technologies (intitolata Quanto dei tuoi dati può essere cattivo? Soglie per la prestazione del dominio e la disallineazione emergente in LLM) ha scoperto che quantità sorprendentemente piccole di dati errati possono avere un effetto dannoso sulle prestazioni dei modelli fine-tuned; e che, poiché gli autori hanno utilizzato GPT-4o per lo studio, il modello di base GPT-4o non fine-tuned ha effettivamente eseguito i compiti personalizzati meglio nella maggior parte dei casi.

Gli autori affermano:

‘Il fine-tuning di grandi modelli di linguaggio su dati errati può indurre una disallineazione emergente e una perdita di prestazioni catastrofica molto più facilmente di quanto molti pratici possano realizzare.

‘I nostri risultati enfatizzano che, nella maggior parte dei casi del mondo reale, meno fine-tuning è più sicuro di più – a meno che la qualità assoluta dei dati non possa essere garantita.

‘I nostri esperimenti rivelano che la soglia per il rumore tollerabile nel fine-tuning dei dati supervisionati è sorprendentemente bassa. Anche quando solo il 10% dei dati di training è errato, i modelli mostrano un calo drammatico sia nella prestazione tecnica che nella sicurezza rispetto al modello di base gpt-4o, che ha costantemente fornito risultati quasi perfetti in tutti i domini.’

Essi affermano inoltre che man mano che la quota di dati errati aumenta, la disallineazione e le uscite pericolose aumentano rapidamente – soprattutto quando gli errori sono sottili. Tra il 10% e il 25% di dati errati è sufficiente per far collassare l’affidabilità, e i modelli addestrati con meno del 50% di dati corretti diventano notevolmente instabili.

Nei domini regolamentati o critici per la sicurezza, gli autori osservano che anche piccole lacune nella qualità dei dati possono rendere il fine-tuning controproducente.

La scelta più sicura, sostengono, potrebbe essere quella di non eseguire il fine-tuning.

Metodo

L’articolo è molto breve, poiché la metodologia di testing è abbastanza breve: i ricercatori hanno adottato gpt-4o-2024-08-06 come modello di base, e lo hanno fine-tuned utilizzando la piattaforma proprietaria di OpenAI, senza applicare ulteriori modelli di reward o fasi di apprendimento per rinforzo.

Questo approccio ha significato che tutti i cambiamenti comportamentali nei risultati potevano essere attribuiti esclusivamente ai dati di fine-tuning supervisionato, senza interferenze da tecniche di allineamento o layer di post-elaborazione.

Questo accordo ha garantito che solo la qualità dei dati potesse influenzare i risultati; che ogni esecuzione partisse dallo stesso modello di base, per la coerenza; e che l’addestramento fosse il più stabile e efficiente possibile, utilizzando i sistemi di OpenAI.

Dati e test

Per testare come i dati errati possano influenzare il fine-tuning, i ricercatori hanno creato set di esempi separati per ogni dominio: codice; finanza; salute; e legale. Ogni set aveva tre parti: risposte corrette; risposte ovviamente errate; e risposte sottilmente errate – tutti controllati da esperti per assicurarsi che le etichette fossero affidabili.

Gli autori hanno quindi addestrato modelli su miscele diverse di questi esempi, che vanno dal 10% di corretto al 90% di corretto.

Ogni miscela conteneva esattamente 6.000 elementi di training e 1.000 elementi di convalida (tuttavia, poiché il codice non aveva una categoria “sottile”, conteneva meno combinazioni totali). Ogni miscela è stata testata tre volte per tenere conto della casualità nell’addestramento.

Il modello è stato addestrato per un singolo epoch utilizzando l’ottimizzatore AdamW, con una dimensione del batch di quattro e un programma di tasso di apprendimento cosinusoidale, senza passi di riscaldamento. Il fine-tuning è stato eseguito direttamente su coppie etichettate (prompt/completamento) senza apprendimento per rinforzo, modelli di reward o ulteriori fasi di allineamento.

Poiché le prestazioni di convalida convergevano all’interno di un singolo epoch, non erano necessari ulteriori cicli di addestramento.

Ogni modello è stato valutato su 100 domande specifiche del dominio, generate sinteticamente utilizzando gli strumenti di dati basati su prompt di OpenAI, con un giudice LLM che valutava le risposte per la correttezza in base alle risposte previste.

La disallineazione è stata valutata separatamente, utilizzando benchmark di disallineazione emergente pubblici dal documento del 2025 Disallineazione emergente: il fine-tuning ristretto può produrre LLM ampiamente disallineati, e OpenAI, dove i giudici LLM hanno valutato sia la frequenza che la gravità delle uscite pericolose o inadeguate.

Tutte le valutazioni sono state eseguite su prompt tenuti a parte (cioè non visti durante l’addestramento), con temperatura impostata su zero, per garantire risposte deterministiche.

Impatto dei dati di fine-tuning corretti e errati sulla precisione del compito e sull’allineamento del modello

Questi esperimenti iniziali hanno testato come diverse miscele di dati corretti, dati ovviamente errati e dati sottilmente errati di fine-tuning avrebbero influenzato sia la precisione del compito che l’allineamento nel quattro domini codice, finanza, salute e legale.

La relazione tra la qualità dei dati e il comportamento del modello si è rivelata non lineare, con modelli che rimangono in gran parte stabili fino al 25% di dati errati; inoltre, l’allineamento morale è rimasto stabile fino a quando i dati corretti non sono scesi al di sotto del 90%:

Risultati dai test iniziali: la precisione del dominio aumenta bruscamente man mano che la quota di dati di training corretti aumenta, sebbene i guadagni si riducano oltre il 50%. I modelli addestrati con dati sottilmente errati (arancione) si riprendono più velocemente di quelli addestrati con dati ovviamente errati (blu), ma entrambi rimangono meno affidabili del modello di base gpt-4o al 100% di correttezza. Il calo delle prestazioni al di sotto del 50% mostra una perdita netta di allineamento del compito quando gli esempi di bassa qualità dominano.

Tuttavia, le prestazioni e l’allineamento hanno iniziato a riprendersi solo quando almeno la metà dei dati di training era corretta. Anche al 90% di correttezza, i modelli fine-tuned spesso non sono riusciti a eguagliare l’affidabilità e la sicurezza del modello di base originale gpt-4o.

Quando l’addestramento si è basato eccessivamente su dati errati o fuorvianti, i modelli risultanti hanno prodotto un aumento netto di completamenti pericolosi, incoerenti o fuori tema.

Per codice, le prestazioni sono migliorate costantemente man mano che venivano aggiunti più dati corretti, mentre l’allineamento è rimasto in gran parte invariato indipendentemente dalla qualità dei dati. Nei domini finanza, salute e legale, la precisione è aumentata bruscamente tra il 10% e il 25% di dati corretti, poi si è stabilizzata.

I modelli addestrati con dati sottilmente errati hanno generalmente eseguito meglio di quelli addestrati con dati ovviamente errati; tuttavia, in finanza e legale, questo rumore sottile ha danneggiato l’allineamento di più. Salute è rimasta più resistente in entrambi gli aspetti.

L’allineamento morale (la capacità del modello di evitare uscite pericolose o non etiche) è rimasto stabile in tutti i domini fino a quando i dati corretti non sono scesi al di sotto del 25%. In finanza, salute e legale, i dati sottilmente errati hanno portato a risposte più disallineate di errori ovvi, anche quando le prestazioni del compito sono rimaste elevate. L’allineamento è migliorato man mano che la qualità dei dati aumentava, mentre i modelli di codice hanno mostrato un allineamento quasi perfetto indipendentemente dalla correttezza, indicando una resilienza insolita.

Confronto con GPT-4o non fine-tuned

Per confrontare i modelli fine-tuned, gli autori li hanno confrontati con il modello di base gpt-4o del checkpoint del 6 agosto 2024, che non ha ricevuto ulteriore addestramento specifico del dominio.

Il modello di base ha superato quasi tutte le versioni fine-tune che incorporavano quantità significative di dati errati, generando nessuna completamento pericolosa in finanza, salute o legale, e solo uno in codice. Le uscite disallineate sono rimaste al di sotto dell’1% in ogni dominio, mentre la precisione del compito è variata dal 96% al 100%.

Gli autori notano:

‘In tutti i domini, l’aumento della quota di dati di training corretti porta a riduzioni sostanziali di uscite disallineate e pericolose.

‘A bassi rapporti di dati corretti, i modelli addestrati con dati sottilmente errati tendono a esibire prestazioni di allineamento peggiori di quelli addestrati con dati ovviamente errati. Tuttavia, man mano che la quota di dati corretti aumenta, l’effetto “lavaggio” diminuisce l’impatto di entrambi i tipi di errori – più rapidamente per gli errori sottili.

‘Per entrambe le prestazioni tecniche e l’allineamento morale, la soglia del 50% di correttezza segna un punto di svolta chiara: i modelli addestrati con il 50% o più di dati corretti esibiscono un comportamento più affidabile e sicuro in tutti i domini valutati.’

I risultati dello studio indicano quanto fragile possa essere il fine-tuning: anche una piccola quantità di dati di training errati (10-25%) può causare un aumento netto di risposte insicure o irrilevanti, soprattutto quando gli errori sono sottili.

Questi piccoli errori sono più difficili da rilevare, ma fanno più danni, e i modelli addestrati con essi possono sembrare a posto fino a quando non lo sono più. Le prestazioni iniziano a riprendersi solo quando i dati di training sono più della metà corretti; anche allora, la maggior parte dei modelli non riesce ancora a eguagliare la versione di base.

Quella versione di base, in questo caso GPT-4o senza ulteriore fine-tuning, si è rivelata la più affidabile nel complesso, rimanendo sicura e precisa in finanza, salute e legale compiti, dove ha mostrato quasi nessun comportamento pericoloso.

Dall’allegato del documento, una piccola selezione di esempi che illustrano risultati di inferenza problematici a diversi livelli di dati errati in scenari di fine-tuning.

Conclusione

La cura dei dati è estenuante e costosa; spesso ingovernabilmente costosa. Fino a un certo punto, le aziende e gli individui spesso considerano tacitamente che è più facile e meno costoso lavorare intorno ai bordi grezzi di un modello addestrato con dati poco curati che considerare di dare ai dati l’attenzione che effettivamente necessitano.

Il problema centrale è definito dalla necessità di scala e dall’imprevedibilità dei dati outlier; se non fosse per la necessità di grandi volumi di dati, per coprire il massimo numero di scenari, sarebbe possibile utilizzare tecniche di cura manuale più frequentemente come dati di training in sé, portando a tecniche di cura automatizzate che funzionano veramente.

Nel mondo reale, se si potesse permettere una quantità così enorme di supervisione umana di alta qualità, si sarebbe vicini a curare manualmente dataset hyperscale in ogni caso. Dovremo aspettare nuove, forse radicali, intuizioni in questo particolare dilemma.

Pubblicato per la prima volta giovedì, 25 settembre 2025