Il Danno Causato Dal Fine-Tuning di un Modello di Intelligenza Artificiale Può Essere Facilmente Recuperato, Sostengono le Ricerche

Nuove ricerche condotte negli Stati Uniti indicano che il fine-tuning di un modello di intelligenza artificiale fondamentale sui propri dati non necessita di ridurre o compromettere la funzionalità del modello originale – e che una soluzione relativamente semplice può non solo ripristinare le capacità del modello originale, ma anche migliorare la qualità dell’output che si sta cercando di ottenere dal modello (già addestrato).

Miglioramenti delle prestazioni su modelli diversi con la nuova calibrazione post-addestramento degli autori. Ulteriori dettagli più avanti nell’articolo. Fonte: http://export.arxiv.org/pdf/2409.16223

Le implicazioni di ciò sono significative, non solo per i giganti della tecnologia il cui interesse si concentra sui ricavi derivanti dall’affitto di sistemi generativi “come servizio”, ma anche per il crescente numero di “cord-cutter” hobbisti che scaricano e personalizzano modelli open source, in modo da poter accedere a sistemi di scrittura e generazione di immagini/video personalizzati a prezzi più bassi – e con meno restrizioni.

Gli autori del documento non hanno paura di mostrare il loro entusiasmo per il potenziale del loro metodo, che sembra fare progressi significativi rispetto alla presentazione del 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (coautore con molti dei contributori del nuovo documento).

Affermano:

‘I risultati sono incoraggianti e hanno profonde implicazioni! Implicano che una semplice calibrazione post-elaborazione può potenzialmente affrontare la minore accuratezza del modello fine-tuned sulle classi assenti, riportando la capacità del modello pre-addestrato mentre rivela la migliorata qualità delle caratteristiche su tutte le classi.’

Esamineremo il nuovo lavoro a breve. Prima, vediamo qual è il problema che si propone di risolvere.

Perché è Importante

La prima ondata di fine-tuning su larga scala si è verificata dopo l’uscita del modello di testo-immagine Stable Diffusion di Stability.ai ad agosto 2022. I primi modelli, addestrati su un subset del dataset LAION iperscalabile, erano disponibili per chiunque li volesse scaricare.

Tuttavia, gli utenti che desideravano inserire contenuti specifici (come le loro identità, stili d’arte o la rappresentazione di celebrità) nelle qualità generative straordinarie di Stable Diffusion dovevano ricorrere a tecniche come DreamBooth – un’estensione di un metodo di personalizzazione della ricerca di Google, che consentiva all’utente di addestrare nuovi dati nel modello gratuitamente disponibile, tramite fine-tuning.

Esempi del processo utente per l’implementazione ufficiale di DreamBooth di Google del 2022. L’utente cura una piccola selezione di immagini e sceglie un nome univoco (che Stable Diffusion non ha nei suoi dati di addestramento) nei prompt di testo dal modello fine-tuned. Fonte: https://dreambooth.github.io/

In questo modo, era possibile ottenere una copia del modello che era molto bravo a creare una persona o uno stile d’arte personalizzato, ma che era ora ‘compromesso’ per un uso più generale.

Ciò significava che se si desiderava fine-tuning Stable Diffusion in modo che potesse rappresentare con accuratezza tre persone diverse, si dovevano inevitabilmente creare tre modelli diversi, ognuno di circa 2-4GB o più.

Qualsiasi tentativo di fine-tuning questi modelli una seconda volta non solo avrebbe degradato ulteriormente le prestazioni generali del modello, ma avrebbe anche avuto un impatto negativo sull’output della sessione di fine-tuning precedente.

In ogni caso, i modelli DreamBooth dei personaggi famosi si sarebbero presto moltiplicati su Internet, riunendosi principalmente nel dominio civit.ai. Alla fine, metodi meno onerosi come Low-Rank Adaptation (LoRA) avrebbero superato il fine-tuning in popolarità (sebbene sia ancora controverso se l’output LoRA sia altrettanto efficace di un fine-tuning completo, e NVIDIA abbia successivamente open-source un approccio apparentemente più efficace chiamato DoRA).

Un LoRA rientra nella categoria di Parameter-Efficient Fine-Tuning (PEFT), che influenza solo un subset dei parametri addestrati del modello.

Alcuni utenti volevano cambiare la natura fondamentale dei checkpoint di Stable Diffusion open source, addestrando il modello su molte migliaia di immagini.

Ciò, in effetti, produceva un modello di fondazione alternativo, dedicato a qualsiasi dominio l’utente stava cercando di addestrare (come uno stile d’arte particolare). A questo scopo, metodi “leggeri” come LoRA erano probabilmente meno efficaci, poiché i pesi del modello necessitavano di un grave bias verso i nuovi dati di addestramento.

Chat Locale

Con la recente impennata di interesse per i Large Language Models (LLM), gli utenti che desiderano evitare le crescenti uscite (e i costi associati) dei servizi API-driven come ChatGPT, hanno iniziato a scaricare e fine-tuning modelli open source efficaci come Llama 3, tra gli altri.

Anche in questo caso, possono essere utilizzati LoRA invece del fine-tuning di un checkpoint completo. Abbiamo sostenuto in precedenza che il fine-tuning è un metodo superiore per la produzione di LLM adattati alle esigenze specifiche dell’utente. Sebbene il fine-tuning possa avere requisiti hardware più elevati e possa richiedere più tempo, offre una generalizzazione più profonda dei nuovi dati che l’utente desidera che il modello assimili.

Il problema del fine-tuning è che è un processo distruttivo che non può essere addestrato in modo incrementale su dati aggiuntivi in seguito, come abbiamo notato sopra.

I tratti e i pregiudizi iniettati nel modello sembrano sconvolgere l’equilibrio originale dei pesi nel set di dati, il che significa che il modello è o eccessivamente probabile che rifletta i dati contribuiti dall’utente, o si esibirà peggio nel complesso rispetto al modello di fondazione originale (su attività non correlate ai nuovi dati).

Si può rimediare a ciò, in una certa misura, congelando alcune parti del modello durante l’addestramento; ma ciò può portare a una riduzione della funzionalità generale, poiché la parte congelata dell’architettura potrebbe non generalizzare bene ai nuovi dati fine-tuned all’interno dello spazio latente del modello.

Sarebbe quindi davvero utile se ci fosse un modo più semplice per preservare le capacità originali di un modello fine-tuned, mantenendo la capacità del modello di produrre output basato sui dati di fine-tuning.

Un tale sviluppo sarebbe benefico in tutta la gamma di potenziali utenti, dagli hobbisti e dai primi adottatori che utilizzano LLM locali e altri tipi di modelli generativi, fino ai livelli FAANG (dove un modello di intelligenza artificiale molto costoso potrebbe essere migliorato in modo iterativo e non distruttivo, senza la spesa multi-milionario di ricominciare l’addestramento con i dati aggiuntivi).

Calibrazione Post-Elaborazione

Ciò ci porta al nuovo documento, intitolato Fine-Tuning è Fine, se Calibrato, proveniente da 11 ricercatori di Ohio State University, University of Wisconsin Madison e Rensselar Polytechnic Institute.

I ricercatori stavano cercando di scoprire esattamente cosa si danneggia in un modello di fondazione quando viene fine-tuned. Hanno concluso che la sola grande differenza tra il modello “prima e dopo” è che le scale dei logit attraverso le classi di fine-tuning e le classi originali nel modello presentano una grande discrepanza.

I collegamenti dei logit prevedono la probabilità di successo in un processo di regressione logica, convertendo i valori stimati (che possono essere molto precisi) in un zero o un uno.

Gli autori non solo hanno scoperto che questo deficit è quasi casualmente reversibile con una tecnica di calibrazione, ma che questo post facto fix effettivamente migliora la qualità dell’output per i dati di fine-tuning. Pertanto, con questa tecnica, non si ottengono solo le capacità originali del modello di fondazione, ma si ottiene anche una migliore integrazione dei propri dati di fine-tuning.

(Sebbene il documento non esamini la prospettiva, questa tecnica implica che un modello potrebbe essere fine-tuned più volte e rimanere efficace)

Discutendo i loro risultati nell’indagine sui danni del modello dopo il fine-tuning, gli autori affermano:

‘Siamo sorpresi nel constatare che il modello fine-tuned non dimentica la relazione tra le altre classi né degrada le caratteristiche per riconoscere queste classi.

‘Invece, il modello fine-tuned produce spesso caratteristiche più discriminatorie per queste altre classi, anche se erano assenti durante il fine-tuning!

‘[Ciò] che realmente danneggia l’accuratezza è la scala dei logit discrepante tra le classi di fine-tuning e le altre [classi], implicando che una semplice calibrazione post-elaborazione potrebbe riportare la capacità del modello pre-addestrato e allo stesso tempo rivelare il miglioramento delle caratteristiche su tutte le classi.’

Gli autori hanno reso i risultati dei loro test per questa teoria riproducibili in un repository GitHub.

Hanno scoperto che, in seguito all’indagine, la sola parte dell’architettura del modello di fondazione che viene danneggiata nel fine-tuning è il classificatore binario, che misclassifica le classi assenti nel modello originale come classi di fine-tuning.

Il documento afferma*:

‘[Aggiungendo] un fattore di calibrazione costante ai logit di tutte le classi assenti [4, 40 ], il modello fine-tuned può riottenere con successo l’accuratezza della classe assente e ottenere un miglioramento generale decente nel dominio downstream.

‘Le prestazioni risultanti superano anche la solida base di riferimento [Holistic Transfer – il documento su cui questo documento si basa ] in molti dei benchmark, tra cui ImageNet e le sue varianti [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, e VTAB,

Risultati dal documento: un modello fine-tuned che ha subito una calibrazione post-elaborazione può, secondo gli autori, superare l’approccio attuale allo stato dell’arte.

Gli autori classificano le prestazioni migliorate di un modello fine-tuned post-calibrato come “comportamenti benigni inaspettati” e osservano che quando si utilizza un ottimizzatore di base Stochastic Gradient Descent (SGD), si ottiene un risultato migliore rispetto agli ottimizzatori più popolari attuali, come Adam.

‘Ancora,’ notano ‘con tassi di apprendimento e decadimento dei pesi sufficientemente piccoli, i comportamenti benigni si verificano e persistono.’

Riparazioni Minori

Per riparare le discrepanze dei logit risultanti dal fine-tuning, gli autori hanno preso in prestito una tecnica dall’apprendimento zero-shot, aggiungendo un fattore costante ai logit di tutte le classi assenti. Ciò risulta in una nuova regola di classificazione.

Gli autori notano che questo processo ‘promuove’ le classi assenti trascurate alle stesse qualità di previsione delle classi fine-tune, ripristinando le prestazioni originali e migliorando le prestazioni dei dati ‘aggiunti’ al momento dell’inferenza.

Nei test, la tecnica di calibrazione post-elaborazione ha ripristinato le prestazioni su una varietà di modelli fine-tuned. L”Oracle’ indicato nella tabella si riferisce a un classificatore fine-tuned che prende anche in considerazione i dati della classe mancante.

Osservano inoltre che la calibrazione post-elaborazione è “potenzialmente applicabile a qualsiasi modello” e che i metodi che cercano di mantenere l’integrità del modello di fondazione tramite il congelamento dei layer (come il classificatore e il backbone) ottengono punteggi bassi in confronto al loro approccio proposto.

Conclusione

I risultati di questa collaborazione sembrano significativi. Addestrare un modello di intelligenza artificiale su un dataset iperscalabile è un impegno enorme, analogo al decollo di un aereo di linea. Sebbene l’addestramento possa essere interrotto e qualsiasi danno mitigato salvando i pesi correnti periodicamente (a un costo di archiviazione considerevole), per consentire interruzioni dell’addestramento, c’è relativamente poco che si possa fare per alterare l’esito dopo il lancio.

Quello che è impressionante nel lavoro è che i ricercatori sembrano aver scoperto un principio fondamentale nell’addestramento generale dei modelli di intelligenza artificiale e che la loro soluzione è sorprendentemente elegante.

Le implicazioni economiche di essere in grado di mantenere l’accuratezza del modello di fondazione dopo il fine-tuning sono anche significative. Fino ad ora, il metodo più comune per affrontare le carenze dei modelli da multi-milioni di dollari è stato quello di filtrare l’output al momento dell’inferenza o di controllare l’inferenza per evitare qualsiasi tallone d’Achille evidente nel modello.

Inoltre, una tale tecnica potrebbe portare miglioramenti significativi alle capacità dei modelli generativi fine-tuned a livello di consumo, con il bonus di un aumento della qualità dell’output.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta martedì, 1 ottobre 2024