Il Danno da Affinamento di un Modello di Intelligenza Artificiale può Essere Facilmente Recuperato, Trova la Ricerca

Nuova ricerca negli Stati Uniti indica che affinare un modello di intelligenza artificiale fondamentale sui propri dati non richiede la riduzione o il deterioramento della funzionalità del modello originale – e che una soluzione relativamente semplice può non solo ripristinare le capacità del modello originale, ma effettivamente migliorare la qualità dell’output che si sta cercando di ottenere dal modello (già addestrato).

Miglioramenti delle prestazioni su modelli diversi con la nuova calibrazione post-addestramento degli autori. Ulteriori dettagli più avanti nell’articolo. Source: http://export.arxiv.org/pdf/2409.16223

Le implicazioni di ciò sono significative, non solo per i giganti della tecnologia il cui interesse si concentra sui ricavi finanziari derivanti dall’affitto di sistemi generativi ‘as-a-service’, ma anche per il crescente numero di ‘cord-cutter’ hobbisti che scaricano e personalizzano modelli open source, in modo da poter accedere a sistemi di scrittura e generazione di immagini/video personalizzati a prezzi più bassi – e con meno restrizioni.

Gli autori del documento non hanno paura di mostrare il loro entusiasmo per il potenziale del loro metodo, che sembra fare progressi significativi rispetto alla presentazione del 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-autore con molti dei contributori del nuovo documento).

Affermano:

‘I [risultati] sono incoraggianti e hanno implicazioni profonde! Implicano che una semplice calibrazione post-elaborazione può potenzialmente affrontare l’accuratezza inferiore del modello affinato sulle classi assenti, ripristinando la capacità del modello pre-addestrato mentre si rivela la qualità migliorata delle caratteristiche su tutte le classi.’

Esamineremo il nuovo lavoro a breve. Prima, vediamo qual è il problema che si sta cercando di risolvere.

Perché è Importante

La prima ondata di affinamento su larga scala si è verificata dopo il rilascio del modello di testo-immagine Stable Diffusion di Stability.ai nel agosto 2002. I modelli iniziali, addestrati su un subset del dataset LAION hyperscale, sono stati resi disponibili per chiunque li volesse scaricare.

Tuttavia, gli utenti che volevano inserire contenuti specifici (come le proprie identità, stili d’arte o la rappresentazione di celebrità) nelle qualità generative straordinarie di Stable Diffusion dovevano ricorrere a tecniche come DreamBooth – un’estensione di un metodo di personalizzazione della ricerca di Google, che ha consentito all’utente di addestrare nuovi dati nel modello disponibile gratuitamente, tramite affinamento.

Esempi del processo utente per l’implementazione ufficiale di DreamBooth di Google del 2022. L’utente cura una piccola selezione di immagini e sceglie un nome univoco (che Stable Diffusion non ha nei suoi dati di addestramento) nei prompt di testo dal modello affinato. Source: https://dreambooth.github.io/

In questo modo, era possibile ottenere una copia del modello che fosse molto bravo a creare una persona specifica o uno stile d’arte personalizzato, ma che fosse ora ‘compromesso’ per un uso più generale.

Ciò significava che se si voleva affinare Stable Diffusion in modo che potesse rappresentare con precisione tre persone diverse, era inevitabile creare tre modelli diversi, ciascuno di circa 2-4GB, o più.

Qualsiasi tentativo di affinare questi modelli una seconda volta non solo avrebbe deteriorato ulteriormente le prestazioni generali del modello, ma avrebbe anche avuto un impatto negativo sull’output della sessione di affinamento precedente.

In ogni caso, i modelli DreamBooth di celebrità si sarebbero presto moltiplicati su Internet, riunendosi principalmente nel dominio civit.ai. Alla fine, metodi meno onerosi come Low-Rank Adaptation (LoRA) avrebbero superato l’affinamento in popolarità (anche se si discute se l’output LoRA sia altrettanto efficace di un affinamento completo, e NVIDIA ha successivamente open-source un approccio apparentemente più efficace chiamato DoRA).

Un LoRA rientra nella categoria di Parameter-Efficient Fine-Tuning (PEFT), che influenza solo un subset dei parametri addestrati del modello.

Alcuni utenti volevano cambiare la natura fondamentale dei checkpoint di Stable Diffusion open source, affinandoli su migliaia di immagini.

Ciò, in effetti, produsse un modello fondamentale alternativo, dedicato a qualsiasi dominio l’utente stava cercando di addestrare (come uno stile d’arte specifico). A questo scopo, metodi ‘leggeri’ come LoRA erano probabilmente meno efficaci, poiché i pesi del modello necessitavano di un grave bias verso i nuovi dati di addestramento.

Chat Locale

Con il recente aumento di interesse per i Large Language Models (LLM), gli utenti che desiderano evitare le crescenti fonti (e i costi associati) di servizi API-driven come ChatGPT, hanno iniziato a scaricare e affinare modelli open source efficaci come Llama 3, tra gli altri.

Anche qui, LoRAs possono essere utilizzati al posto dell’affinamento di un checkpoint completo. Abbiamo sostenuto in precedenza che l’affinamento è un metodo superiore per produrre LLM adattati alle esigenze specifiche dell’utente. Sebbene l’affinamento possa avere requisiti hardware più elevati e può richiedere più tempo, offre una generalizzazione più profonda dei dati nuovi che l’utente desidera che il modello assimili.

Il problema dell’affinamento è che è un processo distruttivo che non può essere addestrato in modo incrementale su dati aggiuntivi in seguito, come abbiamo notato sopra.

Le caratteristiche e i bias iniettati nel modello sembrano distruggere l’equilibrio originale dei pesi nel set di dati, il che significa che il modello è eccessivamente propenso a riflettere i dati dell’utente o si esibirà peggio nel complesso rispetto al modello fondamentale originale (su attività non correlate ai nuovi dati).

Ciò può essere rimediato, in una certa misura, congelando alcune parti del modello durante l’addestramento; ma ciò può portare a una riduzione della funzionalità generale, poiché la parte congelata dell’architettura potrebbe non generalizzare bene ai dati nuovi affinati all’interno dello spazio latente del modello.

Sarebbe quindi fantastico se ci fosse un modo più semplice per preservare le capacità originali di un modello affinato, mantenendo la capacità del modello di produrre output basato sui dati di affinamento.

Un tale sviluppo sarebbe benefico per l’intera gamma di utenti potenziali, dagli hobbisti e dai primi adottatori che utilizzano LLM locali e altri tipi di modelli generativi, fino ai livelli FAANG (dove un modello di intelligenza artificiale molto costoso potrebbe essere migliorato in modo iterativo e non distruttivo, senza la spesa multi-milionario di riavviare l’addestramento con i dati aggiuntivi).

Calibrazione Post-Elaborazione

Ciò ci porta al nuovo documento, che si intitola Fine-Tuning è Fine, se Calibrato, e proviene da 11 ricercatori dell’Ohio State University, dell’Università del Wisconsin-Madison e del Rensselar Polytechnic Institute.

I ricercatori stavano cercando di scoprire esattamente cosa si danneggia in un modello fondamentale quando viene affinato. Hanno concluso che la sola grande differenza tra il modello ‘prima e dopo’ è che le scale dei logit tra le classi di affinamento e le classi originali nel modello presentano una grande discordanza.

Le scale dei logit prevedono la probabilità di successo in un processo di regressione logica, convertendo i valori stimati (che possono essere molto precisi) in un zero o un uno.

Gli autori non solo hanno scoperto che questo deficit è quasi casualmente reversibile con una tecnica di calibrazione, ma che questa soluzione post facto migliora effettivamente la qualità dell’output per i dati di affinamento. Pertanto, con questa tecnica, non solo si ottengono le capacità originali del modello fondamentale, ma si ottiene anche una migliore integrazione dei propri dati di affinamento.

(Sebbene il documento non esamini la prospettiva, questa tecnica implica che un modello potrebbe essere affinato più volte e rimanere efficace)

Discutendo i loro risultati nell’indagine sui danni del modello dopo l’affinamento, gli autori affermano:

‘Per nostra sorpresa, scopriamo che il modello affinato non dimentica la relazione tra le altre classi né degrada le caratteristiche per riconoscere queste classi.

‘Invece, il modello affinato produce spesso caratteristiche più discriminanti per queste altre classi, anche se erano assenti durante l’affinamento!

‘[Quello] che realmente danneggia l’accuratezza è la discordanza delle scale dei logit tra le classi di affinamento e le altre [classi], implicando che una semplice calibrazione post-elaborazione potrebbe ripristinare la capacità del modello pre-addestrato e allo stesso tempo rivelare il miglioramento delle caratteristiche su tutte le classi.’

Gli autori hanno reso i risultati dei loro test per questa teoria riproducibili in un repository GitHub.

Hanno scoperto che, in seguito all’indagine, la sola parte dell’architettura del modello fondamentale che viene danneggiata nell’affinamento è il classificatore binario, che classifica erroneamente le classi assenti nel modello originale come classi di affinamento.

Il documento afferma*:

‘[Aggiungendo] un fattore di calibrazione dei bias a tutti i logit delle classi assenti [4, 40 ], il modello affinato può ripristinare con successo l’accuratezza della classe assente e ottenere un decente miglioramento generale nel dominio downstream.

‘La prestazione risultante supera anche il solido baseline [Holistic Transfer – il documento su cui si basa questo documento] nella maggior parte dei benchmark, tra cui ImageNet e le sue varianti [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home e VTAB, senza addestramento e impostazione di iperparametri complicati.’

Risultati del documento: un modello affinato che ha subito una calibrazione post-elaborazione può, secondo gli autori, superare l’approccio attuale allo stato dell’arte del problema.

Gli autori classificano le prestazioni migliorate di un modello affinato post-calibrato come ‘comportamenti benigni inaspettati’, e osservano che quando si utilizza un ottimizzatore di base Stochastic Gradient Descent (SGD), si ottiene un risultato migliore rispetto agli ottimizzatori più popolari attuali, come Adam.

‘Ancora,’ notano ‘con tassi di apprendimento sufficientemente piccoli e decadimento dei pesi, i comportamenti benigni si verificano e si mantengono.’

Riparazioni Minori

Per riparare le discordanze dei logit risultanti dall’affinamento, gli autori hanno preso in prestito una tecnica dall’apprendimento zero-shot, aggiungendo un fattore costante ai logit di tutte le classi assenti. Ciò risulta in una nuova regola di classificazione.

Gli autori notano che questo processo ‘promuove’ le classi assenti trascurate alle stesse qualità di previsione delle classi affinate, ripristinando le prestazioni originali e migliorando le prestazioni dei ‘dati aggiunti’ al momento dell’inferenza.

Nei test, la tecnica di calibrazione post-elaborazione ha ripristinato le prestazioni su una varietà di modelli affinati. L”Oracle’ indicato nella tabella si riferisce a un classificatore affinato che prende anche in considerazione i dati della classe mancante.

Osservano inoltre che la calibrazione post-elaborazione è ‘potenzialmente applicabile a qualsiasi modello’, e che i metodi che cercano di mantenere l’integrità del modello fondamentale tramite il congelamento dei layer (come il classificatore e lo scheletro) ottengono punteggi bassi in confronto al loro approccio proposto.

Conclusione

I risultati di questa collaborazione sembrano significativi. Addestrare un modello di intelligenza artificiale su un set di dati hyperscale è un impegno enorme, analogo al decollo di un aereo di linea. Sebbene l’addestramento possa essere interrotto e qualsiasi danno mitigato salvando i pesi correnti periodicamente (a un costo di archiviazione considerevole), per consentire interruzioni all’addestramento, c’è relativamente poco che si può fare per alterare l’esito dopo il lancio.

Ciò che è impressionante nel lavoro è che i ricercatori sembrano aver scoperto un principio fondamentale nell’addestramento generale dei modelli di intelligenza artificiale, e che la loro soluzione è sorprendentemente elegante.

Le implicazioni economiche del poter mantenere l’accuratezza del modello fondamentale dopo l’affinamento sono anche significative. Fino ad ora, il metodo più comune per affrontare le carenze dei modelli da multi-milioni di dollari è stato quello di filtrare l’output al momento dell’inferenza, o di controllare l’inferenza per evitare eventuali talloni d’Achille evidenti nel modello.

Inoltre, una tale tecnica potrebbe teoricamente apportare miglioramenti significativi alle capacità dei modelli generativi affinati a livello di consumatore, con il bonus di un aumento della qualità dell’output.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta martedì, 1 ottobre 2024