Modelli e piattaforme di IA

Una Guida Completa alla Fine-Tuning dei Modelli Linguistici di Grande Scala

Pubblicato il 25 marzo 2024

Aggiornato il 22 maggio 2026

Aayush Mittal Mittal

Aggiungi Unite.AI alle tue fonti preferite su Google

I modelli linguistici di grande scala (LLM) come GPT-4, LaMDA, PaLM e altri hanno fatto scalpore con la loro incredibile capacità di comprendere e generare testi simili a quelli umani su una vasta gamma di argomenti. Questi modelli sono pre-addestrati su enormi set di dati che comprendono miliardi di parole da internet, libri e altre fonti.

Questa fase di pre-addestramento infonde ai modelli una vasta conoscenza generale sulla lingua, gli argomenti, le capacità di ragionamento e anche alcuni pregiudizi presenti nei dati di addestramento. Tuttavia, nonostante la loro incredibile ampiezza, questi LLM pre-addestrati mancano di competenze specializzate per domini o compiti specifici.

È qui che entra in gioco la fine-tuning – il processo di adattamento di un LLM pre-addestrato per eccellere in una specifica applicazione o caso d’uso. Addestrando ulteriormente il modello su un set di dati più piccolo e specifico per il compito, possiamo adattare le sue capacità per allinearsi con le sfumature e i requisiti di quel dominio.

La fine-tuning è analoga al trasferimento della vasta conoscenza di un generalista altamente istruito per creare un esperto di materia specializzato in un certo campo. In questa guida, esploreremo cosa sia la fine-tuning, perché è necessaria e come funziona.

Fine-tuning dei Modelli Linguistici di Grande Scala

Cosa è la Fine-Tuning?

In sostanza, la fine-tuning consiste nel prendere un modello pre-addestrato di grandi dimensioni e aggiornarne i parametri utilizzando una seconda fase di addestramento su un set di dati adatto al compito o dominio target. Ciò consente al modello di apprendere e interiorizzare le sfumature, i pattern e gli obiettivi specifici di quell’area più ristretta.

Mentre l’addestramento pre-addestramento cattura una comprensione generale della lingua da un enorme e diversificato corpus di testo, la fine-tuning specializza quella competenza generale. È come prendere un uomo del Rinascimento e plasmarlo in un esperto di settore.

I pesi del modello pre-addestrato, che codificano la sua conoscenza generale, vengono utilizzati come punto di partenza o inizializzazione per il processo di fine-tuning. Il modello viene quindi addestrato ulteriormente, ma questa volta su esempi direttamente rilevanti per l’applicazione finale.

Esponendo il modello a questa distribuzione di dati specializzata e regolando di conseguenza i parametri del modello, rendiamo l’LLM più preciso e efficace per il caso d’uso target, beneficiando ancora delle capacità pre-addestrate come fondamento.

Perché Eseguire la Fine-Tuning?

Ci sono diverse ragioni chiave per cui potresti voler eseguire la fine-tuning di un modello linguistico di grande scala:

Personalizzazione del Dominio: Ogni campo, dalla legge alla medicina all’ingegneria del software, ha le sue convenzioni linguistiche nuance, gergo e contesti. La fine-tuning consente di personalizzare un modello generale per comprendere e produrre testi adatti al dominio specifico.
Specializzazione del Compito: Gli LLM possono essere sottoposti a fine-tuning per vari compiti di elaborazione del linguaggio naturale come la sommarizzazione del testo, la traduzione automatica, la risposta alle domande e così via. Questa specializzazione aumenta le prestazioni sul compito target.
Conformità dei Dati: Industrie altamente regolamentate come la sanità e la finanza hanno rigorosi requisiti di privacy dei dati. La fine-tuning consente di addestrare gli LLM su dati proprietari dell’organizzazione mentre si proteggono le informazioni sensibili.
Dati Etichettati Limitati: Ottenere grandi set di dati etichettati per l’addestramento dei modelli da zero può essere impegnativo. La fine-tuning consente di raggiungere prestazioni solide sul compito a partire da esempi supervisionati limitati, sfruttando le capacità del modello pre-addestrato.
Aggiornamento del Modello: Man mano che nuovi dati diventano disponibili nel tempo in un dominio, è possibile eseguire ulteriori fine-tuning dei modelli per incorporare le nuove conoscenze e capacità.
Mitigazione dei Pregiudizi: Gli LLM possono acquisire pregiudizi sociali dai dati di pre-addestramento ampi. La fine-tuning su set di dati curati può aiutare a ridurre e correggere questi indesiderabili pregiudizi.

In sostanza, la fine-tuning colma il divario tra un modello generale, ampio, e le esigenze focalizzate di un’applicazione specializzata. Migliora la precisione, la sicurezza e la rilevanza delle uscite del modello per casi d’uso mirati.

Fine-tuning dei Modelli Linguistici di Grande Scala

Il diagramma fornito illustra il processo di implementazione e utilizzo dei modelli linguistici di grande scala (LLM) per applicazioni aziendali. Inizialmente, un modello pre-addestrato come T5 viene alimentato con dati aziendali strutturati e non strutturati, che possono essere in vari formati come CSV o JSON. Questi dati subiscono processi di addestramento supervisionato, non supervisionato o di trasferimento, migliorando la rilevanza del modello per le esigenze specifiche dell’azienda.

Una volta che il modello è stato sottoposto a fine-tuning con i dati dell’azienda, i suoi pesi vengono aggiornati di conseguenza. Il modello addestrato esegue quindi ulteriori cicli di addestramento, migliorando costantemente le sue risposte nel tempo con nuovi dati dell’azienda. Il processo è iterativo e dinamico, con il modello che apprende e si adatta per rispondere ai pattern di dati in evoluzione.

L’output del modello addestrato – token ed embedding che rappresentano parole – viene quindi distribuito per varie applicazioni aziendali. Queste applicazioni possono variare da chatbot a sanità, ognuna richiedendo al modello di comprendere e rispondere a query specifiche del settore. Nel settore finanziario, le applicazioni includono la rilevazione di frodi e l’analisi di minacce; nella sanità, i modelli possono assistere con le richieste dei pazienti e la diagnostica.

La capacità del modello addestrato di elaborare e rispondere a nuovi dati dell’azienda nel tempo garantisce che la sua utilità sia sostenuta e cresca. Di conseguenza, gli utenti aziendali possono interagire con il modello attraverso applicazioni, ponendo domande e ricevendo risposte informate che riflettono l’addestramento e la fine-tuning del modello sui dati specifici del dominio.

Questa infrastruttura supporta una vasta gamma di applicazioni aziendali, dimostrando la versatilità e l’adattabilità degli LLM quando implementati e mantenuti correttamente all’interno di un contesto aziendale.

Approcci di Fine-Tuning

Ci sono due strategie principali quando si tratta di fine-tuning dei modelli linguistici di grande scala:

1) Fine-Tuning Completo del Modello

Nell’approccio di fine-tuning completo, tutti i parametri (pesi e bias) del modello pre-addestrato vengono aggiornati durante la seconda fase di addestramento. Il modello viene esposto al set di dati etichettati specifico del compito e il processo di addestramento standard ottimizza l’intero modello per quella distribuzione di dati.

Ciò consente al modello di effettuare aggiustamenti più completi e adattarsi in modo olistico al compito o dominio target. Tuttavia, il fine-tuning completo ha alcuni svantaggi:

Richiede risorse computazionali e tempo significativi per l’addestramento, simili alla fase di pre-addestramento.
I requisiti di archiviazione sono elevati, poiché è necessario mantenere una copia separata e fine-tuned del modello per ogni compito.
C’è il rischio di “dimenticanza catastrofica”, dove la fine-tuning causa al modello la perdita di alcune capacità generali apprese durante il pre-addestramento.

Nonostante queste limitazioni, il fine-tuning completo rimane una tecnica potente e ampiamente utilizzata quando le risorse lo consentono e il compito target diverge significativamente dal linguaggio generale.

2) Metodi di Fine-Tuning Efficienti

Per superare le sfide computazionali del fine-tuning completo, i ricercatori hanno sviluppato strategie efficienti che aggiornano solo una piccola parte dei parametri del modello durante la fine-tuning. Queste tecniche parametricamente efficienti bilanciano la specializzazione e la riduzione dei requisiti di risorse.

Alcuni metodi di fine-tuning efficienti popolari includono:

Prefix-Tuning: Qui, vengono introdotti e addestrati vettori o “prefix” specifici del compito, che condizionano l’attenzione del modello pre-addestrato per il compito target. Solo questi prefix vengono aggiornati durante la fine-tuning.

LoRA (Low-Rank Adaptation): LoRA inietta matrici a basso rango addestrabili in ogni livello del modello pre-addestrato durante la fine-tuning. Questi piccoli aggiornamenti a basso rango aiutano a specializzare il modello con molti meno parametri addestrabili rispetto al fine-tuning completo.

Certo, posso fornire una spiegazione dettagliata di LoRA (Low-Rank Adaptation) insieme alla formulazione matematica e agli esempi di codice. LoRA è una tecnica di fine-tuning efficiente (PEFT) che ha guadagnato una notevole attenzione nel campo dell’adattamento dei modelli linguistici di grande scala.

Cosa è LoRA?

LoRA è un metodo di fine-tuning che introduce un piccolo numero di parametri addestrabili nel modello pre-addestrato, consentendo un adattamento efficiente ai compiti downstream mentre si mantiene la maggior parte della conoscenza originale del modello. Invece di eseguire la fine-tuning di tutti i parametri del modello, LoRA inietta matrici a basso rango specifiche del compito nei livelli del modello, abilitando risparmi computazionali e di memoria significativi durante il processo di fine-tuning.

Formulazione Matematica

LoRA (Low-Rank Adaptation) è un metodo di fine-tuning per modelli linguistici di grande scala che introduce un aggiornamento a basso rango alle matrici di pesi. Per una matrice di pesi $W_{0} \in R^{d \times k}, LoRA aggiunge una matrice a basso rango B A, con A \in R^{r \times k} e B \in R^{d \times r}, dove r è il rango. Questo approccio riduce notevolmente il numero di parametri addestrabili, consentendo un adattamento efficiente ai compiti downstream con risorse computazionali minime. La matrice di pesi aggiornata è data da W = W_{0} + B \cdot A .$

Questo aggiornamento a basso rango può essere interpretato come la modifica della matrice di pesi originale $W_{0}$ aggiungendo una matrice a basso rango $BA$. Il vantaggio chiave di questa formulazione è che invece di aggiornare tutti i $d \times k$ parametri in $W_{0}$, LoRA deve solo ottimizzare $r \times (d + k)$ parametri in $A$ e $B$, riducendo notevolmente il numero di parametri addestrabili.

Ecco un esempio in Python utilizzando la libreria peft per applicare LoRA a un modello pre-addestrato per la classificazione del testo:

&amp;lt;/div&amp;gt;
&amp;lt;div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; transformers &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; AutoModelForSequenceClassification
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;from&amp;lt;/span&amp;gt; peft &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;import&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; TaskType
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Carica modello pre-addestrato&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; AutoModelForSequenceClassification&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;from_pretrained&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;bert-base-uncased&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;, &amp;lt;/span&amp;gt;num_labels&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;2&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Definisci configurazione LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;peft_config &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; LoraConfig&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;task_type&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;TaskType&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;.&amp;lt;/span&amp;gt;SEQ_CLS&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;, &amp;lt;/span&amp;gt;r&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;8&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Rango dell'aggiornamento a basso rango&amp;lt;/span&amp;gt;
lora_alpha&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;16&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Fattore di scala per l'aggiornamento a basso rango&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt; target_modules&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;[&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;q_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&quot;v_lin&quot;&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;]&amp;lt;/span&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Applica LoRA ai livelli di query e valore&amp;lt;/span&amp;gt;
&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Crea il modello abilitato a LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;model &amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;=&amp;lt;/span&amp;gt; get_peft_model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;(&amp;lt;/span&amp;gt;model&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;,&amp;lt;/span&amp;gt; peft_config&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;)&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# Fine-tuning del modello con LoRA&amp;lt;/span&amp;gt;
&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;div class=&quot;code-block__code !my-0 !rounded-t-lg !text-sm !leading-relaxed&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;code class=&quot;language-python&quot; data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;&amp;lt;span class=&quot;token&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;# ... (codice di addestramento omesso per brevità)&amp;lt;/span&amp;gt;&amp;lt;/code&amp;gt;&amp;lt;/div&amp;gt;
&amp;lt;/div&amp;gt;
&amp;lt;div data-darkreader-inline-bgimage=&quot;&quot; data-darkreader-inline-bgcolor=&quot;&quot; data-darkreader-inline-color=&quot;&quot;&amp;gt;

In questo esempio, carichiamo un modello pre-addestrato BERT per la classificazione delle sequenze e definiamo una configurazione LoRA. Il parametro r specifica il rango dell’aggiornamento a basso rango, e lora_alpha è un fattore di scala per l’aggiornamento. Il parametro target_modules indica quali livelli del modello dovrebbero ricevere gli aggiornamenti a basso rango. Dopo aver creato il modello abilitato a LoRA, possiamo procedere con il processo di fine-tuning utilizzando la procedura di addestramento standard.

Strati Adattivi: Simili a LoRA, ma invece di aggiornamenti a basso rango, vengono inseriti strati “adattivi” sottili all’interno di ogni blocco del modello pre-addestrato. Solo i parametri di questi pochi nuovi strati compatte vengono addestrati.

Prompt Tuning: Questo approccio mantiene il modello pre-addestrato completamente congelato. Invece, vengono introdotti “prompt” addestrabili come input per attivare la conoscenza pre-addestrata del modello per il compito target.

Questi metodi efficienti possono fornire fino a 100 volte di riduzione dei calcoli rispetto al fine-tuning completo, mantenendo comunque prestazioni competitive su molti compiti. Riducono anche le esigenze di archiviazione evitando la duplicazione completa del modello.

Tuttavia, le loro prestazioni potrebbero essere inferiori al fine-tuning completo per compiti che sono molto diversi dal linguaggio generale o richiedono una specializzazione più olistica.

Il Processo di Fine-Tuning

Indipendentemente dalla strategia di fine-tuning, il processo generale per specializzare un LLM segue un framework generale:

Preparazione del Set di Dati: Avrai bisogno di ottenere o creare un set di dati etichettato che mappa input (prompt) a output desiderati per il compito target. Per i compiti di generazione di testo come la sommarizzazione, ciò significherebbe coppie di testo di input e output riassunti.
Divisione del Set di Dati: Seguendo le migliori pratiche, dividete il vostro set di dati etichettato in set di addestramento, convalida e test. Ciò separa i dati per l’addestramento del modello, la regolazione degli iperparametri e la valutazione finale.
Regolazione degli Iperparametri: Parametri come la velocità di apprendimento, la dimensione del batch e la pianificazione dell’addestramento devono essere regolati per il fine-tuning più efficace sui vostri dati. Ciò di solito coinvolge un piccolo set di convalida.
Addestramento del Modello: Utilizzando gli iperparametri regolati, eseguite il processo di ottimizzazione del fine-tuning sul set di addestramento completo fino a quando le prestazioni del modello sul set di convalida non smettono di migliorare (arresto anticipato).
Valutazione: Valutate le prestazioni del modello fine-tuned sul set di test tenuto a parte, idealmente composto da esempi del mondo reale per il caso d’uso target, per stimare l’efficacia nel mondo reale.
Distribuzione e Monitoraggio: Una volta soddisfatti, il modello fine-tuned può essere distribuito per l’inferenza su nuovi input. È cruciale monitorare le sue prestazioni e accuratezza nel tempo per il drift dei concetti.

Mentre questo descrive il processo generale, molte sfumature possono impattare il successo del fine-tuning per un particolare LLM o compito. Strategie come l’apprendimento per curriculum, il fine-tuning multi-compito e il prompting a pochi esempi possono ulteriormente aumentare le prestazioni.

Inoltre, i metodi di fine-tuning efficienti richiedono considerazioni aggiuntive. Ad esempio, LoRA richiede tecniche come il condizionamento delle uscite del modello pre-addestrato attraverso un livello di combinazione. Il prompt tuning necessita di prompt progettati con cura per attivare i comportamenti corretti.

Fine-Tuning Avanzato: Incorporazione del Feedback Umano

Mentre il fine-tuning standard supervisionato utilizzando set di dati etichettati è efficace, una frontiera emozionante è l’addestramento degli LLM direttamente utilizzando preferenze e feedback umani. Questo approccio uomo-nel-ciclo sfrutta tecniche di apprendimento per rinforzo:

PPO (Proximal Policy Optimization): Qui, l’LLM viene trattato come un agente di apprendimento per rinforzo, con le sue uscite come “azioni”. Un modello di ricompensa viene addestrato per prevedere punteggi o valutazioni umane per queste uscite. PPO ottimizza quindi l’LLM per generare uscite che massimizzano i punteggi del modello di ricompensa.

RLHF (Reinforcement Learning from Human Feedback): Questo estende PPO incorporando direttamente il feedback umano nel processo di apprendimento. Invece di un modello di ricompensa fisso, le ricompense provengono dalle valutazioni umane iterative sulle uscite dell’LLM durante il fine-tuning.

Sebbene computazionalmente intensivo, questi metodi consentono di plasmare il comportamento dell’LLM in modo più preciso in base a caratteristiche desiderate valutate dagli esseri umani, al di là di quanto può essere catturato in un set di dati statico.

Aziende come Anthropic hanno utilizzato RLHF per infondere nei loro modelli linguistici come Claude una maggiore veridicità, etica e consapevolezza della sicurezza oltre alla semplice competenza nel compito.

Potenziali Rischi e Limitazioni

Sebbene estremamente potenti, la fine-tuning degli LLM non è senza rischi che devono essere gestiti con cura:

Amplificazione dei Pregiudizi: Se i dati di fine-tuning contengono pregiudizi sociali relativi a genere, razza, età o altri attributi, il modello può amplificare questi indesiderabili pregiudizi. È cruciale curare set di dati rappresentativi e privi di pregiudizi.

Deriva Fattuale: Anche dopo la fine-tuning su dati di alta qualità, i modelli linguistici possono “allucinare” fatti o uscite scorrette inconsistenti con gli esempi di addestramento su conversazioni o prompt più lunghi. Potrebbero essere necessari metodi di recupero dei fatti.

Sfide di Scalabilità: Il fine-tuning completo di modelli enormi come GPT-3 richiede risorse computazionali immense che potrebbero essere infeasiibili per molte organizzazioni. I metodi di fine-tuning efficienti mitigano parzialmente questo problema, ma hanno compromessi.

Dimenticanza Catastrofica: Durante il fine-tuning completo, i modelli possono subire una dimenticanza catastrofica, dove perdono alcune capacità generali apprese durante il pre-addestramento. Potrebbe essere necessario l’apprendimento multi-compito.

Rischi per la Proprietà Intellettuale e la Privacy: I dati proprietari utilizzati per la fine-tuning possono trapelare nelle uscite dei modelli linguistici pubblicati, ponendo rischi. Le tecniche di privacy differenziale e di mitigazione dei rischi per le informazioni sono aree di ricerca attiva.

Nel complesso, sebbene estremamente utili, la fine-tuning è un processo sfumato che richiede attenzione alla qualità dei dati, considerazioni sull’identità, mitigazione dei rischi e compromessi tra prestazioni ed efficienza in base ai requisiti del caso d’uso.

Il Futuro: Personalizzazione dei Modelli Linguistici su Scala

Guardando avanti, i progressi nella fine-tuning e nelle tecniche di adattamento dei modelli saranno cruciali per sbloccare il pieno potenziale dei modelli linguistici di grande scala attraverso applicazioni e domini diversi.

Metodi più efficienti che consentono la fine-tuning anche di modelli più grandi come PaLM con risorse limitate potrebbero democratizzare l’accesso. L’automazione delle pipeline di creazione dei set di dati e dell’ingegneria dei prompt potrebbe semplificare la specializzazione.

Tecniche auto-supervise per la fine-tuning dai dati grezzi senza etichette potrebbero aprire nuove frontiere. E gli approcci compositi per combinare sottomodelli fine-tuned addestrati su compiti o dati diversi potrebbero consentire la costruzione di modelli altamente personalizzati su richiesta.

Alla fine, man mano che gli LLM diventano più ubiqui, la capacità di personalizzarli e specializzarli in modo fluido per ogni caso d’uso concepibile sarà cruciale. La fine-tuning e le strategie di adattamento dei modelli sono passi fondamentali per realizzare la visione dei modelli linguistici di grande scala come strumenti di AI flessibili, sicuri e potenti che ampliano le capacità umane in ogni dominio e impresa.

Aayush Mittal, Mittal

Ho trascorso gli ultimi cinque anni immergendomi nel mondo affascinante del Machine Learning e del Deep Learning. La mia passione e la mia esperienza mi hanno portato a contribuire a oltre 50 progetti di ingegneria del software diversi, con un focus particolare su AI/ML. La mia curiosità in corso mi ha anche portato verso l'elaborazione del linguaggio naturale, un campo che sono ansioso di esplorare ulteriormente.

Unite.AI