La capacità e le prestazioni dei modelli linguistici grandi e aperti sono migliorate notevolmente negli ultimi anni, e abbiamo assistito ai progressi dai modelli GPT-2 iniziali ai framework LLM più compatibili, precisi ed efficaci che utilizzano una quantità considerevole di token superiore a quella raccomandata dalle leggi di scalabilità Chinchilla. Inoltre, gli sviluppatori hanno dimostrato che questi framework LLM più piccoli possono essere ulteriormente addestrati utilizzando un approccio di dSFT o Distilled Supervised Fine-Tuning basato su modelli proprietari, che utilizza l’output di un modello insegnante efficace come dati supervisionati per il modello studente nel tentativo di aumentare la precisione.

In questo articolo, parleremo del framework Zephyr-7B, uno stato dell’arte per la valutazione dei modelli di chat per modelli da 7B parametri che non richiede annotazioni umane. L’obiettivo principale del framework è consentire agli sviluppatori di produrre modelli linguistici grandi più piccoli allineati all’intento dell’utente più che mai prima. Il framework Zephyr-7B non solo esamina l’applicazione degli approcci attuali per i framework LLM più grandi come dSFT, ma esplora anche la possibilità di utilizzare altri approcci per apprendere un modello di chat con un allineamento migliore con l’intento dell’utente. Esamineremo il framework Zephyr, la sua architettura, il funzionamento e i risultati. Iniziamo.

Zephyr-7B: Introduzione alla Distillazione Diretta dell’Allineamento nei Modelli Linguistici

Come menzionato in precedenza, i modelli linguistici hanno progredito rapidamente negli ultimi anni, dai framework GPT-2 iniziali ai framework LLM attuali come GPT-4 e MiniGPT-5, che sebbene siano estremamente esaurienti in termini di token, sono ora più precisi e molto più efficienti. Un punto di forza importante di questi framework LLM avanzati è che incorporano una quantità di token significativamente superiore a quella considerata computazionalmente ottimale in base alle leggi di scalabilità Chinchilla. Inoltre, gli sviluppatori e i ricercatori che lavorano sui framework LLM hanno scoperto che questi framework LLM più piccoli possono essere ulteriormente addestrati utilizzando un approccio di dSFT o Distilled Supervised Fine-Tuning basato su modelli proprietari, che utilizza l’output di un modello insegnante efficace come dati supervisionati per il modello studente nel tentativo di aumentare la precisione. La strategia di distillazione si è rivelata uno strumento molto efficace e utile per massimizzare il potenziale e le capacità dei modelli aperti in una vasta gamma di attività, sebbene non possa ancora replicare le prestazioni raggiunte dal modello insegnante. Inoltre, gli utenti hanno spesso segnalato che questi modelli spesso presentano un “allineamento di intenti”, ovvero i modelli non si comportano in modo coerente con le esigenze degli utenti finali, portando a output errati che non forniscono il giusto output o risposte agli input o query dell’utente.

L’allineamento di intenti è sempre stato una sfida importante per gli sviluppatori, con lavori recenti che si concentrano sullo sviluppo di benchmark come AlpacaEval e MT-Bench, progettati per affrontare la mancanza di allineamento. La motivazione per lo sviluppo del framework Zephyr può essere attribuita al problema di utilizzare la distillazione per allineare un framework LLM aperto più piccolo, dove il passo principale consiste nell’utilizzare un feedback di intelligenza artificiale per ottenere dati di preferenza da un ensemble del modello insegnante e quindi applicare direttamente l’ottimizzazione della preferenza distillata come obiettivo di apprendimento principale, un approccio noto come dDPO o Denoising Diffusion Policy Optimization. Il punto di forza principale dell’approccio dDPO è che, a differenza dei suoi predecessori come PPO o Proximal Preference Optimization, non richiede campionamento o annotazioni umane e riduce anche il tempo necessario per addestrare un modello linguistico. Inoltre, consente anche agli sviluppatori di massimizzare le ricompense del campione finale prestando attenzione alla sequenza dei passaggi di denoising dall’inizio alla fine, in altre parole, durante l’intero processo.

Gli sviluppatori hanno sviluppato il framework Zephyr-7B per validare questo approccio e, in alcuni modi, è una versione allineata del framework Mistral-7B attuale. Il framework utilizza prima il dSFT o Distilled Supervised Fine-Tuning basato sul set di dati UltraChat e applica l’approccio dDPO o Denoising Diffusion Policy Optimization sui dati di feedback. Gli esperimenti indicano che il framework Zephyr-7B con 7 miliardi di parametri fornisce risultati paragonabili a quelli forniti da modelli di chat allineati con feedback umano con oltre 70 miliardi di parametri. Inoltre, gli esperimenti indicano anche che i risultati possono essere migliorati sia in termini di benchmark che prendono in considerazione le capacità conversazionali, sia in termini di benchmark accademici standard, e l’utilizzo dell’apprendimento di preferenza è fondamentale per ottenere i risultati desiderati.

La figura sopra mostra le prestazioni di vari modelli linguistici sul benchmark MT-bench. Il framework Zephyr-7B addestrato utilizzando l’approccio dDPO è confrontato con modelli linguistici più grandi e aperti come GPT-3.5 turbo, Llama-2-70B e altri, addestrati utilizzando apprendimento di rinforzo aggiuntivo e che includono anche una grande quantità di feedback umano. Come si può vedere chiaramente, nonostante la differenza sostanziale nel numero di parametri utilizzati da questi framework, il framework Zephyr-7B fornisce risultati paragonabili alla maggior parte di essi e supera diverse piattaforme in diversi domini.

Zephyr-7B: Metodo, Funzionamento e Architettura

L’obiettivo principale del framework Zephyr-7B è aiutare un modello linguistico grande aperto ad allinearsi il più possibile all’intento dell’utente e, durante l’intero processo, il framework Zephyr-7B presume di avere accesso a un modello insegnante grande che viene interrogato utilizzando la generazione di prompt. Il framework Zephyr-7B segue un approccio simile a quello utilizzato nel framework InstructGPT e mira a generare un modello studente efficace e preciso.

La figura seguente mostra brevemente i tre passaggi principali coinvolti nel funzionamento del framework Zephyr-7B.

1. dSFT per la costruzione di un set di dati su larga scala utilizzando uno stile di auto-istruzione.
2. Raccolta di feedback di intelligenza artificiale utilizzando un ensemble di modelli di chat completi, seguita dalla binarizzazione delle preferenze e dalla valutazione da parte di GPT-4.
3. dPO del modello dSFT utilizzando i dati di feedback.

dSFT o Distilled Supervised Fine-Tuning

Il framework inizia con un modello linguistico grande grezzo che deve essere addestrato per rispondere ai prompt dell’utente. Tradizionalmente, l’addestramento di questi modelli LLM per rispondere ai prompt dell’utente viene eseguito utilizzando la fine-tuning supervisionata su un set di dati costituito da istruzioni di alta qualità e relative risposte. Poiché il framework Zephyr-7B ha accesso a un modello linguistico insegnante, il framework può generare istruzioni e risposte e addestrare il modello direttamente su queste istruzioni e risposte, e questo approccio è noto come dSFT o Distilled Supervised Fine-Tuning. La figura seguente mostra la distillazione eseguita dalla fine-tuning supervisionata, dove x rappresenta un set di prompt di base costruiti con l’obiettivo principale di rappresentare un insieme diversificato di domini tematici, y rappresenta la risposta del campione, che viene raffinata utilizzando una nuova istruzione di campione rappresentata da x1 e C rappresenta il punto finale nel set di dati finale.

Feedback di Intelligenza Artificiale tramite Preferenze

Il feedback umano viene utilizzato per assegnare modelli linguistici grandi, poiché possono fornire i segnali aggiuntivi richiesti, e questi feedback umani vengono tradizionalmente forniti tramite preferenze sulla qualità delle risposte generate dai modelli LLM. Tuttavia, il framework Zephyr utilizza il feedback di intelligenza artificiale dal modello insegnante sui dati di output generati da altri modelli per la distillazione, invece del feedback umano. L’approccio seguito dal framework Zephyr è influenzato da quello utilizzato dal framework UltraFeedback, che utilizza il modello insegnante per fornire preferenze sui dati di output del modello.

Simile all’approccio di fine-tuning supervisionata, inizia con un set di prompt, dove x rappresenta ogni prompt individuale che viene quindi alimentato a una raccolta di quattro modelli come Llama, Falcon, Claude e altri, ognuno dei quali genera una risposta. Queste risposte vengono quindi alimentate come input al modello insegnante come GPT-3 o GPT-4, e il modello produce un punteggio per la risposta di input. Dopo aver raccolto i punteggi di output, il modello salva la risposta con il punteggio più alto.

dDPO o Distilled Direct Preference Optimization

Il dDPO è l’ultimo passaggio del framework Zephyr, e il suo obiettivo principale è raffinare il modello insegnante dSFT massimizzando la probabilità di classificare la risposta preferita in un modello di preferenza determinato da una funzione di ricompensa utilizzando il modello linguistico studente. Il passaggio precedente che utilizza il feedback di intelligenza artificiale si concentra principalmente sull’utilizzo di metodi di apprendimento di rinforzo come PPO o Proximal Policy Optimization per l’ottimizzazione massima rispetto alla ricompensa generata. In questo passaggio, la ricompensa viene prima addestrata e quindi campionata dalla politica attuale per calcolare gli aggiornamenti, e quindi massimizzare l’ottimizzazione. Il dPO o Direct Preference Optimization segue un approccio simile per ottimizzare direttamente il modello di preferenza utilizzando i dati statici. L’obiettivo dopo aver inserito la funzione di ricompensa nel modello di preferenza può essere scritto

Zephyr-7B: Esperimenti, Benchmark e Risultati

Il framework Zephyr esegue gli esperimenti di fine-tuning sul framework Mistral-7B attuale, che fornisce prestazioni paragonabili a modelli linguistici più grandi in una vasta gamma di attività di elaborazione del linguaggio naturale.

Set di Dati

Il framework Zephyr utilizza due set di dati di dialogo che sono stati distillati da una miscela di modelli proprietari e aperti, che in precedenza si sono dimostrati efficaci nel produrre modelli di chat efficaci.

UltraChat

UltraChat è un set di dati di auto-miglioramento che consiste di quasi 1,5 milioni di dialoghi multi-turni su 30 argomenti e 20 materiali di testo generati dal framework GPT-3.5-Turbo. Per affrontare il problema di capitalizzazione errata del set di dati UltraChat, il framework applica un approccio euristico di truecasing per eliminare gli errori grammaticali.

UltraFeedback

UltraFeedback è un set di dati di prompt con oltre 64k prompt, ognuno con quattro risposte LLM individuali. Il framework Zephyr utilizza il punteggio medio più alto ottenuto dal set di dati UltraFeedback per costruire preferenze binarie e una delle risposte LLM rimanenti viene rifiutata come casuale.

Valutazione

Per valutare le prestazioni del framework Zephyr, gli sviluppatori hanno scelto due benchmark di chat, uno a turno singolo e uno a turno multi-turn, nel tentativo di valutare la capacità del modello di seguire le istruzioni dell’utente e rispondere di conseguenza.

MT-Bench

Il benchmark di valutazione MT-Bench consiste di 160 domande su 8 aree di conoscenza uniche e, sotto il benchmark MT-Bench, il modello deve rispondere a una domanda iniziale e fornire una risposta alla domanda di follow-up.

AlpacaEval

AlpacaEval è un benchmark a turno singolo sotto il quale il modello o il framework genera risposte dell’utente a oltre 800 domande su argomenti diversi con l’obiettivo principale di aiutare.

In aggiunta a questi due benchmark principali, il framework Zephyr-7B viene anche valutato sulla classifica aperta LLM per attività di classificazione multi-classe, ARC, HellaSwag, MMLU e altri. Inoltre, indipendentemente dal benchmark su cui viene valutato il framework Zephyr-7B, viene confrontato con una gamma di modelli proprietari e aperti, con le procedure di allineamento come unico fattore differenziatore.

Risultati

Vediamo ora come si comporta il framework Zephyr-7B e come si confronta con i modelli linguistici attuali.

Implementazione dell’Approccio dDPO Migliora le Capacità di Chat

La tabella seguente confronta le prestazioni del framework Zephyr-7B con i modelli linguistici attuali sui benchmark AlpacaEval e MT-Bench.

Come si può vedere chiaramente, quando confrontato con i modelli aperti da 7B, il framework Zephyr-7B non solo supera significativamente i modelli dSFT su entrambi i benchmark, ma stabilisce anche nuovi standard di stato dell’arte. Inoltre, il framework Zephyr-7B supera anche il modello XWIN-LM-7B, che è uno dei rari modelli addestrati sull’approccio dPPO o Distilled PPO. Inoltre, le prestazioni fornite dal framework Zephyr-7B sono paragonabili ai risultati forniti da modelli linguistici più grandi come Llama2-Chat con oltre 70B parametri.

dDPO Migliora le Prestazioni delle Attività Accademiche

La figura seguente confronta le prestazioni del framework Zephyr-7B con una gamma di framework LLM aperti e proprietari.

Come si può vedere, il framework Zephyr-7B supera significativamente i framework LLM con 7B parametri e il divario tra le sue prestazioni e quelle fornite dai migliori modelli dSFT è anche evidente. Man mano che il numero di parametri aumenta, il framework Zephyr-7B cade leggermente, sebbene eguagli le prestazioni fornite da framework con 40 miliardi di parametri.

Ottimizzazione delle Preferenze

Nella figura seguente, valutiamo come i diversi passaggi seguiti nel processo di allineamento influiscono sulle prestazioni. Come si può osservare, l’approccio dDPO combinato con dSFT migliora significativamente le prestazioni su entrambi i set di dati MT-Bench e AlpacaEval.

Infine, nella figura seguente possiamo vedere le accuratezze di testing e addestramento durante l’implementazione del dPO. Come si può vedere, l’approccio dPO non influenza le prestazioni del modello sulle attività a valle.

Conclusione

In questo articolo, abbiamo parlato del framework Zephyr-7B basato sul framework Mistral-7B attuale, che mira a risolvere la sfida attuale della distillazione dell’allineamento da un modello linguistico grande a un framework pre-addestrato più piccolo. L’obiettivo principale del framework è consentire agli sviluppatori di produrre modelli linguistici grandi più piccoli allineati all’intento dell’utente più che mai prima. Il framework Zephyr-7B non solo esamina l’applicazione degli approcci attuali per i framework LLM più grandi come dSFT, ma esplora anche la possibilità di utilizzare altri approcci per apprendere un modello di chat con un allineamento migliore con l’intento dell’utente.

Tuttavia, nonostante i risultati promettenti, il framework Zephyr-7B non è perfetto e alcune attività devono ancora essere eseguite. Una delle limitazioni più evidenti è l’utilizzo del framework GPT-4 per valutare i benchmark MT-Bench e AlpacaEval, che è spesso stato distorto verso i modelli che esso stesso distilla. Tuttavia, il framework Zephyr-7B spera di aprire la strada per esplorare le capacità dei modelli aperti più piccoli in grado di allinearsi all’intento e alle interazioni dell’utente.