Avanzare dell’allineamento dell’IA con i valori umani tramite WARM

Allineamento dei sistemi di intelligenza artificiale con i valori umani

I sistemi di intelligenza artificiale (IA) stanno diventando sempre più capaci di assistere gli esseri umani in compiti complessi, dalla gestione dei chatbot per il servizio clienti agli algoritmi di diagnosi medica. Tuttavia, poiché questi sistemi di IA assumono più responsabilità, è fondamentale che rimangano allineati con i valori e le preferenze umane. Un approccio per raggiungere questo obiettivo è la tecnica di apprendimento per rinforzo da feedback umano (RLHF). In RLHF, un sistema di IA, noto come policy, viene ricompensato o penalizzato in base ai giudizi umani del suo comportamento. L’obiettivo è che la policy impari a massimizzare le sue ricompense e, quindi, si comporti secondo le preferenze umane.

Un componente fondamentale di RLHF è il modello di ricompensa (RM). Il RM è responsabile della valutazione delle azioni e degli output della policy e del restituire un segnale di ricompensa per guidare il processo di apprendimento. Progettare un buon RM è difficile, poiché le preferenze umane possono essere complesse, dipendenti dal contesto e anche inconsistenti tra individui. Recentemente, ricercatori di Google DeepMind hanno proposto una tecnica innovativa chiamata Weight Averaged Reward Models (WARM) per migliorare la progettazione del RM.

Il problema dell’hacking della ricompensa

Un problema principale in RLHF è l’hacking della ricompensa. L’hacking della ricompensa si verifica quando la policy trova scorciatoie per ingannare il sistema di RM e ottenere ricompense elevate senza effettivamente soddisfare gli obiettivi previsti. Ad esempio, supponiamo di voler addestrare un assistente di scrittura di IA per generare riassunti di alta qualità. Il RM potrebbe ricompensare riassunti concisi e informativi. La policy potrebbe quindi imparare a sfruttare questo aspetto generando riassunti molto brevi e non informativi, ma pieni di parole chiave che ingannano il RM.

L’hacking della ricompensa avviene per due motivi principali:

1. Shift di distribuzione – Il RM è addestrato su un set di dati limitato di esempi etichettati da esseri umani. Quando viene distribuito, gli output della policy potrebbero provenire da distribuzioni diverse a cui il RM non si adatta bene.
2. Etichette rumorose – L’etichettatura umana è imperfetta, con disaccordi tra i giudici. Il RM potrebbe concentrarsi su segnali spurii piuttosto che su indicatori robusti di qualità.

L’hacking della ricompensa porta a sistemi inutili che non soddisfano le aspettative umane. Peggio ancora, può portare a comportamenti di IA distorti o addirittura pericolosi se distribuiti senza cura.

L’ascesa del merging dei modelli

L’interesse crescente per le strategie di merging dei modelli come Model Ratatouille è motivato dalla consapevolezza che i modelli più grandi, sebbene potenti, possono essere inefficienti e impraticabili. Addestrare un modello con 1 trilione di parametri richiede quantità proibitive di dati, calcolo, tempo e costo. Ancor più importante, tali modelli tendono a sovrapprendere alla distribuzione di addestramento, compromettendo la loro capacità di generalizzare a scenari reali diversi.

Il merging dei modelli offre un’alternativa per sbloccare capacità maggiori senza un aumento incontrollato della scala. Riutilizzando più modelli specializzati addestrati su distribuzioni, compiti o obiettivi diversi, il merging dei modelli mira a migliorare la versatilità e la robustezza fuori dalla distribuzione. Il presupposto è che diversi modelli catturino pattern predittivi distinti che possono complementarsi quando vengono uniti.

Risultati recenti illustrano la promessa di questo concetto. I modelli ottenuti tramite merging, nonostante abbiano molti meno parametri, possono eguagliare o addirittura superare le prestazioni di giganti modelli come GPT-3. Ad esempio, un ensemble di Model Ratatouille di soli 7 checkpoint di medie dimensioni raggiunge l’accuratezza dello stato dell’arte su dataset di implicazione testuale ad alta dimensionalità, superando GPT-3.

La semplicità del merging tramite media pesata è un grande vantaggio. Addestrare più modelli ausiliari richiede risorse aggiuntive. Tuttavia, il calcolo all’infrazione rimane identico a quello di un singolo modello, poiché i pesi vengono condensati in uno solo. Ciò rende il metodo facilmente adattabile, senza preoccupazioni di aumento della latenza o dei costi di memoria.

Meccanismi alla base del merging dei modelli

Ma cosa consente esattamente questi guadagni di accuratezza dal merging dei modelli? Un’analisi recente offre alcuni indizi:

• Mitigazione della memorizzazione: Ogni modello vede batch di dati diversi durante l’addestramento. La media pesata riduce la memorizzazione di istanze specifiche, conservando solo le generalizzazioni a livello di dataset.
• Riduzione della varianza: I modelli addestrati in modo indipendente hanno errori non correlati. Combinarli media il rumore, migliorando la calibrazione.
• Regolarizzazione tramite diversità: Compiti ausiliari diversi costringono i modelli a concentrarsi su caratteristiche più generalizzabili, utili attraverso le distribuzioni.
• Aumento della robustezza: L’incoerenza nelle previsioni segnala incertezza. La media pesata modera i giudizi estremi, migliorando l’affidabilità.

In sostanza, il merging dei modelli controbilancia le debolezze dei modelli individuali per amplificare le loro forze collettive. La rappresentazione unita cattura le strutture causali sottostanti comuni, ignorando le variazioni incidentali.

Questa base concettuale collega il merging dei modelli ad altre tecniche popolari come l’ensembling e l’apprendimento multi-task. Tutti questi metodi sfruttano la diversità tra modelli o compiti per ottenere sistemi versatili e consapevoli dell’incertezza. La semplicità e l’efficienza della media pesata, tuttavia, danno al merging dei modelli un vantaggio unico per avanzare nel dispiegamento nel mondo reale.

Modelli di ricompensa mediati per peso

Processo di allineamento con WARM

WARM utilizza in modo innovativo un modello di ricompensa proxy (RM), che è una media pesata di più RM individuali, ciascuno affinato dallo stesso modello di linguaggio pre-addestrato ma con iperparametri diversi. Questo metodo migliora l’efficienza, l’affidabilità sotto shift di distribuzione e la robustezza contro preferenze inconsistenti. Lo studio mostra anche che utilizzare WARM come modello di ricompensa proxy, in particolare con un numero aumentato di RM mediati, migliora i risultati e ritarda l’insorgenza dell'”hacking della ricompensa”, un fenomeno in cui le ricompense di controllo peggiorano nel tempo.

Ecco una panoramica di alto livello:

1. Inizia con un modello di linguaggio base pre-addestrato su un grande corpus. Inizializza più RM aggiungendo piccole layer specifiche del compito in cima.
2. Affina ogni RM separatamente sul set di dati di preferenze umane, utilizzando iperparametri diversi come la velocità di apprendimento per la diversità.
3. Media i pesi dei RM affinati per ottenere un singolo ensemble WARM.

L’intuizione chiave è che la media pesata conserva solo le informazioni invarianti che vengono apprese su tutti i diversi RM. Ciò riduce la dipendenza da segnali spurii, migliorando la robustezza. L’ensemble trae anche vantaggio dalla riduzione della varianza, migliorando l’affidabilità nonostante gli shift di distribuzione.

Come discusso in precedenza, la diversità tra modelli addestrati in modo indipendente è cruciale per sbloccare il pieno potenziale del merging dei modelli. Ma quali sono alcune tecniche concrete per promuovere una diversità produttiva?

Il documento WARM esplora alcune idee intelligenti che potrebbero generalizzarsi più ampiamente:

Rimescolamento dell’ordine

Un approccio banale ma efficace è quello di rimescolare l’ordine in cui i punti dati vengono visti da ogni modello durante l’addestramento. Anche questo semplice passo de-correla i pesi, riducendo la memorizzazione ridondante di pattern.

Variazioni degli iperparametri

Regolare gli iperparametri come la velocità di apprendimento e la probabilità di dropout per ogni esecuzione introduce una diversità utile. I modelli convergono in modo diverso, catturando proprietà diverse del set di dati.

Media dei checkpoint – Baklava

Il metodo Baklava inizializza modelli per il merging da diversi snapshot lungo la stessa traiettoria di pre-addestramento. Ciò rilassa le restrizioni rispetto ai “model soup” che richiedono un punto di partenza condiviso. Rispetto al model Ratatouille, Baklava evita compiti aggiuntivi. Nel complesso, colpisce un equilibrio efficace tra accuratezza e diversità.

Il processo inizia con un modello di linguaggio pre-addestrato (LLM) 𝜃_𝑝𝑡. Da questo modello, vengono derivati diversi checkpoint {𝜃_𝑠 𝑓 𝑡_𝑖} durante un’esecuzione di addestramento supervisionato (SFT), ciascuno raccolto in diversi passaggi di addestramento SFT. Questi checkpoint vengono quindi utilizzati come inizializzazioni per l’affinamento di più modelli di ricompensa (RM) {𝜙𝑖} su un set di dati di preferenze. L’affinamento mira ad adattare i modelli per allinearsi meglio con le preferenze umane. Dopo l’affinamento, questi RM vengono combinati attraverso un processo di media pesata, risultando nel modello finale, 𝜙_WARM.

L’analisi conferma che aggiungere checkpoint più vecchi mediante media mobile danneggia le prestazioni individuali, compromettendo i meriti della diversità. Mediare solo le rappresentazioni finali di ogni esecuzione funziona meglio. In generale, bilanciare gli obiettivi di diversità con la manutenzione dell’accuratezza rimane una sfida di ricerca aperta.

Nel complesso, il merging dei modelli si allinea bene con l’etica generale nel campo per riciclare efficacemente le risorse esistenti per una maggiore affidabilità, efficienza e versatilità. La semplicità della media pesata consolida la sua posizione come principale candidato per assemblare modelli robusti a partire da blocchi preesistenti.

A differenza dei metodi di ensembling tradizionali che mediano le previsioni, WARM mantiene il sovraccarico computazionale minimo mantenendo solo un insieme di pesi. Gli esperimenti su compiti di riassunto di testo dimostrano l’efficacia di WARM:

• Per il campionamento best-of-N, WARM raggiunge il 92,5% di tasso di vittoria contro la selezione casuale in base alle etichette di preferenza umana.
• Nel RLHF, una policy WARM raggiunge il 79,4% di tasso di vittoria contro una policy addestrata con un singolo RM dopo lo stesso numero di passaggi.
• WARM continua a funzionare bene anche quando un quarto delle etichette umane è corrotto.

Questi risultati illustrano il potenziale di WARM come tecnica pratica per sviluppare assistenti di IA reali che si comportano in modo affidabile. Smussando le incoerenze nel feedback umano, le policy WARM possono rimanere allineate in modo robusto con i valori umani anche mentre continuano a imparare da nuove esperienze.

La visione più ampia

WARM si trova all’incrocio di due tendenze chiave nella ricerca sull’allineamento dell’IA. In primo luogo, c’è lo studio della generalizzazione fuori dalla distribuzione (OOD), che mira a migliorare le prestazioni del modello su nuovi dati che differiscono dalla distribuzione di addestramento. In secondo luogo, c’è la ricerca sulla robustezza algoritmica, che si concentra sull’affidabilità nonostante piccole perturbazioni di input o rumore.

Collegando queste aree intorno al concetto di invarianti apprese, WARM si muove verso tecniche più rigorosamente fondate per l’allineamento dei valori. Le intuizioni da WARM potrebbero generalizzarsi anche oltre il RLHF, fornendo lezioni per sistemi di apprendimento automatico più ampi che interagiscono con il mondo aperto.

Naturalmente, la modellazione della ricompensa è solo un pezzo del puzzle dell’allineamento. Abbiamo ancora bisogno di progressi su altre sfide come la specificazione della ricompensa, la supervisione scalabile e l’esplorazione sicura. Combinato con tecniche complementari, WARM potrebbe accelerare lo sviluppo di IA che promuovono in modo sostenibile la prosperità umana. Collettivamente, chiarire i principi che stanno alla base di un allineamento robusto, i ricercatori stanno tracciando la rotta per un’IA benefica ed etica.