Google sta rendendo l’addestramento dell’AI del 28% più veloce utilizzando SLM come insegnanti

L’addestramento di grandi modelli linguistici (LLM) è diventato irraggiungibile per la maggior parte delle organizzazioni. Con costi che raggiungono milioni e requisiti di calcolo che farebbero sudare un supercomputer, lo sviluppo dell’AI è rimasto chiuso dietro le porte dei giganti della tecnologia. Ma Google (GOOGL ) ha appena capovolto questa storia con un approccio così semplice che ti fa chiedere perché nessuno ci ha pensato prima: utilizzare modelli di intelligenza artificiale più piccoli come insegnanti.

Come funziona SALT: un nuovo approccio all’addestramento dei modelli di intelligenza artificiale

In un recente articolo di ricerca intitolato “Un piccolo aiuto va a lungo: addestramento efficiente di LLM sfruttando piccoli modelli,” Google Research e DeepMind hanno introdotto SALT (Small model Aided Large model Training). Questo è il metodo innovativo che sfida il nostro approccio tradizionale all’addestramento dei LLM.

Perché questa ricerca è significativa? Attualmente, l’addestramento di grandi modelli di intelligenza artificiale è come cercare di insegnare a qualcuno tutto ciò che deve sapere su un argomento tutto in una volta – è inefficiente, costoso e spesso limitato alle organizzazioni con enormi risorse di calcolo. SALT prende una strada diversa, introducendo un processo di addestramento a due fasi che è sia innovativo che pratico.

Analisi di come SALT funziona effettivamente:

Fase 1: Distillazione della conoscenza

• Un modello linguistico più piccolo (SLM) agisce come un insegnante, condividendo la sua comprensione con il modello più grande
• Il modello più piccolo si concentra sul trasferire la sua “conoscenza appresa” attraverso ciò che i ricercatori chiamano “etichette morbide”
• Pensalo come un assistente di insegnamento che gestisce i concetti fondamentali prima che uno studente si sposti a temi avanzati
• Questa fase è particolarmente efficace nelle “aree facili” dell’apprendimento – aree in cui il modello più piccolo ha una forte fiducia predittiva

Fase 2: Apprendimento autosufficiente

• Il modello più grande passa all’apprendimento indipendente
• Si concentra sul padroneggiare modelli complessi e compiti impegnativi
• Questo è il punto in cui il modello sviluppa capacità al di là di ciò che il suo “insegnante” più piccolo avrebbe potuto fornire
• Il passaggio tra le fasi utilizza strategie progettate con cura, tra cui decadimento lineare e decadimento della proporzione lineare del peso della perdita di distillazione

In termini non tecnici, immagina che il modello di intelligenza artificiale più piccolo sia come un tutore utile che guida il modello più grande nelle fasi iniziali dell’addestramento. Questo tutore fornisce informazioni aggiuntive insieme alle sue risposte, indicando quanto è fiducioso in ogni risposta. Queste informazioni aggiuntive, note come “etichette morbide”, aiutano il modello più grande ad apprendere più rapidamente ed efficacemente.

• Decadimento lineare: È come abbassare gradualmente il volume della voce del tutore. La guida del tutore diventa meno prominente con ogni passo, consentendo al modello più grande di concentrarsi di più sull’apprendimento dai dati grezzi in sé.
• Decadimento della proporzione lineare: Questo è come regolare l’equilibrio tra il consiglio del tutore e il compito originale. Man mano che l’addestramento procede, l’enfasi si sposta maggiormente verso il compito originale, mentre l’input del tutore diventa meno dominante.

I risultati sono convincenti. Quando i ricercatori di Google hanno testato SALT utilizzando un modello linguistico più piccolo da 1,5 miliardi di parametri per addestrare un modello linguistico più grande da 2,8 miliardi di parametri sul set di dati Pile, hanno visto:

• Una riduzione del 28% del tempo di addestramento rispetto ai metodi tradizionali
• Miglioramenti significativi delle prestazioni dopo la fine-tuning:
  • L’accuratezza dei problemi matematici è aumentata al 34,87% (rispetto al 31,84% di base)
  • La comprensione della lettura ha raggiunto il 67% di accuratezza (rispetto al 63,7% di base)

Ma ciò che rende SALT veramente innovativo è la sua struttura teorica. I ricercatori hanno scoperto che anche un modello “più debole” può migliorare le prestazioni dello studente raggiungendo ciò che chiamano “scambio favorevole tra bias e varianza”. In termini più semplici, il modello più piccolo aiuta il più grande ad apprendere modelli fondamentali in modo più efficiente, creando una base più solida per l’apprendimento avanzato.

Perché SALT potrebbe ridisegnare il campo di gioco dello sviluppo dell’AI

Ricorda quando il cloud computing ha trasformato chi poteva avviare un’azienda tecnologica? SALT potrebbe fare lo stesso per lo sviluppo dell’AI.

Ho seguito le innovazioni nell’addestramento dell’AI per anni e la maggior parte dei progressi ha principalmente beneficiato i giganti della tecnologia. Ma SALT è diverso.

Ecco cosa potrebbe significare per il futuro:

Per le organizzazioni con risorse limitate:

• Potresti non aver più bisogno di una grande infrastruttura di calcolo per sviluppare modelli di intelligenza artificiale capaci
• I laboratori di ricerca più piccoli e le aziende potrebbero sperimentare lo sviluppo di modelli personalizzati
• La riduzione del 28% del tempo di addestramento si traduce direttamente in costi di calcolo inferiori
• Ancor più importante, potresti iniziare con risorse di calcolo modeste e comunque ottenere risultati professionali

Per il panorama dello sviluppo dell’AI:

• Più attori potrebbero entrare nel campo, portando a soluzioni di intelligenza artificiale più diverse e specializzate
• Le università e le istituzioni di ricerca potrebbero eseguire più esperimenti con le risorse esistenti
• La barriera all’ingresso per la ricerca sull’AI si abbassa notevolmente
• Potremmo vedere nuove applicazioni in settori che in precedenza non potevano permettersi lo sviluppo dell’AI

Cosa significa per il futuro

Utilizzando modelli più piccoli come insegnanti, non stiamo solo rendendo l’addestramento dell’AI più efficiente – stiamo anche cambiando fondamentalmente chi può partecipare allo sviluppo dell’AI. Le implicazioni vanno ben oltre i semplici miglioramenti tecnici.

Punti chiave da tenere presente:

• La riduzione del 28% del tempo di addestramento è la differenza tra l’avvio di un progetto di intelligenza artificiale o considerarlo irraggiungibile
• I miglioramenti delle prestazioni (34,87% sui problemi matematici, 67% sui compiti di lettura) mostrano che l’accessibilità non significa sempre compromettere la qualità
• L’approccio di SALT dimostra che a volte le migliori soluzioni derivano dal ripensare i fondamenti piuttosto che aggiungere semplicemente più potenza di calcolo

Cosa aspettarsi:

1. Tieni d’occhio le piccole organizzazioni che iniziano a sviluppare modelli di intelligenza artificiale personalizzati
2. Guarda nuove applicazioni in settori che in precedenza non potevano permettersi lo sviluppo dell’AI
3. Cerca innovazioni su come i modelli più piccoli vengono utilizzati per compiti specializzati

Ricorda: Il vero valore di SALT è nel modo in cui potrebbe ridisegnare chi può innovare nell’AI. Che tu stia gestendo un laboratorio di ricerca, dirigendo un team tecnico o semplicemente interessato allo sviluppo dell’AI, questo è il tipo di innovazione che potrebbe rendere possibile la tua prossima grande idea.

Forse inizia a pensare a quel progetto di intelligenza artificiale che pensavi fosse irraggiungibile. Potrebbe essere più possibile di quanto immaginato.