Prompt engineering
Accelerazione dell’inferenza dei modelli linguistici di grandi dimensioni: tecniche per il deploy efficiente
Aggiungi Unite.AI alle tue fonti preferite su Google
I modelli linguistici di grandi dimensioni (LLM) come GPT-4, LLaMA e PaLM stanno spingendo i limiti di ciÃē che ÃĻ possibile con lâelaborazione del linguaggio naturale. Tuttavia, il deploy di questi modelli massicci in ambienti di produzione presenta sfide significative in termini di requisiti computazionali, utilizzo della memoria, latenza e costo. Man mano che gli LLM continuano a crescere in dimensioni e capacità , lâottimizzazione delle loro prestazioni di inferenza ÃĻ fondamentale per le applicazioni del mondo reale.
In questo approfondimento tecnico, esploreremo tecniche allâavanguardia per accelerare lâinferenza degli LLM, consentendo tempi di risposta piÃđ rapidi, un throughput piÃđ elevato e un utilizzo piÃđ efficiente delle risorse hardware. Copriremo metodi che vanno dalle tecniche di precisione numerica a meccanismi di attenzione innovativi e innovazioni architettoniche progettate esplicitamente per la generazione di testo efficiente.
Iniziamo comprendendo perchÃĐ lâinferenza degli LLM ÃĻ cosÃŽ impegnativa rispetto ai modelli NLP tradizionali.
La sfida dellâinferenza con i modelli linguistici di grandi dimensioni
Prima dellâavvento degli LLM, lâelaborazione del linguaggio naturale si basava su modelli piÃđ piccoli focalizzati su compiti specifici come la classificazione del testo, il riconoscimento delle entità nominate e lâanalisi dei sentimenti. Sebbene ancora computazionalmente intensivi, questi modelli potevano essere distribuiti su hardware modesto e seguire processi di inferenza relativamente lineari.
Gli LLM, dâaltra parte, rappresentano un cambiamento di paradigma. Questi modelli sono stati addestrati su vasti set di dati utilizzando miliardi di parametri, consentendo loro di eseguire una vasta gamma di compiti linguistici con notevole efficacia. Tuttavia, questo potere ha un costo â una richiesta computazionale drasticamente aumentata durante sia lâaddestramento che lâinferenza.
Una delle sfide chiave ÃĻ la natura autoregressiva della generazione del testo con gli LLM. Per produrre testo simile a quello umano, questi modelli predicono un token (parola o subparola) alla volta, con ogni nuovo token che dipende dallâoutput generato in precedenza. Questa dipendenza sequenziale impedisce una parallelizzazione efficiente e comporta requisiti computazionali che aumentano polynomialmente con la lunghezza della sequenza.
Inoltre, gli LLM spesso richiedono lunghe sequenze di input (prompt) per stabilire il contesto necessario per la generazione di testo di alta qualità . Lunghezze di input piÃđ lunghe richiedono piÃđ memoria per archiviare stati intermedi e matrici di attenzione, ulteriormente gravando le risorse hardware.
Con queste sfide uniche, le tecniche di ottimizzazione tradizionali come la quantizzazione e i grafici di calcolo statici possono essere insufficienti, faticando a mantenere le prestazioni degli LLM mentre offrono aumenti di velocità significativi. Entriamo nel vivo di alcune delle strategie chiave progettate esplicitamente per accelerare lâinferenza degli LLM.
Tecniche di precisione numerica
Da 32 bit a 16 bit di precisione
Un percorso per accelerare lâinferenza degli LLM ÃĻ sfruttare la precisione numerica ridotta per i pesi del modello e le attivazioni. I moderni framework di apprendimento profondo come PyTorch e TensorFlow impiegano tipicamente la precisione a virgola mobile a 32 bit (FP32) per impostazione predefinita. Tuttavia, la ricerca ha dimostrato che gli LLM possono spesso mantenere unâalta accuratezza anche quando operano a precisioni inferiori, come 16 bit (FP16), 8 bit interi (INT8) o addirittura 4 bit interi (INT4).
Ridurre la precisione numerica offre diversi vantaggi:
- Footprint di memoria ridotto: rappresentazioni a precisione inferiore richiedono meno memoria, consentendo modelli piÃđ grandi o dimensioni batch maggiori allâinterno degli stessi vincoli hardware.
- Calcolo piÃđ veloce: molte CPU e GPU moderne forniscono istruzioni e accelerazione hardware specializzate per lâaritmetica a precisione inferiore, consentendo aumenti di velocità significativi.
- Miglior efficienza energetica: con requisiti di memoria inferiori e calcoli piÃđ veloci, lâinferenza a precisione inferiore puÃē tradursi in un consumo energetico ridotto â un vantaggio cruciale per i deploy edge e mobili.
Sebbene potente, le tecniche di precisione numerica introducono alcune perdite di accuratezza rispetto allâoperazione FP32. La chiave ÃĻ valutare attentamente questo compromesso tra guadagni computazionali e potenziale degrado delle prestazioni per il proprio caso dâuso specifico.
Ci sono due principali approcci alla quantizzazione degli LLM:
Quantizzazione post-addestramento (PTQ): in questo metodo, un LLM viene addestrato utilizzando la precisione FP32 standard. Dopo lâaddestramento, i pesi del modello vengono quantizzati (convertiti) in un formato a precisione inferiore come INT8 o INT4. La PTQ ÃĻ semplice da implementare ma puÃē portare a maggiori cadute di accuratezza.
Addestramento consapevole della quantizzazione (QAT): con il QAT, il processo di quantizzazione viene simulato durante la fase di addestramento stesso. CiÃē consente al modello di imparare a compensare gli errori di quantizzazione, minimizzando il degrado dellâaccuratezza quando il modello quantizzato finale viene distribuito. Il QAT ÃĻ piÃđ coinvolto ma spesso produce risultati migliori rispetto alla PTQ.
Per lâapplicazione pratica, si potrebbe sfruttare modelli pre-quantizzati disponibili su piattaforme come Hugging Face, che ospita una varietà di modelli ottimizzati attraverso diversi metodi di quantizzazione. Ad esempio, se si desidera un modello quantizzato utilizzando Auto-GPTQ, gli utenti possono facilmente caricarlo utilizzando la libreria dei trasformatori di Hugging Face. Inoltre, per quantizzare un modello, strumenti come AutoGPTQ possono essere utilizzati, che si integrano perfettamente con le librerie esistenti per comprimere il modello in modo efficiente.
Ecco un esempio di caricamento di un modello Llama-2-7b pre-quantizzato utilizzando la libreria dei trasformatori di Hugging Face:
from transformers import AutoModelForCausalLM, AutoTokenizer <p>model_id = "TheBloke/Llama-2-7b-Chat-GPTQ" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id) E per la quantizzazione personalizzata, si potrebbe seguire questi passaggi utilizzando il toolkit AutoGPTQ:</p> <p>from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig</p> <p>model_id = "llama-2-7b-originale" tokenizer = AutoTokenizer.from_pretrained(model_id) quantization_config = GPTQConfig(bits=4, dataset="il tuo dataset", tokenizer=tokenizer) model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config)</p>
Ricorda che la quantizzazione potrebbe richiedere una fine-tuning post-quantizzazione o unâingegneria dei prompt per mantenere la qualità del modello. Per una nuova quantizzazione, puoi contribuire alla comunità pubblicando i tuoi modelli quantizzati su piattaforme come Hugging Face.
Assicurati sempre di bilanciare le dimensioni del modello, i requisiti computazionali e le prestazioni quando si seleziona la strategia di quantizzazione per il proprio caso dâuso specifico.
Â
Lâalgoritmo di attenzione Flash
Il meccanismo di attenzione multi-testa ÃĻ un componente fondamentale degli LLM basati su trasformatori, consentendo al modello di catturare dipendenze a lungo raggio e rappresentazioni contestualizzate. Tuttavia, questa operazione di attenzione ÃĻ computazionalmente inefficiente per la generazione autoregressiva del testo, poichÃĐ richiede il ricompito di molti dei medesimi valori per ogni nuovo token.
Lâalgoritmo di attenzione Flash, introdotto nel paper FlashAttention, fornisce un approccio piÃđ efficiente in termini di memoria e piÃđ amichevole per la parallelizzazione allâoperazione di attenzione. Invece di ricomputare i valori di attenzione per ogni token, lâattenzione Flash memorizza e riutilizza matrici chiave/valore intermedie, evitando calcoli ridondanti.
Questa ottimizzazione non solo riduce lâonere computazionale, ma migliora anche i modelli di accesso alla memoria, portando a un miglior utilizzo della larghezza di banda della memoria GPU e della parallelizzazione.
Sebbene i dettagli dellâattenzione Flash siano piuttosto coinvolti, lâidea di alto livello ÃĻ decomporre lâoperazione di attenzione in due fasi:
- Integrazione dellâincorporazione: questa fase calcola e memorizza le incorporazioni chiave/valore per tutti i token di input, consentendo un riutilizzo efficiente durante la generazione.
- Attenzione causale: lâoperazione di attenzione effettiva, ora ottimizzata per sfruttare le incorporazioni chiave/valore memorizzate nella prima fase.
Separando queste fasi, lâattenzione Flash puÃē sfruttare operazioni GPU altamente parallele, accelerando notevolmente il collo di bottiglia dellâattenzione nellâinferenza degli LLM.
Ecco una breve illustrazione concettuale dellâimplementazione dellâattenzione Flash con un LLM:
from transformers import AutoModelForCausalLM
import torch
from flash_attention import flash_attention
<p># Carica un LLM come OctoCoder
model = AutoModelForCausalLM.from_pretrained("bigcode/octocoder")</p>
<p># Prompt di sistema di esempio che guida il modello verso una migliore assistenza alla codifica
system_prompt = "..."</p>
<p># Preparazione di un input piÃđ lungo con il prompt di sistema
long_prompt = system_prompt + "Domanda: scrivi una funzione in Python che trasforma byte in Gigabyte."</p>
<p># Conversione del modello per l'ottimizzazione dell'attenzione Flash
model.to_bettertransformer()</p>
<p># Esecuzione del modello con l'attenzione Flash
start_time = time.time()
with torch.backends.cuda.sdp_kernel(enable_flash=True):
result = model.generate(long_prompt, max_new_tokens=60)
print(f"Generato in {time.time() - start_time} secondi.")
Sebbene lâattenzione Flash offra guadagni di prestazioni impressionanti, funziona allâinterno dellâarchitettura trasformatore esistente. Per sbloccare appieno il potenziale dellâinferenza accelerata degli LLM, dobbiamo esplorare innovazioni architettoniche progettate specificamente per questo compito.
Potatura degli LLM
La potatura degli LLM ÃĻ una tecnica per ridurre le dimensioni del modello mantenendo la funzionalità . Utilizza un estimatore dipendente dai dati per lâimportanza dei pesi in base a approssimazioni della matrice di Hessian. Nella potatura, i gruppi di pesi meno importanti vengono rimossi, quindi il modello viene ritrattato per recuperare lâaccuratezza. Il pacchetto LLM-Pruner offre script per la potatura con diverse strategie supportate. La potatura include la scoperta delle dipendenze, la stima dei contributi dei gruppi e una fase di recupero che coinvolge un breve post-addestramento.
Ecco un esempio di codice Python semplificato che dimostra lâuso di LLM-Pruner per un modello LLaMa:
from transformers import AutoModelForSequenceClassification
from pruning import LLMPruner
<p># Carica il modello LLaMa pre-addestrato
model = AutoModelForSequenceClassification.from_pretrained("llama-base")</p>
<p># Inizializza il pruner con la configurazione desiderata
pruner = LLMPruner(
model,
pruning_ratio=0.25,
block_mlp_layers=(4, 30),
block_attention_layers=(4, 30),
pruner_type='taylor'
)</p>
<p># Esegui la potatura
pruned_model = pruner.prune()</p>
<p># Ritraduci il modello potato
pruned_model.fine_tune(dati_di_addestramento)
Questo abbozzo di codice rappresenta il caricamento di un modello LLaMa pre-addestrato, la configurazione del pruner con configurazioni specifiche (come quali layer da potare e il tipo di pruner), lâesecuzione del processo di potatura e infine la ritraduzione del modello potato.
Nota che per unâimplementazione reale, si dovrebbero inserire dettagli come il nome specifico del modello, i percorsi dei dati, e parametri aggiuntivi per il processo di ritraduzione. Inoltre, si deve essere consapevoli che questo codice ÃĻ una rappresentazione concettuale e la sintassi effettiva puÃē variare a seconda della libreria e delle versioni utilizzate.
Innovazioni architettoniche per la generazione di testo efficiente
Lâarchitettura trasformatori, sebbene molto efficace per i compiti di modellazione linguistica, ÃĻ stata progettata come un modello sequenza-sequenza generico. Quando si distribuiscono gli LLM per compiti di generazione di testo con contesti di input lunghi, i ricercatori hanno scoperto che architetture piÃđ specializzate possono migliorare notevolmente lâefficienza dellâinferenza senza sacrificare la qualità .
Ecco alcune delle principali innovazioni architettoniche che consentono unâinferenza degli LLM piÃđ rapida:
Alibi: lâarchitettura Alibi, introdotta nel paper PAL-Instruction, separa la modellazione del contesto di input lungo dalla generazione del testo in sÃĐ. Utilizza una rappresentazione compressa del contesto di input (l'âalibiâ) per avviare il processo di generazione, evitando la necessità di elaborare la sequenza di input completa ripetutamente durante la generazione autoregressiva.
Incapsulamenti rotativi: invece di utilizzare le incapsulamenti posizionali standard, la tecnica di incapsulamento rotativo utilizza matrici di rotazione per codificare le informazioni posizionali in modo piÃđ efficiente. Questo approccio ha dimostrato di migliorare le prestazioni e di consentire lâelaborazione di sequenze di input piÃđ lunghe.
Attenzione multi-query (MQA): nellâattenzione tradizionale, ogni token di output si concentra sullâintera sequenza di input, risultando in calcoli ridondanti. La MQA riformula lâoperazione di attenzione per condividere i calcoli tra piÃđ token di output, riducendo la complessità complessiva.
Attenzione multi-query
Attenzione a query raggruppate (GQA): costruendo sullâMQA, la GQA raggruppa i token di output in cluster e calcola lâattenzione congiuntamente per ogni cluster. Questo approccio riduce ulteriormente i requisiti computazionali mantenendo una generazione di testo di alta qualità .
Sebbene ancora in fase di ricerca e sviluppo, queste innovazioni architettoniche hanno dimostrato aumenti di velocità impressionanti per lâinferenza degli LLM, specialmente quando combinate con tecniche come lâattenzione Flash e lâottimizzazione della precisione numerica.
Considerazioni per il deploy nel mondo reale
Oltre agli algoritmi e alle architetture di base, ci sono diverse considerazioni pratiche e compromessi da navigare quando si distribuiscono gli LLM in ambienti di produzione:
Accelerazione hardware: sebbene le CPU possano gestire lâinferenza degli LLM, le GPU e altri acceleratori come i TPU di Google (GOOGL ) sono essenziali per ottenere un throughput elevato e una bassa latenza. La scelta del hardware giusto e lâottimizzazione dellâutilizzo della memoria sono cruciali.
Batching e parallelismo: per sfruttare appieno il parallelismo hardware, strategie come lâinferenza batch (elaborazione di piÃđ input contemporaneamente) e il parallelismo del modello (distribuzione di un LLM su piÃđ dispositivi) possono aumentare notevolmente il throughput.
Compromesso tra quantizzazione e qualità : il grado di quantizzazione (8 bit, 4 bit, ecc.) influenzerà direttamente la velocità di inferenza e lâutilizzo della memoria, ma influenzerà anche la qualità dellâoutput. Questo compromesso deve essere valutato attentamente per ogni caso dâuso.
Distillazione del modello: unâalternativa alla quantizzazione, le tecniche di distillazione del modello possono comprimere grandi LLM in modelli studenti piÃđ piccoli e piÃđ efficienti, mantenendo unâalta accuratezza.
Memorizzazione e runtime ottimizzati: runtime di apprendimento profondo ottimizzati come NVIDIA TensorRT e framework progettati per il servizio degli LLM (ad esempio, MosaicMLâs Composable Inference Suite) possono offrire aumenti di prestazioni significativi attraverso tecniche come la fusione degli operatori, lâottimizzazione del kernel e strategie di memorizzazione intelligenti.
La strada per un deploy ottimale degli LLM spesso coinvolge la combinazione di piÃđ tecniche, considerando attentamente i requisiti specifici dellâapplicazione, le limitazioni dellâinfrastruttura e gli obiettivi di prestazione.
Conclusione
Man mano che i modelli linguistici di grandi dimensioni continuano la loro rapida evoluzione, accelerare le loro prestazioni di inferenza sta diventando sempre piÃđ cruciale per consentire applicazioni nel mondo reale e democratizzare lâaccesso a queste potenti capacità AI.
In questa guida tecnica, abbiamo esplorato tecniche allâavanguardia che spaziano dallâottimizzazione della precisione numerica a nuovi algoritmi di attenzione come lâattenzione Flash e innovazioni architettoniche progettate per la generazione di testo efficiente. Sebbene ogni approccio offra i suoi vantaggi, il vero potere spesso risiede nella combinazione di piÃđ strategie, navigando i compromessi tra velocità , utilizzo della memoria e qualità dellâoutput.
Guardando avanti, ci aspettiamo ulteriori ricerche e sviluppi in questo dominio, alimentati dalla domanda insaziabile di modelli piÃđ capaci e accessibili. Dallâaccelerazione hardware alla compressione del modello e a nuove architetture, la ricerca di unâinferenza efficiente degli LLM rimane un fronte emozionante nel mondo dellâelaborazione del linguaggio naturale e dellâintelligenza artificiale.
