TensorRT-LLM: una guida completa per ottimizzare l'inferenza di modelli linguistici di grandi dimensioni per ottenere le massime prestazioni

Poiché la domanda di modelli linguistici di grandi dimensioni (LLM) continua ad aumentare, garantire un'inferenza rapida, efficiente e scalabile è diventato più cruciale che mai. NVIDIA TensorRT-LLM interviene per affrontare questa sfida fornendo un set di potenti strumenti e ottimizzazioni specificamente progettati per l'inferenza LLM. TensorRT-LLM offre una serie impressionante di miglioramenti delle prestazioni, come quantizzazione, fusione del kernel, batching in volo e supporto multi-GPU. Questi progressi consentono di raggiungere velocità di inferenza fino a 8 volte superiori rispetto ai tradizionali metodi basati su CPU, trasformando il modo in cui distribuiamo LLM in produzione.

Questa guida completa esplorerà tutti gli aspetti di TensorRT-LLM, dalla sua architettura e dalle sue caratteristiche principali agli esempi pratici per l'implementazione di modelli. Che tu sia un ingegnere di intelligenza artificiale, uno sviluppatore di software o un ricercatore, questa guida ti fornirà le conoscenze per sfruttare TensorRT-LLM per ottimizzare l'inferenza LLM sulle GPU NVIDIA.

Accelerare l'inferenza LLM con TensorRT-LLM

TensorRT-LLM offre notevoli miglioramenti nelle prestazioni di inferenza LLM. Secondo i test di NVIDIA, le applicazioni basate su TensorRT mostrano fino a 8 volte più veloci velocità di inferenza rispetto alle piattaforme basate solo su CPU. Si tratta di un progresso cruciale nelle applicazioni in tempo reale come chatbot, sistemi di raccomandazione e sistemi autonomi che richiedono risposte rapide.

Come funziona

TensorRT-LLM velocizza l'inferenza ottimizzando le reti neurali durante l'implementazione utilizzando tecniche come:

• Quantizzazione: Riduce la precisione dei pesi e delle attivazioni, riducendo le dimensioni del modello e migliorando la velocità di inferenza.
• Fusione di strati e tensori: Unisce operazioni come le funzioni di attivazione e le moltiplicazioni di matrici in un'unica operazione.
• Ottimizzazione del kernel: Seleziona i kernel CUDA ottimali per l'elaborazione GPU, riducendo i tempi di esecuzione.

Queste ottimizzazioni garantiscono che i modelli LLM funzionino in modo efficiente su un'ampia gamma di piattaforme di distribuzione, dai data center su larga scala ai sistemi embedded.

Ottimizzazione delle prestazioni di inferenza con TensorRT

Basato sul modello di programmazione parallela CUDA di NVIDIA, TensorRT fornisce ottimizzazioni altamente specializzate per l'inferenza sulle GPU NVIDIA. Semplificando processi come quantizzazione, ottimizzazione del kernel e fusione delle operazioni tensoriali, TensorRT garantisce che gli LLM possano essere eseguiti con una latenza minima.

Alcune delle tecniche più efficaci includono:

• Quantizzazione: Ciò riduce la precisione numerica dei parametri del modello mantenendo un'elevata accuratezza, velocizzando di fatto l'inferenza.
• Fusione tensoriale: Unendo più operazioni in un singolo kernel CUDA, TensorRT riduce al minimo il sovraccarico di memoria e aumenta la produttività.
• Auto-tuning del kernel: TensorRT seleziona automaticamente il kernel migliore per ogni operazione, ottimizzando l'inferenza per una determinata GPU.

Queste tecniche consentono a TensorRT-LLM di ottimizzare le prestazioni di inferenza per attività di apprendimento profondo quali elaborazione del linguaggio naturale, motori di raccomandazione e analisi video in tempo reale.

Accelerare i carichi di lavoro dell'intelligenza artificiale con TensorRT

TensorRT accelera i carichi di lavoro di apprendimento profondo incorporando ottimizzazioni di precisione come INT8 e FP16Questi formati a precisione ridotta consentono un'inferenza significativamente più rapida mantenendo l'accuratezza. Ciò è particolarmente prezioso nelle applicazioni in tempo reale in cui la bassa latenza è un requisito critico.

INT8 e FP16 le ottimizzazioni sono particolarmente efficaci in:

• Video Streaming:Le attività di elaborazione video basate sull'intelligenza artificiale, come il rilevamento di oggetti, traggono vantaggio da queste ottimizzazioni riducendo il tempo impiegato per elaborare i fotogrammi.
• Sistemi di raccomandazione: Accelerando l'inferenza per i modelli che elaborano grandi quantità di dati utente, TensorRT consente la personalizzazione in tempo reale su larga scala.
• Natural Language Processing (NLP):TensorRT migliora la velocità delle attività di NLP come la generazione, la traduzione e la sintesi di testo, rendendole adatte alle applicazioni in tempo reale.

Distribuisci, esegui e scala con NVIDIA Triton

Una volta che il tuo modello è stato ottimizzato con TensorRT-LLM, puoi facilmente distribuirlo, eseguirlo e ridimensionarlo utilizzando Server di inferenza NVIDIA Triton. Triton è un software open source che supporta batching dinamico, ensemble di modelli e throughput elevato. Fornisce un ambiente flessibile per la gestione di modelli AI su larga scala.

Alcune delle caratteristiche chiave includono:

• Esecuzione simultanea del modello: Esegui più modelli contemporaneamente, massimizzando l'utilizzo della GPU.
• Dosaggio dinamico: Combina più richieste di inferenza in un unico batch, riducendo la latenza e aumentando la produttività.
• Ingressi audio/video in streaming: Supporta flussi di input in applicazioni in tempo reale, come analisi video in diretta o servizi di conversione da parlato a testo.

Ciò rende Triton uno strumento prezioso per l'implementazione di modelli ottimizzati TensorRT-LLM in ambienti di produzione, garantendo elevata scalabilità ed efficienza.

Caratteristiche principali di TensorRT-LLM per l'inferenza LLM

API Python open source

TensorRT-LLM fornisce un'esperienza altamente modulare e API Python open source, semplificando il processo di definizione, ottimizzazione ed esecuzione di LLM. L'API consente agli sviluppatori di creare LLM personalizzati o di modificare quelli predefiniti per adattarli alle proprie esigenze, senza richiedere una conoscenza approfondita di CUDA o framework di deep learning.

Batching in volo e attenzione tramite paging

Una delle caratteristiche distintive di TensorRT-LLM è Batching in volo, che ottimizza la generazione di testo elaborando più richieste contemporaneamente. Questa funzionalità riduce al minimo i tempi di attesa e migliora l'utilizzo della GPU tramite batching dinamico delle sequenze.

Inoltre, Attenzione cercata assicura che l'utilizzo della memoria rimanga basso anche quando si elaborano lunghe sequenze di input. Invece di allocare memoria contigua per tutti i token, l'attenzione paginata suddivide la memoria in "pagine" che possono essere riutilizzate dinamicamente, impedendo la frammentazione della memoria e migliorando l'efficienza.

Inferenza multi-GPU e multi-nodo

Per modelli più grandi o carichi di lavoro più complessi, TensorRT-LLM supporta multi-GPU e inferenza multi-nodoQuesta capacità consente la distribuzione dei calcoli del modello su più GPU o nodi, migliorando la produttività e riducendo il tempo di inferenza complessivo.

Supporto all'8PQ

Con l'avvento dei FP8 (virgola mobile a 8 bit), TensorRT-LLM sfrutta le GPU H100 di NVIDIA per convertire i pesi del modello in questo formato per un'inferenza ottimizzata. FP8 consente un consumo di memoria ridotto e un calcolo più rapido, particolarmente utile nelle distribuzioni su larga scala.

Architettura e componenti TensorRT-LLM

Comprendere l'architettura di TensorRT-LLM ti aiuterà a utilizzare meglio le sue capacità per l'inferenza LLM. Analizziamo i componenti chiave:

Definizione del modello

TensorRT-LLM consente di definire LLM utilizzando una semplice API Python. L'API costruisce un rappresentazione grafica del modello, semplificando la gestione dei livelli complessi coinvolti nelle architetture LLM come GPT o BERT.

Attacchi di peso

Prima di compilare il modello, i pesi (o parametri) devono essere vincolati alla rete. Questo passaggio assicura che i pesi siano incorporati nel motore TensorRT, consentendo un'inferenza rapida ed efficiente. TensorRT-LLM consente inoltre aggiornamenti dei pesi dopo la compilazione, aggiungendo flessibilità per i modelli che necessitano di aggiornamenti frequenti.

Abbinamento e fusione di modelli

Operazione Fusione è un'altra potente funzionalità di TensorRT-LLM. Fondendo più operazioni (ad esempio, moltiplicazioni di matrici con funzioni di attivazione) in un singolo kernel CUDA, TensorRT riduce al minimo il sovraccarico associato a più lanci di kernel. Ciò riduce i trasferimenti di memoria e velocizza l'inferenza.

plugin

Per estendere le capacità di TensorRT, gli sviluppatori possono scrivere i plugin—kernel personalizzati che eseguono attività specifiche come l'ottimizzazione di blocchi di attenzione multi-testa. Ad esempio, il Attenzione Flash Il plugin migliora significativamente le prestazioni dei livelli di attenzione LLM.

Benchmark: miglioramenti delle prestazioni di TensorRT-LLM

TensorRT-LLM dimostra significativi guadagni di prestazioni per l'inferenza LLM su varie GPU. Ecco un confronto della velocità di inferenza (misurata in token al secondo) utilizzando TensorRT-LLM su diverse GPU NVIDIA:

Questi benchmark dimostrano che TensorRT-LLM offre miglioramenti sostanziali nelle prestazioni, in particolare per le sequenze più lunghe.

Pratica: installazione e creazione di TensorRT-LLM

Passaggio 1: creare un ambiente contenitore

Per semplificare l'utilizzo, TensorRT-LLM fornisce immagini Docker per creare un ambiente controllato per la creazione e l'esecuzione di modelli.

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]

output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'