TensorRT-LLM: Komplexní průvodce optimalizací odvození velkého jazykového modelu pro maximální výkon

Vzhledem k tomu, že poptávka po velkých jazykových modelech (LLM) neustále roste, je zajištění rychlého, efektivního a škálovatelného odvození důležitější než kdy dříve. NVIDIA TensorRT-LLM Kroky k řešení tohoto problému poskytnutím sady výkonných nástrojů a optimalizací speciálně navržených pro odvození LLM. TensorRT-LLM nabízí působivou řadu vylepšení výkonu, jako je kvantizace, fúze jádra, dávkování za letu a podpora více GPU. Tato vylepšení umožňují dosáhnout rychlosti odvození až 8x rychlejší než tradiční metody založené na CPU, což mění způsob, jakým nasazujeme LLM v produkci.

Tento komplexní průvodce prozkoumá všechny aspekty TensorRT-LLM, od jeho architektury a klíčových funkcí až po praktické příklady nasazení modelů. Ať už jste inženýr umělé inteligence, vývojář softwaru nebo výzkumník, tato příručka vám poskytne znalosti, jak využít TensorRT-LLM k optimalizaci odvození LLM na GPU NVIDIA.

Urychlení vyvozování LLM pomocí TensorRT-LLM

TensorRT-LLM přináší dramatické zlepšení výkonu odvození LLM. Podle testů NVIDIA se aplikace založené na TensorRT ukazují až 8x rychleji inferenční rychlosti ve srovnání s platformami pouze s CPU. Jedná se o zásadní pokrok v aplikacích v reálném čase, jako jsou chatboti, systémy doporučení a autonomní systémy, které vyžadují rychlé reakce.

Jak to funguje

TensorRT-LLM urychluje vyvozování optimalizací neuronových sítí během nasazení pomocí technik jako:

• Kvantizace: Snižuje přesnost vah a aktivací, zmenšuje velikost modelu a zlepšuje rychlost vyvozování.
• Fúze vrstev a tenzorů: Sloučí operace jako aktivační funkce a násobení matic do jediné operace.
• Ladění jádra: Vybírá optimální jádra CUDA pro výpočet GPU a zkracuje dobu provádění.

Tyto optimalizace zajistí, že vaše modely LLM budou efektivně fungovat v celé řadě platforem nasazení – od hyperškálových datových center až po vestavěné systémy.

Optimalizace výkonu inference pomocí TensorRT

TensorRT, postavený na paralelním programovacím modelu CUDA společnosti NVIDIA, poskytuje vysoce specializované optimalizace pro odvození GPU NVIDIA. Zefektivněním procesů, jako je kvantizace, ladění jádra a fúze tenzorových operací, zajišťuje TensorRT, že LLM mohou běžet s minimální latencí.

Některé z nejúčinnějších technik zahrnují:

• Kvantizace: To snižuje numerickou přesnost parametrů modelu při zachování vysoké přesnosti, což efektivně urychluje vyvozování.
• Tenzorová fúze: Spojením více operací do jednoho jádra CUDA TensorRT minimalizuje paměťovou zátěž a zvyšuje propustnost.
• Automatické ladění jádra: TensorRT automaticky vybere nejlepší jádro pro každou operaci, čímž optimalizuje odvození pro daný GPU.

Tyto techniky umožňují TensorRT-LLM optimalizovat výkon odvození pro úkoly hlubokého učení, jako je zpracování přirozeného jazyka, motory doporučení a analýza videa v reálném čase.

Zrychlení pracovního zatížení AI pomocí TensorRT

TensorRT urychluje pracovní zátěž hlubokého učení začleněním přesných optimalizací, jako je např INT8 si FP16. Tyto formáty se sníženou přesností umožňují výrazně rychlejší odvození při zachování přesnosti. To je zvláště cenné v aplikacích v reálném čase, kde je kritickým požadavkem nízká latence.

INT8 si FP16 optimalizace jsou zvláště účinné v:

• Video Streaming: Úlohy zpracování videa založené na AI, jako je detekce objektů, těží z těchto optimalizací, protože zkracují čas potřebný ke zpracování snímků.
• Systémy doporučení: Urychlením odvození pro modely, které zpracovávají velké množství uživatelských dat, umožňuje TensorRT personalizaci v reálném čase ve velkém měřítku.
• Zpracování přirozeného jazyka (NLP): TensorRT zvyšuje rychlost úloh NLP, jako je generování textu, překlad a sumarizace, takže jsou vhodné pro aplikace v reálném čase.

Nasazujte, spouštějte a škálujte s NVIDIA Triton

Jakmile bude váš model optimalizován pomocí TensorRT-LLM, můžete jej snadno nasadit, spustit a škálovat pomocí NVIDIA Triton Inference Server. Triton je software s otevřeným zdrojovým kódem, který podporuje dynamické dávkování, sestavy modelů a vysokou propustnost. Poskytuje flexibilní prostředí pro správu modelů AI ve velkém měřítku.

Mezi hlavní funkce patří:

• Souběžné provedení modelu: Spusťte více modelů současně, čímž se maximalizuje využití GPU.
• Dynamické dávkování: Kombinuje více požadavků na odvození do jedné dávky, snižuje latenci a zvyšuje propustnost.
• Streamování audio/video vstupů: Podporuje vstupní toky v aplikacích v reálném čase, jako jsou živé video analýzy nebo služby převodu řeči na text.

Díky tomu je Triton cenným nástrojem pro nasazení modelů optimalizovaných pro TensorRT-LLM v produkčních prostředích a zajišťuje vysokou škálovatelnost a efektivitu.

Základní vlastnosti TensorRT-LLM pro LLM Inference

Open Source Python API

TensorRT-LLM poskytuje vysoce modulární a open-source Python API, což zjednodušuje proces definování, optimalizace a provádění LLM. Rozhraní API umožňuje vývojářům vytvářet vlastní LLM nebo upravovat předpřipravené LLM tak, aby vyhovovaly jejich potřebám, aniž by vyžadovali hluboké znalosti CUDA nebo rámců hlubokého učení.

Dávkování za letu a stránkovaná pozornost

Jednou z výjimečných funkcí TensorRT-LLM je Dávkování za letu, který optimalizuje generování textu zpracováním více požadavků současně. Tato funkce minimalizuje čekací dobu a zlepšuje využití GPU dynamickým dávkováním sekvencí.

Kromě toho, Stránkovaná pozornost zajišťuje, že využití paměti zůstává nízké i při zpracování dlouhých vstupních sekvencí. Namísto přidělování souvislé paměti pro všechny tokeny rozděluje stránkovaná pozornost paměť na „stránky“, které lze znovu dynamicky použít, čímž se zabrání fragmentaci paměti a zvýší se efektivita.

Multi-GPU a Multi-Node Inference

Pro větší modely nebo složitější úlohy podporuje TensorRT-LLM více GPU si víceuzlová inference. Tato schopnost umožňuje distribuci modelových výpočtů mezi několik GPU nebo uzlů, zlepšuje propustnost a zkracuje celkovou dobu odvození.

Podpora FP8

S příchodem FP8 (8bitové s pohyblivou řádovou čárkou), TensorRT-LLM využívá GPU NVIDIA H100 k převodu hmotností modelu do tohoto formátu pro optimalizované odvození. FP8 umožňuje snížit spotřebu paměti a rychlejší výpočet, což je užitečné zejména při nasazení ve velkém měřítku.

Architektura a komponenty TensorRT-LLM

Porozumění architektuře TensorRT-LLM vám pomůže lépe využít jeho schopnosti pro odvození LLM. Pojďme si rozebrat klíčové komponenty:

Definice modelu

TensorRT-LLM umožňuje definovat LLM pomocí jednoduchého Python API. API vytváří a grafická reprezentace modelu, což usnadňuje správu složitých vrstev zapojených do architektur LLM, jako je GPT nebo BERT.

Váhové vázání

Před sestavením modelu musí být váhy (nebo parametry) navázány na síť. Tento krok zajišťuje, že závaží jsou zabudována do enginu TensorRT, což umožňuje rychlé a efektivní odvození. TensorRT-LLM také umožňuje aktualizace hmotnosti po kompilaci, což přidává flexibilitu pro modely, které potřebují časté aktualizace.

Pattern Matching a Fusion

Operace Fusion je další výkonná funkce TensorRT-LLM. Spojením více operací (např. multiplikace matic s aktivačními funkcemi) do jediného jádra CUDA minimalizuje TensorRT režii spojenou s vícenásobným spouštěním jádra. To snižuje přenosy paměti a urychluje odvození.

pluginy

Pro rozšíření schopností TensorRT mohou vývojáři psát Pluginy—vlastní jádra, která provádějí specifické úkoly, jako je optimalizace bloků pozornosti s více hlavami. Například Flash-Attention plugin výrazně zlepšuje výkon vrstev pozornosti LLM.

Referenční hodnoty: Zvýšení výkonu TensorRT-LLM

TensorRT-LLM demonstruje významné zvýšení výkonu pro odvození LLM napříč různými GPU. Zde je srovnání inferenční rychlosti (měřeno v tokenech za sekundu) pomocí TensorRT-LLM napříč různými GPU NVIDIA:

Tyto benchmarky ukazují, že TensorRT-LLM přináší podstatné zlepšení výkonu, zejména u delších sekvencí.

Praktické: Instalace a sestavení TensorRT-LLM

Krok 1: Vytvořte prostředí kontejneru

Pro snadné použití poskytuje TensorRT-LLM obrázky Docker pro vytvoření kontrolovaného prostředí pro vytváření a spouštění modelů.

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8
input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]
output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'