TensorRT-LLM: Një udhëzues gjithëpërfshirës për të optimizuar konkluzionet e modelit të gjuhës së madhe për performancën maksimale

Ndërsa kërkesa për modele të mëdha gjuhësore (LLM) vazhdon të rritet, sigurimi i përfundimeve të shpejta, efikase dhe të shkallëzuara është bërë më vendimtare se kurrë. NVIDIA TensorRT-LLM hapat për të adresuar këtë sfidë duke ofruar një sërë mjetesh dhe optimizimesh të fuqishme të krijuara posaçërisht për përfundimin e LLM. TensorRT-LLM ofron një grup mbresëlënës përmirësimesh të performancës, të tilla si kuantizimi, bashkimi i kernelit, grumbullimi gjatë fluturimit dhe mbështetje me shumë GPU. Këto përparime bëjnë të mundur arritjen e shpejtësive të përfundimit deri në 8 herë më të shpejta se metodat tradicionale të bazuara në CPU, duke transformuar mënyrën se si ne përdorim LLM-të në prodhim.

Ky udhëzues gjithëpërfshirës do të eksplorojë të gjitha aspektet e TensorRT-LLM, nga arkitektura dhe veçoritë kryesore të tij deri te shembujt praktikë për vendosjen e modeleve. Pavarësisht nëse jeni një inxhinier i AI, zhvillues softuerësh ose studiues, ky udhëzues do t'ju japë njohuri për të përdorur TensorRT-LLM për të optimizuar konkluzionet LLM në GPU-të NVIDIA.

Përshpejtimi i përfundimit të LLM me TensorRT-LLM

TensorRT-LLM ofron përmirësime dramatike në performancën e konkluzioneve LLM. Sipas testeve të NVIDIA, aplikacionet e bazuara në TensorRT shfaqen deri në 8x më shpejt shpejtësi konkluzioni në krahasim me platformat vetëm me CPU. Ky është një përparim thelbësor në aplikacionet në kohë reale si chatbots, sistemet e rekomandimeve dhe sistemet autonome që kërkojnë përgjigje të shpejta.

How It Works

TensorRT-LLM përshpejton përfundimin duke optimizuar rrjetet nervore gjatë vendosjes duke përdorur teknika si:

• Kuantizimi: Zvogëlon saktësinë e peshave dhe aktivizimeve, duke zvogëluar madhësinë e modelit dhe duke përmirësuar shpejtësinë e konkluzionit.
• Shkrirja e shtresave dhe tensorit: Bashkon operacione si funksionet e aktivizimit dhe shumëzimet e matricës në një operacion të vetëm.
• Akordimi i kernelit: Zgjedh kernelet optimale CUDA për llogaritjen e GPU, duke reduktuar kohën e ekzekutimit.

Këto optimizime sigurojnë që modelet tuaja LLM të performojnë me efikasitet në një gamë të gjerë platformash vendosjeje - nga qendrat e të dhënave në shkallë të lartë deri te sistemet e integruara.

Optimizimi i performancës së konkluzionit me TensorRT

E ndërtuar në modelin e programimit paralel CUDA të NVIDIA, TensorRT ofron optimizime shumë të specializuara për konkluzione në GPU-të NVIDIA. Duke thjeshtuar proceset si kuantizimi, akordimi i kernelit dhe bashkimi i operacioneve tensor, TensorRT siguron që LLM-të mund të funksionojnë me vonesë minimale.

Disa nga teknikat më efektive përfshijnë:

• Kuantizimi: Kjo zvogëlon saktësinë numerike të parametrave të modelit duke ruajtur saktësinë e lartë, duke përshpejtuar efektivisht përfundimin.
• Fusion tensor: Duke bashkuar operacione të shumta në një kernel të vetëm CUDA, TensorRT minimizon ngarkesën e kujtesës dhe rrit xhiron.
• Akordim automatik i kernelit: TensorRT zgjedh automatikisht kernelin më të mirë për çdo operacion, duke optimizuar konkluzionet për një GPU të caktuar.

Këto teknika lejojnë TensorRT-LLM të optimizojë performancën e konkluzioneve për detyrat e të mësuarit të thellë si përpunimi i gjuhës natyrore, motorët e rekomandimeve dhe analitika video në kohë reale.

Përshpejtimi i ngarkesave të AI me TensorRT

TensorRT përshpejton ngarkesat e punës së mësimit të thellë duke përfshirë optimizime precize si p.sh INT8 FP16. Këto formate me precizion të reduktuar lejojnë përfundime dukshëm më të shpejta duke ruajtur saktësinë. Kjo është veçanërisht e vlefshme në aplikacionet në kohë reale ku vonesa e ulët është një kërkesë kritike.

INT8 FP16 optimizimet janë veçanërisht efektive në:

• Video Streaming: Detyrat e përpunimit të videove të bazuara në AI, si zbulimi i objekteve, përfitojnë nga këto optimizime duke reduktuar kohën e nevojshme për përpunimin e kornizave.
• Sistemet e rekomandimit: Duke përshpejtuar përfundimin për modelet që përpunojnë sasi të mëdha të të dhënave të përdoruesit, TensorRT mundëson personalizimin në kohë reale në shkallë.
• Përpunimi natyror i gjuhës (NLP): TensorRT përmirëson shpejtësinë e detyrave NLP si gjenerimi i tekstit, përkthimi dhe përmbledhja, duke i bërë ato të përshtatshme për aplikime në kohë reale.

Vendosni, ekzekutoni dhe shkallëzoni me NVIDIA Triton

Pasi modeli juaj të jetë optimizuar me TensorRT-LLM, mund ta vendosni, ekzekutoni dhe shkallëzoni lehtësisht duke përdorur Serveri NVIDIA Triton Inference. Triton është një softuer me burim të hapur që mbështet grumbullimin dinamik, grupet e modeleve dhe xhiron e lartë. Ai siguron një mjedis fleksibël për menaxhimin e modeleve të AI në shkallë.

Disa nga karakteristikat kryesore përfshijnë:

• Ekzekutimi i njëkohshëm i modelit: Drejtoni disa modele njëkohësisht, duke maksimizuar përdorimin e GPU-së.
• Dinamik Batching: Kombinon kërkesa të shumta konkluzionesh në një grup, duke reduktuar vonesën dhe duke rritur xhiron.
• Transmetimi i hyrjeve audio/video: Mbështet transmetimet e hyrjes në aplikacione në kohë reale, të tilla si analitika e drejtpërdrejtë e videos ose shërbimet e fjalës në tekst.

Kjo e bën Triton një mjet të vlefshëm për vendosjen e modeleve të optimizuara TensorRT-LLM në mjediset e prodhimit, duke siguruar shkallëzim dhe efikasitet të lartë.

Karakteristikat kryesore të TensorRT-LLM për përfundimin LLM

Python API me burim të hapur

TensorRT-LLM ofron një shumë modulare dhe Python API me burim të hapur, duke thjeshtuar procesin e përcaktimit, optimizimit dhe ekzekutimit të LLM-ve. API u mundëson zhvilluesve të krijojnë LLM të personalizuara ose të modifikojnë ato të para-ndërtuara për t'iu përshtatur nevojave të tyre, pa kërkuar njohuri të thelluara të CUDA ose korniza të mësimit të thellë.

Mbledhja gjatë fluturimit dhe vëmendja e faqes

Një nga veçoritë e spikatura të TensorRT-LLM është Batching gjatë fluturimit, i cili optimizon gjenerimin e tekstit duke përpunuar kërkesa të shumta njëkohësisht. Ky funksion minimizon kohën e pritjes dhe përmirëson përdorimin e GPU-së duke grumbulluar në mënyrë dinamike sekuencat.

Përveç kësaj, Vëmendje e faqes siguron që përdorimi i kujtesës të mbetet i ulët edhe kur përpunohen sekuenca të gjata hyrëse. Në vend që të shpërndahet memorie e vazhdueshme për të gjitha shenjat, vëmendja e faqes e ndan kujtesën në "faqe" që mund të ripërdoren në mënyrë dinamike, duke parandaluar fragmentimin e kujtesës dhe duke përmirësuar efikasitetin.

Konkluzioni me shumë GPU dhe me shumë nyje

Për modele më të mëdha ose ngarkesa më komplekse të punës, TensorRT-LLM mbështet multi-GPU përfundimi me shumë nyje. Kjo aftësi lejon shpërndarjen e llogaritjeve të modelit nëpër disa GPU ose nyje, duke përmirësuar xhiros dhe duke reduktuar kohën e përgjithshme të përfundimit.

Mbështetje FP8

Me ardhjen e FP8 (Pikë lundruese 8-bit), TensorRT-LLM përdor GPU-të H100 të NVIDIA për të kthyer peshat e modelit në këtë format për përfundime të optimizuara. FP8 mundëson konsum të reduktuar të memories dhe llogaritje më të shpejtë, veçanërisht të dobishme në vendosjet në shkallë të gjerë.

TensorRT-LLM Arkitektura dhe Komponentët

Kuptimi i arkitekturës së TensorRT-LLM do t'ju ndihmojë të përdorni më mirë aftësitë e tij për përfundimin e LLM. Le të zbërthejmë përbërësit kryesorë:

Përkufizimi i modelit

TensorRT-LLM ju lejon të përcaktoni LLM-të duke përdorur një API të thjeshtë Python. API-ja ndërton a paraqitje grafike të modelit, duke e bërë më të lehtë menaxhimin e shtresave komplekse të përfshira në arkitekturat LLM si GPT ose BERT.

Lidhjet e peshës

Përpara përpilimit të modelit, peshat (ose parametrat) duhet të lidhen me rrjetin. Ky hap siguron që peshat të futen brenda motorit TensorRT, duke lejuar përfundime të shpejta dhe efikase. TensorRT-LLM gjithashtu lejon përditësimet e peshës pas përpilimit, duke shtuar fleksibilitet për modelet që kanë nevojë për përditësime të shpeshta.

Përputhja e modelit dhe shkrirja

Operacioni Fusion është një tjetër veçori e fuqishme e TensorRT-LLM. Duke bashkuar operacione të shumta (p.sh., shumëzimet e matricës me funksionet e aktivizimit) në një kernel të vetëm CUDA, TensorRT minimizon shpenzimet e sipërme që lidhen me lëshimet e shumta të kernelit. Kjo zvogëlon transferimet e kujtesës dhe përshpejton përfundimin.

Shtesa

Për të zgjeruar aftësitë e TensorRT, zhvilluesit mund të shkruajnë plugins—kernelet e personalizuara që kryejnë detyra specifike si optimizimi i blloqeve të vëmendjes me shumë koka. Për shembull, Flash-Vëmendje shtojca përmirëson ndjeshëm performancën e shtresave të vëmendjes LLM.

Standardet: Fitimet e Performancës TensorRT-LLM

TensorRT-LLM demonstron përfitime të konsiderueshme të performancës për përfundimin e LLM nëpër GPU të ndryshme. Këtu është një krahasim i shpejtësisë së konkluzionit (e matur në shenja për sekondë) duke përdorur TensorRT-LLM nëpër GPU të ndryshme NVIDIA:

Këto standarde tregojnë se TensorRT-LLM jep përmirësime thelbësore në performancë, veçanërisht për sekuenca më të gjata.

Hands-On: Instalimi dhe ndërtimi i TensorRT-LLM

Hapi 1: Krijoni një mjedis kontejneri

Për lehtësinë e përdorimit, TensorRT-LLM ofron imazhe Docker për të krijuar një mjedis të kontrolluar për ndërtimin dhe ekzekutimin e modeleve.

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8
input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]
output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'