TensorRT-LLM: अधिकतम प्रदर्शन के लिए बड़े भाषा मॉडल अनुमान को अनुकूलित करने के लिए एक व्यापक गाइड

चूंकि बड़े भाषा मॉडल (एलएलएम) की मांग लगातार बढ़ रही है, इसलिए तेज़, कुशल और स्केलेबल अनुमान सुनिश्चित करना पहले से कहीं अधिक महत्वपूर्ण हो गया है। TensorRT-एलएलएम एलएलएम इंफ़रेंस के लिए विशेष रूप से डिज़ाइन किए गए शक्तिशाली टूल और ऑप्टिमाइज़ेशन का एक सेट प्रदान करके इस चुनौती का समाधान करने के लिए कदम उठाए हैं। TensorRT-LLM प्रदर्शन सुधारों की एक प्रभावशाली श्रृंखला प्रदान करता है, जैसे कि क्वांटिज़ेशन, कर्नेल फ़्यूज़न, इन-फ़्लाइट बैचिंग और मल्टी-GPU समर्थन। ये प्रगति पारंपरिक CPU-आधारित विधियों की तुलना में 8 गुना अधिक तेज़ अनुमान गति प्राप्त करना संभव बनाती है, जिससे हम उत्पादन में LLM को तैनात करने के तरीके को बदल देते हैं।

यह व्यापक गाइड TensorRT-LLM के सभी पहलुओं का पता लगाएगी, इसकी वास्तुकला और प्रमुख विशेषताओं से लेकर मॉडल तैनात करने के व्यावहारिक उदाहरणों तक। चाहे आप एक AI इंजीनियर, सॉफ़्टवेयर डेवलपर या शोधकर्ता हों, यह गाइड आपको NVIDIA GPU पर LLM अनुमान को अनुकूलित करने के लिए TensorRT-LLM का लाभ उठाने का ज्ञान देगा।

TensorRT-LLM के साथ LLM अनुमान को गति देना

TensorRT-LLM, LLM इंफ़रेंस प्रदर्शन में नाटकीय सुधार प्रदान करता है। NVIDIA के परीक्षणों के अनुसार, TensorRT पर आधारित अनुप्रयोग दिखाते हैं 8x तेज सीपीयू-ओनली प्लेटफ़ॉर्म की तुलना में अनुमान लगाने की गति। यह चैटबॉट, अनुशंसा प्रणाली और स्वायत्त प्रणालियों जैसे वास्तविक समय के अनुप्रयोगों में एक महत्वपूर्ण प्रगति है, जिन्हें त्वरित प्रतिक्रियाओं की आवश्यकता होती है।

यह काम किस प्रकार करता है

TensorRT-LLM निम्नलिखित तकनीकों का उपयोग करके परिनियोजन के दौरान तंत्रिका नेटवर्क को अनुकूलित करके अनुमान को गति प्रदान करता है:

• परिमाणीकरण: भार और सक्रियण की सटीकता को कम करता है, मॉडल के आकार को छोटा करता है और अनुमान की गति में सुधार करता है।
• परत और टेंसर फ्यूजन: सक्रियण फ़ंक्शन और मैट्रिक्स गुणन जैसे ऑपरेशनों को एकल ऑपरेशन में विलय करता है।
• कर्नेल ट्यूनिंग: GPU संगणना के लिए इष्टतम CUDA कर्नेल का चयन करता है, जिससे निष्पादन समय कम हो जाता है।

ये अनुकूलन सुनिश्चित करते हैं कि आपके LLM मॉडल हाइपरस्केल डेटा सेंटर से लेकर एम्बेडेड सिस्टम तक, परिनियोजन प्लेटफार्मों की एक विस्तृत श्रृंखला में कुशलतापूर्वक प्रदर्शन करते हैं।

TensorRT के साथ अनुमान प्रदर्शन को अनुकूलित करना

NVIDIA के CUDA समानांतर प्रोग्रामिंग मॉडल पर निर्मित, TensorRT NVIDIA GPU पर अनुमान के लिए अत्यधिक विशिष्ट अनुकूलन प्रदान करता है। क्वांटिज़ेशन, कर्नेल ट्यूनिंग और टेंसर संचालन के फ़्यूज़न जैसी प्रक्रियाओं को सुव्यवस्थित करके, TensorRT सुनिश्चित करता है कि LLM न्यूनतम विलंबता के साथ चल सकें।

कुछ सर्वाधिक प्रभावी तकनीकें इस प्रकार हैं:

• परिमाणीकरण: यह उच्च सटीकता बनाए रखते हुए मॉडल मापदंडों की संख्यात्मक परिशुद्धता को कम करता है, जिससे अनुमान लगाने में प्रभावी रूप से तेजी आती है।
• टेंसर फ्यूजनएकल CUDA कर्नेल में कई ऑपरेशनों को सम्मिलित करके, TensorRT मेमोरी ओवरहेड को कम करता है और थ्रूपुट को बढ़ाता है।
• कर्नेल ऑटो-ट्यूनिंगTensorRT स्वचालित रूप से प्रत्येक ऑपरेशन के लिए सर्वोत्तम कर्नेल का चयन करता है, तथा दिए गए GPU के लिए अनुमान को अनुकूलित करता है।

ये तकनीकें TensorRT-LLM को प्राकृतिक भाषा प्रसंस्करण, अनुशंसा इंजन और वास्तविक समय वीडियो विश्लेषण जैसे गहन शिक्षण कार्यों के लिए अनुमान प्रदर्शन को अनुकूलित करने की अनुमति देती हैं।

TensorRT के साथ AI कार्यभार में तेजी लाना

TensorRT जैसे सटीक अनुकूलन को शामिल करके गहन शिक्षण कार्यभार को गति देता है INT8 और FP16ये कम-सटीकता वाले प्रारूप सटीकता बनाए रखते हुए काफी तेजी से अनुमान लगाने की अनुमति देते हैं। यह वास्तविक समय के अनुप्रयोगों में विशेष रूप से मूल्यवान है जहां कम विलंबता एक महत्वपूर्ण आवश्यकता है।

INT8 और FP16 अनुकूलन विशेष रूप से निम्नलिखित में प्रभावी हैं:

• वीडियो स्ट्रीमिंगAI-आधारित वीडियो प्रसंस्करण कार्य, जैसे ऑब्जेक्ट डिटेक्शन, फ़्रेम को संसाधित करने में लगने वाले समय को कम करके इन अनुकूलनों से लाभान्वित होते हैं।
• सिफारिश प्रणालीबड़ी मात्रा में उपयोगकर्ता डेटा को संसाधित करने वाले मॉडल के लिए अनुमान को तेज करके, TensorRT बड़े पैमाने पर वास्तविक समय के निजीकरण को सक्षम बनाता है।
• प्राकृतिक भाषा प्रसंस्करण (एनएलपी)TensorRT पाठ निर्माण, अनुवाद और सारांश जैसे NLP कार्यों की गति में सुधार करता है, जिससे वे वास्तविक समय के अनुप्रयोगों के लिए उपयुक्त हो जाते हैं।

NVIDIA Triton के साथ तैनात करें, चलाएं और स्केल करें

एक बार जब आपका मॉडल TensorRT-LLM के साथ अनुकूलित हो जाता है, तो आप इसका उपयोग करके आसानी से इसे तैनात, चला और स्केल कर सकते हैं NVIDIA ट्राइटन अनुमान सर्वरट्राइटन एक ओपन-सोर्स सॉफ़्टवेयर है जो डायनेमिक बैचिंग, मॉडल एन्सेम्बल और हाई थ्रूपुट का समर्थन करता है। यह बड़े पैमाने पर AI मॉडल के प्रबंधन के लिए एक लचीला वातावरण प्रदान करता है।

कुछ प्रमुख विशेषताओं में शामिल हैं:

• समवर्ती मॉडल निष्पादन: GPU उपयोग को अधिकतम करते हुए एक साथ कई मॉडल चलाएं।
• गतिशील बैचिंग: एकाधिक अनुमान अनुरोधों को एक बैच में संयोजित करता है, जिससे विलंबता कम होती है और थ्रूपुट बढ़ता है।
• स्ट्रीमिंग ऑडियो/वीडियो इनपुट: वास्तविक समय अनुप्रयोगों में इनपुट स्ट्रीम का समर्थन करता है, जैसे लाइव वीडियो एनालिटिक्स या स्पीच-टू-टेक्स्ट सेवाएं।

यह ट्राइटॉन को उत्पादन वातावरण में TensorRT-LLM अनुकूलित मॉडलों को तैनात करने के लिए एक मूल्यवान उपकरण बनाता है, जो उच्च मापनीयता और दक्षता सुनिश्चित करता है।

एलएलएम अनुमान के लिए टेंसरआरटी-एलएलएम की मुख्य विशेषताएं

ओपन सोर्स पायथन एपीआई

TensorRT-LLM एक अत्यधिक मॉड्यूलर और ओपन-सोर्स पायथन एपीआई, एलएलएम को परिभाषित करने, अनुकूलित करने और निष्पादित करने की प्रक्रिया को सरल बनाता है। एपीआई डेवलपर्स को कस्टम एलएलएम बनाने या अपनी आवश्यकताओं के अनुरूप पूर्व-निर्मित एलएलएम को संशोधित करने में सक्षम बनाता है, बिना सीयूडीए या डीप लर्निंग फ्रेमवर्क के गहन ज्ञान की आवश्यकता के।

इन-फ़्लाइट बैचिंग और पेज्ड अटेंशन

TensorRT-LLM की एक प्रमुख विशेषता यह है इन-फ़्लाइट बैचिंग, जो एक साथ कई अनुरोधों को संसाधित करके पाठ निर्माण को अनुकूलित करता है। यह सुविधा प्रतीक्षा समय को कम करती है और अनुक्रमों को गतिशील रूप से बैच करके GPU उपयोग को बेहतर बनाती है।

इसके अतिरिक्त, पृष्ठांकित ध्यान यह सुनिश्चित करता है कि लंबे इनपुट अनुक्रमों को संसाधित करते समय भी मेमोरी का उपयोग कम रहे। सभी टोकन के लिए सन्निहित मेमोरी आवंटित करने के बजाय, पेज्ड अटेंशन मेमोरी को "पेजों" में तोड़ देता है जिन्हें गतिशील रूप से पुनः उपयोग किया जा सकता है, जिससे मेमोरी विखंडन को रोका जा सकता है और दक्षता में सुधार होता है।

मल्टी-जीपीयू और मल्टी-नोड इंफ्रेंस

बड़े मॉडल या अधिक जटिल कार्यभार के लिए, TensorRT-LLM समर्थन करता है बहु GPU और बहु-नोड अनुमानयह क्षमता कई GPU या नोड्स में मॉडल कंप्यूटेशंस के वितरण की अनुमति देती है, जिससे थ्रूपुट में सुधार होता है और समग्र अनुमान समय कम हो जाता है।

FP8 समर्थन

के आगमन के साथ FP8 (8-बिट फ़्लोटिंग पॉइंट), TensorRT-LLM NVIDIA के H100 GPU का लाभ उठाता है ताकि मॉडल वज़न को अनुकूलित अनुमान के लिए इस फ़ॉर्मेट में परिवर्तित किया जा सके। FP8 मेमोरी खपत को कम करता है और तेज़ गणना करता है, जो विशेष रूप से बड़े पैमाने पर तैनाती में उपयोगी है।

TensorRT-LLM आर्किटेक्चर और घटक

TensorRT-LLM की वास्तुकला को समझने से आपको LLM अनुमान के लिए इसकी क्षमताओं का बेहतर उपयोग करने में मदद मिलेगी। आइए मुख्य घटकों को तोड़ें:

मॉडल परिभाषा

TensorRT-LLM आपको सरल पायथन API का उपयोग करके LLM को परिभाषित करने की अनुमति देता है। API एक निर्माण करता है ग्राफ प्रतिनिधित्व मॉडल का, GPT या BERT जैसे LLM आर्किटेक्चर में शामिल जटिल परतों को प्रबंधित करना आसान बनाता है।

वजन बंधन

मॉडल को संकलित करने से पहले, भार (या पैरामीटर) को नेटवर्क से बांधा जाना चाहिए। यह कदम सुनिश्चित करता है कि भार TensorRT इंजन के भीतर एम्बेडेड हैं, जिससे तेज़ और कुशल अनुमान लगाया जा सकता है। TensorRT-LLM संकलन के बाद भार अपडेट करने की भी अनुमति देता है, जिससे उन मॉडलों के लिए लचीलापन बढ़ता है जिन्हें बार-बार अपडेट की आवश्यकता होती है।

पैटर्न मिलान और संलयन

ऑपरेशन फ्यूजन TensorRT-LLM की एक और शक्तिशाली विशेषता है। एक ही CUDA कर्नेल में कई ऑपरेशन (जैसे, मैट्रिक्स गुणन को सक्रियण फ़ंक्शन के साथ) को जोड़कर, TensorRT कई कर्नेल लॉन्च से जुड़े ओवरहेड को कम करता है। यह मेमोरी ट्रांसफ़र को कम करता है और अनुमान को गति देता है।

प्लगइन्स

TensorRT की क्षमताओं का विस्तार करने के लिए, डेवलपर्स लिख सकते हैं plugins—कस्टम कर्नेल जो मल्टी-हेड अटेंशन ब्लॉक को ऑप्टिमाइज़ करने जैसे विशिष्ट कार्य करते हैं। उदाहरण के लिए, फ्लैश-ध्यान प्लगइन एलएलएम ध्यान परतों के प्रदर्शन में काफी सुधार करता है।

बेंचमार्क: TensorRT-LLM प्रदर्शन लाभ

TensorRT-LLM विभिन्न GPU में LLM अनुमान के लिए महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है। यहाँ विभिन्न NVIDIA GPU में TensorRT-LLM का उपयोग करके अनुमान गति (प्रति सेकंड टोकन में मापी गई) की तुलना दी गई है:

ये मानक दर्शाते हैं कि TensorRT-LLM प्रदर्शन में पर्याप्त सुधार प्रदान करता है, विशेष रूप से लंबे अनुक्रमों के लिए।

व्यावहारिक: TensorRT-LLM को स्थापित करना और बनाना

चरण 1: कंटेनर वातावरण बनाएँ

उपयोग में आसानी के लिए, TensorRT-LLM मॉडल बनाने और चलाने के लिए नियंत्रित वातावरण बनाने हेतु Docker छवियां प्रदान करता है।

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]

output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'