TensorRT-LLM: एक व्यापक गाइड लार्ज लैंग्वेज मॉडल इन्फरेंस के लिए अधिकतम प्रदर्शन के लिए ऑप्टिमाइज़ करने के लिए

जैसा कि लार्ज लैंग्वेज मॉडल (LLM) की मांग बढ़ती जा रही है, तेज़, कुशल और स्केलेबल इन्फरेंस सुनिश्चित करना पहले से कहीं अधिक महत्वपूर्ण हो गया है। NVIDIA (NVDA ) का TensorRT-LLM इस चुनौती का समाधान प्रदान करने के लिए एक सेट के साथ आता है शक्तिशाली उपकरण और ऑप्टिमाइजेशन जो विशेष रूप से LLM इन्फरेंस के लिए डिज़ाइन किए गए हैं। TensorRT-LLM में क्वांटाइजेशन, कर्नल फ्यूजन, इन-फ्लाइट बैचिंग और मल्टी-जीपीयू समर्थन जैसे प्रदर्शन में आश्चर्यजनक सुधार प्रदान करता है। ये उन्नतियां पारंपरिक सीपीयू-आधारित विधियों की तुलना में 8 गुना तेज़ इन्फरेंस गति प्राप्त करने के लिए संभव बनाती हैं, जो LLM को उत्पादन में तैनात करने के तरीके को बदल देती है।

यह व्यापक गाइड TensorRT-LLM के सभी पहलुओं का अन्वेषण करेगा, इसके आर्किटेक्चर और कुंजी सुविधाओं से लेकर मॉडल तैनात करने के लिए व्यावहारिक उदाहरणों तक। चाहे आप एक एआई इंजीनियर, सॉफ्टवेयर डेवलपर या शोधकर्ता हों, यह गाइड आपको TensorRT-LLM का लाभ उठाने के लिए LLM इन्फरेंस को अनुकूलित करने के लिए ज्ञान प्रदान करेगा। NVIDIA जीपीयू पर।

TensorRT-LLM के साथ LLM इन्फरेंस को तेज करना

TensorRT-LLM LLM इन्फरेंस प्रदर्शन में नाटकीय सुधार प्रदान करता है। NVIDIA के परीक्षणों के अनुसार, TensorRT पर आधारित अनुप्रयोग पारंपरिक सीपीयू-केवल प्लेटफार्मों की तुलना में 8 गुना तेज़ इन्फरेंस गति प्रदर्शित करते हैं। यह वास्तविक समय के अनुप्रयोगों में एक महत्वपूर्ण प्रगति है जैसे कि चैटबॉट, सिफारिश प्रणाली और स्वायत्त प्रणाली जो तेजी से प्रतिक्रिया की आवश्यकता होती है।

यह कैसे काम करता है

TensorRT-LLM इन्फरेंस को तेज करने के लिए तैनाती के दौरान तकनीकों जैसे कि क्वांटाइजेशन, लेयर और टेंसर फ्यूजन और कर्नल ट्यूनिंग का उपयोग करके न्यूरल नेटवर्क को अनुकूलित करता है। ये अनुकूलन सुनिश्चित करते हैं कि आपके LLM मॉडल विभिन्न तैनाती प्लेटफार्मों पर कुशलता से प्रदर्शन करें, हाइपरस्केल डेटा सेंटर से लेकर एम्बेडेड सिस्टम तक।

TensorRT के साथ इन्फरेंस प्रदर्शन को अनुकूलित करना

NVIDIA के CUDA समानांतर प्रोग्रामिंग मॉडल पर निर्मित, TensorRT NVIDIA जीपीयू पर इन्फरेंस के लिए अत्यधिक विशेषज्ञता वाले अनुकूलन प्रदान करता है। क्वांटाइजेशन, कर्नल ट्यूनिंग और टेंसर ऑपरेशन के फ्यूजन जैसी प्रक्रियाओं को स्ट्रीमलाइन करके, TensorRT सुनिश्चित करता है कि LLM तैनाती प्लेटफार्मों पर न्यूनतम विलंबता के साथ चल सकते हैं।

TensorRT के साथ एआई वर्कलोड को तेज करना

TensorRT गहरे शिक्षण कार्यों जैसे प्राकृतिक भाषा प्रसंस्करण, सिफारिश इंजन और वास्तविक समय वीडियो विश्लेषण के लिए डीप लर्निंग वर्कलोड को तेज करने के लिए सटीक अनुकूलन जैसे INT8 और FP16 को एकीकृत करता है। ये कम सटीकता वाले प्रारूप इन्फरेंस को तेजी से बनाने की अनुमति देते हैं जबकि सटीकता बनाए रखते हैं, जो वास्तविक समय के अनुप्रयोगों में विशेष रूप से मूल्यवान है जहां कम विलंबता एक महत्वपूर्ण आवश्यकता है।

NVIDIA Triton के साथ तैनात, चलाएं और स्केल करें

एक बार जब आप अपने मॉडल को TensorRT-LLM के साथ अनुकूलित कर लेते हैं, तो आप इसे आसानी से NVIDIA Triton इन्फरेंस सर्वर का उपयोग करके तैनात, चला और स्केल कर सकते हैं। ट्राइटन एक ओपन-सोर्स सॉफ्टवेयर है जो डायनामिक बैचिंग, मॉडल एन्सेम्बल और उच्च थ्रूपुट का समर्थन करता है। यह बड़े पैमाने पर एआई मॉडल प्रबंधन के लिए एक लचीला वातावरण प्रदान करता है।

TensorRT-LLM की कोर सुविधाएं LLM इन्फरेंस के लिए

ओपन सोर्स पायथन एपीआई

TensorRT-LLM एक अत्यधिक मॉड्यूलर और ओपन सोर्स पायथन एपीआई प्रदान करता है, जो LLM को परिभाषित, अनुकूलित और निष्पादित करने की प्रक्रिया को सरल बनाता है। एपीआई डेवलपर्स को अपने स्वयं के LLM बनाने या पूर्व-निर्मित लोगों को संशोधित करने की अनुमति देता है, CUDA या गहरे शिक्षण फ्रेमवर्क के गहन ज्ञान की आवश्यकता के बिना।

इन-फ्लाइट बैचिंग और पेज्ड अटेंशन

TensorRT-LLM की एक प्रमुख विशेषता इन-फ्लाइट बैचिंग है, जो एक ही बैच में कई अनुरोधों को संसाधित करके पाठ जनरेशन को अनुकूलित करती है। यह सुविधा प्रतीक्षा समय को कम करती है और जीपीयू उपयोगिता में सुधार करती है द्वारा अनुरोधों को गतिशील रूप से बैचिंग।

इसके अलावा, पेज्ड अटेंशन यह सुनिश्चित करता है कि लंबी इनपुट अनुक्रमों को संसाधित करते समय भी मेमोरी उपयोग कम रहता है। पूरे टोकन के लिए संगत मेमोरी को आवंटित करने के बजाय, पेज्ड अटेंशन मेमोरी को “पेज” में तोड़ देता है जो गतिशील रूप से आवंटित और मुक्त किए जा सकते हैं, मेमोरी खंडितकरण को रोकते हैं और कुशलता में सुधार करते हैं।

मल्टी-जीपीयू और मल्टी-नोड इन्फरेंस

बड़े मॉडल या अधिक जटिल वर्कलोड के लिए, TensorRT-LLM मल्टी-जीपीयू और मल्टी-नोड इन्फरेंस का समर्थन करता है। यह क्षमता मॉडल गणनाओं को कई जीपीयू या नोड्स पर वितरित करने की अनुमति देती है, थ्रूपुट में सुधार करती है और कुल इन्फरेंस समय को कम करती है।

एफपी8 समर्थन

एफपी8 (8-बिट फ्लोटिंग पॉइंट) के आगमन के साथ, TensorRT-LLM NVIDIA के H100 जीपीयू का लाभ उठाता है मॉडल वजनों को इस प्रारूप में परिवर्तित करने के लिए अनुकूलित इन्फरेंस के लिए। एफपी8 मेमोरी की खपत को कम करता है और गणना को तेज करता है, विशेष रूप से बड़े पैमाने पर तैनाती में उपयोगी है।

TensorRT-LLM आर्किटेक्चर और घटक

TensorRT-LLM के आर्किटेक्चर को समझना इसकी क्षमताओं का बेहतर उपयोग करने में आपकी मदद करेगा। आइए इसके मुख्य घटकों पर विचार करें:

मॉडल परिभाषा

TensorRT-LLM आपको एक सरल पायथन एपीआई का उपयोग करके LLM परिभाषित करने की अनुमति देता है। एपीआई मॉडल का एक ग्राफ प्रतिनिधित्व बनाता है, जो LLM आर्किटेक्चर जैसे GPT या BERT में शामिल जटिल परतों को प्रबंधित करना आसान बनाता है।

वजन बंधन

मॉडल को संकलित करने से पहले, वजन (या पैरामीटर) को नेटवर्क से बांधना होगा। यह चरण सुनिश्चित करता है कि वजन TensorRT इंजन में निहित हैं, तेज और कुशल अनुमान की अनुमति देते हैं। TensorRT-LLM संकलन के बाद वजन अपडेट की भी अनुमति देता है, मॉडल को जो अक्सर अपडेट की आवश्यकता होती है उन्हें लचीलापन प्रदान करता है।

पैटर्न मिलान और फ्यूजन

ऑपरेशन फ्यूजन TensorRT-LLM की एक और शक्तिशाली सुविधा है। एकल CUDA कर्नल में कई ऑपरेशन (जैसे मैट्रिक्स गुणा और सक्रियण कार्य) को मिलाकर, TensorRT कई कर्नल लॉन्च से जुड़े ओवरहेड को कम करता है। यह मेमोरी ट्रांसफर को कम करता है और इन्फरेंस को तेज करता है।

प्लगइन्स

TensorRT की क्षमताओं का विस्तार करने के लिए, डेवलपर्स प्लगइन्स लिख सकते हैं – विशिष्ट कार्यों को करने वाले कस्टम कर्नल, जैसे कि ट्रांसफॉर्मर-आधारित मॉडल में मल्टी-हेड अटेंशन ब्लॉक को अनुकूलित करना। उदाहरण के लिए, फ्लैश-अटेंशन प्लगइन LLM अटेंशन परतों की गणना में एक महत्वपूर्ण त्वरण प्रदान करता है।

बेंचमार्क: TensorRT-LLM प्रदर्शन लाभ

TensorRT-LLM विभिन्न NVIDIA जीपीयू पर LLM इन्फरेंस के लिए महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है। यहां विभिन्न NVIDIA जीपीयू पर TensorRT-LLM का उपयोग करके इन्फरेंस गति (टोकन प्रति सेकंड में मापी गई) की तुलना है:

इन बेंचमार्क से पता चलता है कि TensorRT-LLM विशेष रूप से लंबी अनुक्रमों के लिए प्रदर्शन में महत्वपूर्ण सुधार प्रदान करता है।

हाथों पर: TensorRT-LLM स्थापित करना और निर्माण करना

चरण 1: कंटेनर वातावरण बनाएं

उपयोग में आसानी के लिए, TensorRT-LLM मॉडल को बनाने और चलाने के लिए एक नियंत्रित वातावरण बनाने के लिए Docker छवियां प्रदान करता है।

docker build --pull \
--target devel \
--file docker/Dockerfile.multi \
--tag tensorrt_llm/devel:latest .

docker run --rm -it \
--ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
--volume ${PWD}:/code/tensorrt_llm \
--workdir /code/tensorrt_llm \
tensorrt_llm/devel:latest

चरण 2: कंटेनर चलाएं

कंटेनर को NVIDIA जीपीयू तक पहुंच के साथ चलाएं:

docker run --rm -it \
--ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
--volume ${PWD}:/code/tensorrt_llm \
--workdir /code/tensorrt_llm \
tensorrt_llm/devel:latest

चरण 3: TensorRT-LLM से निर्माण करें

कंटेनर के अंदर, निम्नलिखित कमांड का उपयोग करके TensorRT-LLM को संकलित करें:

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

चरण 4: TensorRT-LLM सी++ रनटाइम लिंक करें

जब आप अपने सी++ परियोजनाओं में TensorRT-LLM को एकीकृत कर रहे हों, तो सुनिश्चित करें कि आपकी परियोजना के शामिल पथ cpp/include निर्देशिका की ओर इशारा करते हैं। यह स्थिर, समर्थित एपीआई हेडर chứaता है। TensorRT-LLM लाइब्रेरी आपके सी++ संकलन प्रक्रिया के दौरान जुड़ी हुई हैं।

उदाहरण के लिए, आपकी परियोजना का सीएमके कॉन्फ़िगरेशन इस प्रकार हो सकता है:

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

यह एकीकरण आपको अपने सी++ परियोजनाओं में TensorRT-LLM के अनुकूलन का लाभ उठाने की अनुमति देता है, यहां तक कि निम्न-स्तरीय या उच्च-प्रदर्शन वाले वातावरण में भी कुशल अनुमान सुनिश्चित करता है।

उन्नत TensorRT-LLM सुविधाएं

TensorRT-LLM केवल एक अनुकूलन पुस्तकालय से अधिक है; इसमें कई उन्नत सुविधाएं शामिल हैं जो बड़े पैमाने पर LLM तैनाती में मदद करती हैं। नीचे, हम इन सुविधाओं में से कुछ का विस्तार से अन्वेषण करते हैं:

1. इन-फ्लाइट बैचिंग

पारंपरिक बैचिंग में एक बैच पूरी तरह से एकत्र होने तक प्रतीक्षा करना शामिल है, जो देरी का कारण बन सकता है। इन-फ्लाइट बैचिंग इसे बदल देता है बैच के भीतर पूर्ण अनुरोधों पर इन्फरेंस को गतिशील रूप से शुरू करके, जबकि अन्य अनुरोधों को अभी भी एकत्र किया जा रहा है। यह समग्र थ्रूपुट में सुधार करता है निष्क्रिय समय को कम करके और जीपीयू उपयोगिता में वृद्धि करके।

यह सुविधा वास्तविक समय के अनुप्रयोगों में विशेष रूप से मूल्यवान है, जैसे कि चैटबॉट या वॉयस असिस्टेंट, जहां प्रतिक्रिया समय महत्वपूर्ण है।

2. पेज्ड अटेंशन

पेज्ड अटेंशन एक मेमोरी अनुकूलन तकनीक है जो बड़े इनपुट अनुक्रमों को संभालने में मदद करती है। इसके बजाय पूरे अनुक्रम के लिए संगत मेमोरी की आवश्यकता होती है (जो मेमोरी खंडितकरण का कारण बन सकती है), पेज्ड अटेंशन मॉडल को की-वैल्यू कैश डेटा को मेमोरी के “पेज” में विभाजित करने की अनुमति देता है। ये पेज गतिशील रूप से आवंटित और मुक्त किए जा सकते हैं, मेमोरी उपयोग को अनुकूलित करते हैं।

पेज्ड अटेंशन लंबी अनुक्रम लंबाई और मेमोरी ओवरहेड को कम करने के लिए महत्वपूर्ण है, विशेष रूप से जेनरेटिव मॉडल जैसे GPT और LLaMA में।

3. कस्टम प्लगइन्स

TensorRT-LLM आपको इसकी क्षमताओं का विस्तार करने की अनुमति देता है कस्टम प्लगइन्स के माध्यम से। प्लगइन्स विशिष्ट अनुकूलन या ऑपरेशन को करने में सक्षम उपयोगकर्ता-परिभाषित कर्नल हैं। उदाहरण के लिए, फ्लैश-अटेंशन प्लगइन एक कस्टम कर्नल है जो ट्रांसफॉर्मर-आधारित मॉडल में मल्टी-हेड अटेंशन परतों को अनुकूलित करता है। इस प्लगइन का उपयोग करके, डेवलपर्स अटेंशन गणना में महत्वपूर्ण त्वरण प्राप्त कर सकते हैं – LLM में सबसे संसाधन-गहन घटकों में से एक।

4. एनवीडिया एच100 पर एफपी8 सटीकता

एफपी8 सटीकता के साथ, TensorRT-LLM NVIDIA की नवीनतम हार्डवेयर नवाचारों का लाभ उठाता है एच100 हॉपर आर्किटेक्चर में। एफपी8 मॉडल के वजन और सक्रियण को 8-बिट फ्लोटिंग-पॉइंट प्रारूप में संग्रहीत करके LLM के मेमोरी फुटप्रिंट को कम करता है, जिसके परिणामस्वरूप तेजी से गणना होती है बिना सटीकता को बहुत कम किए। TensorRT-LLM स्वचालित रूप से मॉडल को अनुकूलित एफपी8 कर्नल का उपयोग करने के लिए संकलित करता है, इन्फरेंस समय में और त्वरण प्रदान करता है।

यह TensorRT-LLM को बड़े पैमाने पर तैनाती के लिए एक आदर्श विकल्प बनाता है जो शीर्ष प्रदर्शन और ऊर्जा दक्षता की मांग करते हैं।

उदाहरण: ट्राइटन इन्फरेंस सर्वर के साथ TensorRT-LLM तैनात करना

उत्पादन तैनाती के लिए, NVIDIA का ट्राइटन इन्फरेंस सर्वर मॉडल को बड़े पैमाने पर प्रबंधित करने के लिए एक मजबूत मंच प्रदान करता है। इस उदाहरण में, हम दिखाएंगे कि TensorRT-LLM-ऑप्टिमाइज्ड मॉडल को ट्राइटन का उपयोग करके कैसे तैनात किया जाए।

चरण 1: मॉडल रिपॉजिटरी सेट अप करें

ट्राइटन के लिए एक मॉडल रिपॉजिटरी बनाएं, जो आपके TensorRT-LLM मॉडल फ़ाइलों को संग्रहीत करेगा। उदाहरण के लिए, यदि आपने एक GPT2 मॉडल को संकलित किया है, तो आपका निर्देशिका संरचना इस प्रकार दिखाई दे सकती है:

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

चरण 2: ट्राइटन कॉन्फ़िगरेशन फ़ाइल बनाएं

model_repository/gpt2/ निर्देशिका में एक कॉन्फ़िगरेशन फ़ाइल बनाएं जो ट्राइटन को बताती है कि मॉडल को कैसे लोड और चलाना है। यहां TensorRT-LLM के लिए एक बुनियादी कॉन्फ़िगरेशन है:

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

<p>input [
{
name: "input_ids"
data_type: TYPE_INT32
dims: [-1]
}
]</p>

<p>output [
{
name: "logits"
data_type: TYPE_FP32
dims: [-1, -1]
}
]</p>

चरण 3: ट्राइटन सर्वर लॉन्च करें

निम्नलिखित Docker कमांड का उपयोग करके मॉडल रिपॉजिटरी के साथ ट्राइटन लॉन्च करें:

docker run --rm --gpus all \
-v $(pwd)/model_repository:/models \
nvcr.io/nvidia/tritonserver:23.05-py3 \
tritonserver --model-repository=/models

चरण 4: ट्राइटन को इन्फरेंस अनुरोध भेजें

एक बार ट्राइटन सर्वर चलने के बाद, आप इसे HTTP या gRPC का उपयोग करके इन्फरेंस अनुरोध भेज सकते हैं। उदाहरण के लिए, curl का उपयोग करके एक अनुरोध भेजने के लिए:

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
"inputs": [
{"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
]
}'

ट्राइटन TensorRT-LLM इंजन का उपयोग करके अनुरोध को संसाधित करेगा और लॉगिट को आउटपुट के रूप में लौटाएगा।

TensorRT-LLM के साथ LLM इन्फरेंस को अनुकूलित करने के लिए सर्वोत्तम अभ्यास

TensorRT-LLM की पूरी क्षमता को सुनिश्चित करने के लिए, अनुकूलन और तैनाती के दौरान सर्वोत्तम अभ्यासों का पालन करना महत्वपूर्ण है। यहां कुछ मुख्य सुझाव दिए गए हैं:

1. अनुकूलन से पहले अपने मॉडल को प्रोफाइल करें

अनुकूलन जैसे क्वांटाइजेशन या कर्नल फ्यूजन लागू करने से पहले, NVIDIA के प्रोफाइलिंग टूल (जैसे Nsight सिस्टम या TensorRT प्रोफाइलर) का उपयोग करके अपने मॉडल के वर्तमान बोतलनेक को समझें। यह आपको सुधार के लिए विशिष्ट क्षेत्रों को लक्षित करने में मदद करेगा, अधिक प्रभावी अनुकूलन के लिए अग्रणी।

2. अधिकतम प्रदर्शन के लिए मिश्रित सटीकता का उपयोग करें

TensorRT-LLM के साथ मॉडल को अनुकूलित करते समय, FP16 और FP32 के संयोजन का उपयोग करके मिश्रित सटीकता एक महत्वपूर्ण त्वरण प्रदान करती है, जबकि सटीकता में बहुत अधिक नुकसान नहीं होता है। H100 जीपीयू पर उपलब्ध होने पर विशेष रूप से FP8 का उपयोग करने पर विचार करें, जो गति और सटीकता के बीच सर्वोत्तम संतुलन प्रदान करता है।

3. लंबे अनुक्रमों के लिए पेज्ड अटेंशन का लाभ उठाएं

लंबी इनपुट अनुक्रमों वाले कार्यों के लिए, जैसे कि दस्तावेज़ सारांश या बहु-मोड़ वार्ता, हमेशा पेज्ड अटेंशन को सक्षम करें मेमोरी उपयोग को अनुकूलित करने के लिए। यह मेमोरी ओवरहेड को कम करता है और इन्फरेंस के दौरान आउट-ऑफ-मेमोरी त्रुटियों को रोकता है।

4. मल्टी-जीपीयू सेटअप के लिए समांतरता को फ़ाइन-ट्यून करें

मल्टी-जीपीयू या नोड्स पर LLM तैनात करते समय, सुनिश्चित करें कि टेंसर समांतरता और पाइपलाइन समांतरता की सेटिंग्स को अपने विशिष्ट वर्कलोड के अनुसार फ़ाइन-ट्यून किया गया है। इन मोडों को ठीक से कॉन्फ़िगर करने से जीपीयू के पारित करने वाले कंप्यूटेशनल भार को समान रूप से वितरित करके महत्वपूर्ण प्रदर्शन में सुधार हो सकता है।

निष्कर्ष

TensorRT-LLM LLM अनुकूलन और तैनाती में एक क्रांति का प्रतिनिधित्व करता है। इसकी उन्नत सुविधाओं जैसे क्वांटाइजेशन, ऑपरेशन फ्यूजन, एफपी8 सटीकता और मल्टी-जीपीयू समर्थन के साथ, TensorRT-LLM LLM को NVIDIA जीपीयू पर तेजी से और अधिक कुशलता से चलाने में सक्षम बनाता है। चाहे आप वास्तविक समय चैट अनुप्रयोगों, सिफारिश प्रणाली या बड़े पैमाने पर भाषा मॉडल पर काम कर रहे हों, TensorRT-LLM आवश्यक उपकरण प्रदान करता है प्रदर्शन की सीमाओं को आगे बढ़ाने के लिए।

इस गाइड ने आपको TensorRT-LLM सेट अप करने, इसके पायथन एपीआई के साथ मॉडल को अनुकूलित करने, ट्राइटन इन्फरेंस सर्वर पर तैनात करने और कुशल अनुमान के लिए सर्वोत्तम अभ्यासों को लागू करने के माध्यम से मार्गदर्शन किया। TensorRT-LLM के साथ, आप अपने एआई वर्कलोड को तेज कर सकते हैं, विलंबता को कम कर सकते हैं और उत्पादन वातावरण में LLM समाधानों को स्केल कर सकते हैं।

अधिक जानकारी के लिए, TensorRT-LLM डॉक्यूमेंटेशन और ट्राइटन इन्फरेंस सर्वर डॉक्यूमेंटेशन देखें।