एलएलएम डिप्लॉयमेंट का अनुकूलन: वीएलएलएम पेज्डएटेंशन और कुशल एआई सर्विंग का भविष्य

बड़े भाषा मॉडल (एलएलएम) को वास्तविक दुनिया के अनुप्रयोगों पर तैनात करना अद्वितीय चुनौतियों का सामना करता है, विशेष रूप से गणना संसाधनों, विलंबता और लागत प्रभावशीलता के संदर्भ में। इस व्यापक गाइड में, हम एलएलएम सर्विंग के परिदृश्य का अन्वेषण करेंगे, विशेष रूप से वीएलएलएम (वेक्टर भाषा मॉडल) पर ध्यान केंद्रित करेंगे, जो इन शक्तिशाली मॉडलों को तैनात करने और उनसे बातचीत करने के तरीके को बदलने का समाधान है।

बड़े भाषा मॉडलों को परोसने की चुनौतियाँ

विशिष्ट समाधानों में गोता लगाने से पहले, आइए उन प्रमुख चुनौतियों का निरीक्षण करें जो एलएलएम सर्विंग को एक जटिल कार्य बनाती हैं:

गणना संसाधन

एलएलएम अपने विशाल पैरामीटर गणना के लिए कुख्यात हैं, जो अरब से लेकर सैकड़ों अरब तक होती हैं। उदाहरण के लिए, जीपीटी-3 में 175 अरब पैरामीटर हैं, जबकि अधिक हाल के मॉडल जैसे जीपीटी-4 में और भी अधिक पैरामीटर होने का अनुमान है। यह आकार महत्वपूर्ण गणना आवश्यकताओं का अनुवाद करता है अनुमान के लिए।

उदाहरण:
एक अपेक्षाकृत साधारण एलएलएम पर विचार करें जिसमें 13 अरब पैरामीटर हैं, जैसे एलएलएमए-13बी। इस मॉडल को भी:

– लगभग 26 जीबी मेमोरी की आवश्यकता होती है केवल मॉडल पैरामीटर को स्टोर करने के लिए (16-बिट सटीकता के आधार पर)
– सक्रियण, ध्यान तंत्र, और मध्यवर्ती गणना के लिए अतिरिक्त मेमोरी
– वास्तविक समय अनुमान के लिए महत्वपूर्ण जीपीयू कंप्यूट शक्ति

विलंबता

कई अनुप्रयोगों में, जैसे कि चैटबॉट या वास्तविक समय सामग्री पीढ़ी, कम विलंबता एक अच्छे उपयोगकर्ता अनुभव के लिए महत्वपूर्ण है। हालांकि, एलएलएम की जटिलता लंबे अनुक्रमों के लिए महत्वपूर्ण प्रसंस्करण समय का कारण बन सकती है।

उदाहरण:
एक ग्राहक सेवा चैटबॉट की कल्पना करें जो एक एलएलएम द्वारा संचालित है। यदि प्रत्येक प्रतिक्रिया का उत्पादन करने में कई सेकंड लगते हैं, तो बातचीत उपयोगकर्ताओं के लिए अस्वाभाविक और निराशाजनक महसूस होगी।

लागत

एलएलएम को पैमाने पर चलाने के लिए आवश्यक हार्डवेयर बहुत महंगा हो सकता है। उच्च-अंत जीपीयू या टीपीयू अक्सर आवश्यक होते हैं, और इन प्रणालियों की ऊर्जा खपत महत्वपूर्ण होती है।

उदाहरण:
एनवीडिया ए100 जीपीयू (जो अक्सर एलएलएम अनुमान के लिए उपयोग किया जाता है) का एक समूह चलाने की लागत बादल गणना शुल्क में प्रतिदिन हजारों डॉलर हो सकती है।

पारंपरिक एलएलएम सर्विंग दृष्टिकोण

अधिक उन्नत समाधानों का अन्वेषण करने से पहले, आइए एलएलएम की कुछ पारंपरिक सर्विंग दृष्टिकोणों पर संक्षेप में चर्चा करें:

हगिंग फेस ट्रांसफॉर्मर के साथ सरल तैनाती

हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी एलएलएम को तैनात करने का एक सीधा तरीका प्रदान करती है, लेकिन यह उच्च-थ्रूपुट सर्विंग के लिए अनुकूलित नहीं है।

उदाहरण कोड:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

<p>model_name = "meta-llama/Llama-2-13b-hf"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)</p>

<p>def generate_text(prompt, max_length=100):
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=max_length)
return tokenizer.decode(outputs[0], skip_special_tokens=True)</p>

<p>print(generate_text("The future of AI is"))

जबकि यह दृष्टिकोण काम करता है, यह उच्च-यातायात अनुप्रयोगों के लिए उचित नहीं है क्योंकि इसका संसाधनों का उपयोग अकुशल है और सर्विंग के लिए अनुकूलन की कमी है।

टॉर्चसर्व या समान फ्रेमवर्क का उपयोग

टॉर्चसर्व जैसे फ्रेमवर्क अधिक मजबूत सर्विंग क्षमताएं प्रदान करते हैं, जिनमें लोड संतुलन और मॉडल संस्करण शामिल हैं। हालांकि, वे एलएलएम सर्विंग की विशिष्ट चुनौतियों का समाधान नहीं करते हैं, जैसे कि बड़े मॉडलों के लिए कुशल मेमोरी प्रबंधन।

एलएलएम सर्विंग में मेमोरी प्रबंधन को समझना

एलएलएम की व्यापक गणना संसाधनों के कारण कुशल मेमोरी प्रबंधन महत्वपूर्ण है। निम्नलिखित छवियां मेमोरी प्रबंधन के विभिन्न पहलुओं को दर्शाती हैं, जो एलएलएम प्रदर्शन को अनुकूलित करने के लिए महत्वपूर्ण हैं:

सेगमेंटेड बनाम पेज्ड मेमोरी

मेमोरी प्रबंधन ऑपरेटिंग सिस्टम बनाम वीएलएलएम

 

मेमोरी प्रबंधन ऑपरेटिंग सिस्टम बनाम वीएलएलएम

इन दो आरेख सेगमेंटेड मेमोरी और पेज्ड मेमोरी प्रबंधन तकनीकों की तुलना करते हैं, जो ऑपरेटिंग सिस्टम में सामान्य हैं:

• सेगमेंटेड मेमोरी: यह तकनीक मेमोरी को विभिन्न सेगमेंट में विभाजित करती है, प्रत्येक सेगमेंट एक अलग कार्यक्रम या प्रक्रिया के लिए। एलएलएम सर्विंग संदर्भ में, विभिन्न सेगमेंट मॉडल के विभिन्न घटकों के लिए आवंटित किए जा सकते हैं, जैसे कि टोकनकरण, एम्बेडिंग और ध्यान तंत्र। प्रत्येक सेगमेंट स्वतंत्र रूप से बढ़ या घट सकता है, लचीलापन प्रदान करता है लेकिन संभावित रूप से खंडित हो सकता है अगर सेगमेंट ठीक से प्रबंधित नहीं किए जाते हैं।
• पेज्ड मेमोरी: यहाँ, मेमोरी को निश्चित आकार के पेज में विभाजित किया जाता है, जो शारीरिक मेमोरी पर मैप किए जाते हैं। पेज को आवश्यकतानुसार स्वैप किया जा सकता है, मेमोरी संसाधनों का कुशल उपयोग सुनिश्चित करता है। एलएलएम सर्विंग में, यह मॉडल वजन और मध्यवर्ती गणनाओं के लिए आवश्यक बड़ी मात्रा में मेमोरी के प्रबंधन के लिए महत्वपूर्ण हो सकता है।

ऑपरेटिंग सिस्टम बनाम वीएलएलएम में मेमोरी प्रबंधन

यह छवि पारंपरिक ऑपरेटिंग सिस्टम मेमोरी प्रबंधन की तुलना वीएलएलएम द्वारा उपयोग की जाने वाली मेमोरी प्रबंधन दृष्टिकोण से करती है:

• ऑपरेटिंग सिस्टम मेमोरी प्रबंधन: पारंपरिक ऑपरेटिंग सिस्टम में, प्रक्रियाओं (जैसे प्रक्रिया ए और प्रक्रिया बी) को शारीरिक मेमोरी में पेज (पेज 0, पेज 1, आदि) आवंटित किए जाते हैं। यह आवंटन समय के साथ खंडित हो सकता है क्योंकि प्रक्रियाएं मेमोरी का अनुरोध और रिलीज करती हैं।
• वीएलएलएम मेमोरी प्रबंधन: वीएलएलएम फ्रेमवर्क एक की-वैल्यू (केवी) कैश का उपयोग करके मेमोरी को अधिक कुशलता से प्रबंधित करता है। अनुरोध (जैसे अनुरोध ए और अनुरोध बी) को केवी कैश (केवी ब्लॉक 0, केवी ब्लॉक 1, आदि) के ब्लॉक आवंटित किए जाते हैं। यह दृष्टिकोण खंडित होने को कम करता है और मेमोरी उपयोग को अनुकूलित करता है, तेजी से और अधिक कुशल मॉडल सर्विंग की अनुमति देता है।

एलएलएम में ध्यान तंत्र

एलएलएम में ध्यान तंत्र

ध्यान तंत्र ट्रांसफॉर्मर मॉडल का एक मूलभूत घटक है, जो अक्सर एलएलएम के लिए उपयोग किया जाता है। यह आरेख ध्यान सूत्र और इसके घटकों को दर्शाता है:

• प्रश्न (क्यू): डिकोडर चरण में एक नया टोकन या मॉडल द्वारा देखा गया अंतिम टोकन।
• कुंजी (के): पिछला संदर्भ जिस पर मॉडल को ध्यान देना चाहिए।
• मूल्य (वी): पिछले संदर्भ पर वजनित योग।

सूत्र ध्यान स्कोर की गणना क्वेरी और कुंजी के बीच डॉट उत्पाद लेकर, कुंजी आयाम के वर्गमूल द्वारा स्केलिंग करके, सॉफ्टमैक्स फंक्शन लागू करके और अंत में मूल्य के साथ डॉट उत्पाद लेकर करता है। यह प्रक्रिया मॉडल को प्रत्येक टोकन का उत्पादन करते समय इनपुट अनुक्रम के प्रासंगिक भागों पर ध्यान केंद्रित करने की अनुमति देती है।

सर्विंग थ्रूपुट तुलना

वीएलएलएम: पेज्डएटेंशन के साथ आसान, तेज और सस्ता एलएलएम सर्विंग

यह छवि विभिन्न फ्रेमवर्क (एचएफ, टीजीआई और वीएलएलएम) के बीच एलएलएमए मॉडल का उपयोग करके विभिन्न हार्डवेयर सेटअप पर सर्विंग थ्रूपुट की तुलना प्रस्तुत करती है:

• एलएलएमए-13बी, ए100-40जीबी: वीएलएलएम हगिंग फेस ट्रांसफॉर्मर (एचएफ) की तुलना में 14x – 24x अधिक थ्रूपुट और हगिंग फेस टेक्स्ट जेनरेशन इन्फरेंस (टीजीआई) की तुलना में 2.2x – 2.5x अधिक थ्रूपुट प्राप्त करता है।
• एलएलएमए-7बी, ए10जी: समान रुझान देखे जाते हैं, वीएलएलएम दोनों एचएफ और टीजीआई को महत्वपूर्ण रूप से बेहतर प्रदर्शन करता है।

वीएलएलएम: एक नया एलएलएम सर्विंग आर्किटेक्चर

वीएलएलएम, यूसी बर्कले के शोधकर्ताओं द्वारा विकसित, एलएलएम सर्विंग प्रौद्योगिकी में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है। आइए इसकी मुख्य विशेषताओं और नवाचारों का अन्वेषण करें:

पेज्डएटेंशन

वीएलएलएम के केंद्र में पेज्डएटेंशन है, एक नवीन ध्यान एल्गोरिदम जो ऑपरेटिंग सिस्टम में वर्चुअल मेमोरी प्रबंधन से प्रेरित है। यहाँ यह कैसे काम करता है:

– की-वैल्यू (केवी) कैश विभाजन: पेज्डएटेंशन केवी कैश को एक ही स्थान पर संग्रहीत करने के बजाय इसे निश्चित आकार के ब्लॉक में विभाजित करता है।
– गैर-निरंतर भंडारण: ये ब्लॉक मेमोरी में गैर-निरंतर रूप से संग्रहीत किए जा सकते हैं, मेमोरी प्रबंधन को अधिक लचीला बनाते हैं।
– मांग पर आवंटन: ब्लॉक केवल तभी आवंटित किए जाते हैं जब उन्हें आवश्यकता होती है, मेमोरी अपशिष्ट को कम करते हैं।
– कुशल साझाकरण: कई अनुक्रम एक ही ब्लॉक साझा कर सकते हैं, समांतर नमूना और बीम खोज जैसी तकनीकों के लिए अनुकूलन की अनुमति देते हैं।

चित्रण:

“`
पारंपरिक केवी कैश:
[टोकन 1 केवी][टोकन 2 केवी][टोकन 3 केवी]…[टोकन एन केवी]
(निरंतर मेमोरी आवंटन)

पेज्डएटेंशन केवी कैश:
[ब्लॉक 1] -> भौतिक पता ए
[ब्लॉक 2] -> भौतिक पता सी
[ब्लॉक 3] -> भौतिक पता बी
…
(गैर-निरंतर मेमोरी आवंटन)
“`

यह दृष्टिकोण मेमोरी खंडित होने को काफी कम कर देता है और जीपीयू मेमोरी का बहुत अधिक कुशल उपयोग सुनिश्चित करता है।

निरंतर बैचिंग

वीएलएलएम निरंतर बैचिंग को लागू करता है, जो आने वाले अनुरोधों को गतिशील रूप से संसाधित करता है, निश्चित आकार के बैच बनाने के लिए प्रतीक्षा करने के बजाय। इससे कम विलंबता और उच्च थ्रूपुट होता है।

उदाहरण:
एक अनुरोध प्रवाह की कल्पना करें:

“`
समय 0 मिसे: अनुरोध ए आगत है
समय 10 मिसे: अनुरोध ए की प्रसंस्करण शुरू करें
समय 15 मिसे: अनुरोध बी आगत है
समय 20 मिसे: अनुरोध बी (ए के साथ समांतर में) की प्रसंस्करण शुरू करें
समय 25 मिसे: अनुरोध सी आगत है
…
“`

निरंतर बैचिंग के साथ, वीएलएलएम प्रत्येक अनुरोध को तुरंत संसाधित करना शुरू कर सकता है, पूर्वनिर्धारित बैचों में समूहित होने की प्रतीक्षा किए बिना।

कुशल समांतर नमूना

जिन अनुप्रयोगों में प्रति प्रेरित कई आउटपुट नमूने की आवश्यकता होती है (जैसे रचनात्मक लेखन सहायक), वीएलएलएम की मेमोरी साझाकरण क्षमताएं उत्कृष्ट हैं। यह साझा उपसर्ग के लिए केवी कैश का पुन: उपयोग करते हुए कई आउटपुट उत्पन्न कर सकता है।

वीएलएलएम का उपयोग करके उदाहरण कोड:

from vllm import LLM, SamplingParams

<p>llm = LLM(model="meta-llama/Llama-2-13b-hf")
prompts = ["भविष्य की कृत्रिम बुद्धिमत्ता है"]</p>

<p># प्रति प्रेरित 3 नमूने उत्पन्न करें
sampling_params = SamplingParams(n=3, temperature=0.8, max_tokens=100)
outputs = llm.generate(prompts, sampling_params)</p>

<p>for output in outputs:
print(f"प्रेरित: {output.prompt}")
for i, out in enumerate(output.outputs):
print(f"नमूना {i + 1}: {out.text}")</p>

यह कोड दिए गए प्रेरित के लिए कुशलता से कई नमूने उत्पन्न करता है, वीएलएलएम के अनुकूलन का लाभ उठाता है।

वीएलएलएम प्रदर्शन का बेंचमार्किंग

वीएलएलएम के प्रभाव को वास्तव में सराहने के लिए, आइए कुछ प्रदर्शन तुलनाएं देखें:

थ्रूपुट तुलना

आधारित जानकारी पर, वीएलएलएम अन्य सर्विंग समाधानों से काफी बेहतर प्रदर्शन करता है:

– हगिंग फेस ट्रांसफॉर्मर की तुलना में 24x तक उच्च थ्रूपुट
– हगिंग फेस टेक्स्ट जेनरेशन इन्फरेंस (टीजीआई) की तुलना में 2.2x से 3.5x उच्च थ्रूपुट

चित्रण:

“`
थ्रूपुट (टोकन/सेकंड)
|
| ****
| ****
| ****
| **** ****
| **** **** ****
| **** **** ****
|————————
एचएफ टीजीआई वीएलएलएम
“`

मेमोरी दक्षता

वीएलएलएम का पेज्डएटेंशन परिणामस्वरूप लगभग ऑप्टिमल मेमोरी उपयोग होता है:

– केवल लगभग 4% मेमोरी अपशिष्ट, पारंपरिक प्रणालियों में 60-80% की तुलना में
– यह दक्षता एक ही हार्डवेयर पर बड़े मॉडलों की सेवा करने या अधिक समांतर अनुरोधों को संभालने की अनुमति देती है

वीएलएलएम के साथ शुरुआत करना

अब जब हमने वीएलएलएम के लाभों का अन्वेषण किया है, आइए इसकी स्थापना और उपयोग की प्रक्रिया के माध्यम से चलें:

6.1 स्थापना

वीएलएलएम की स्थापना पाइप का उपयोग करके सीधी है:

!pip install vllm

6.2 ऑफलाइन अनुमान के लिए बुनियादी उपयोग

वीएलएलएम का उपयोग करके एक सरल ऑफलाइन पाठ उत्पादन उदाहरण यह है:

from vllm import LLM, SamplingParams

<p># मॉडल को आरंभ करें
llm = LLM(model="meta-llama/Llama-2-13b-hf")</p>

<p># प्रेरित तैयार करें
prompts = [
"कृत्रिम बुद्धिमत्ता के बारे में एक छोटी कविता लिखें:",
"सरल शब्दों में क्वांटम कंप्यूटिंग की व्याख्या करें:"</p>

<p># नमूना पैरामीटर सेट करें
sampling_params = SamplingParams(temperature=0.8, max_tokens=100)</p>

<p># प्रतिक्रियाएं उत्पन्न करें
outputs = llm.generate(prompts, sampling_params)</p>

<p># परिणाम प्रिंट करें
for output in outputs:
print(f"प्रेरित: {output.prompt}")
print(f"उत्पन्न पाठ: {output.outputs[0].text}\n")</p>

यह स्क्रिप्ट मॉडल को लोड करने, नमूना पैरामीटर सेट करने और एकाधिक प्रेरित के लिए पाठ उत्पन्न करने का प्रदर्शन करती है।

6.3 वीएलएलएम सर्वर सेट अप करना

ऑनलाइन सर्विंग के लिए, वीएलएलएम एक ओपनएआई-संगत एपीआई सर्वर प्रदान करता है। यहाँ इसकी स्थापना का तरीका है:

1. सर्वर शुरू करें:

python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-2-13b-hf

2. कर्ल का उपयोग करके सर्वर को क्वेरी करें:

curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-2-13b-hf",
"prompt": "कृत्रिम बुद्धिमत्ता के लाभों में शामिल हैं:",
"max_tokens": 100,
"temperature": 0.7
}'

यह सेटअप आपको अपने एलएलएम को ओपनएआई एपीआई के साथ संगत इंटरफेस के साथ परोसने की अनुमति देता है, इसे मौजूदा अनुप्रयोगों में एकीकरण करना आसान बनाता है।

वीएलएलएम पर उन्नत विषय

वीएलएलएम द्वारा प्रदान किए गए सुधारों के अलावा, कुछ अतिरिक्त विचार और उन्नत विषय हैं जिन्हें अन्वेषण किया जा सकता है:

7.1 मॉडल क्वांटाइजेशन

सीमित मेमोरी वाले हार्डवेयर पर और भी कुशल सर्विंग के लिए, क्वांटाइजेशन तकनीकों का उपयोग किया जा सकता है। जबकि वीएलएलएम स्वयं क्वांटाइजेशन का समर्थन नहीं करता है, यह क्वांटाइज्ड मॉडल के साथ उपयोग किया जा सकता है:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

<p># एक क्वांटाइज्ड मॉडल लोड करें
model_name = "meta-llama/Llama-2-13b-hf"
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", load_in_8bit=True)
tokenizer = AutoTokenizer.from_pretrained(model_name)</p>

<p>from vllm import LLM</p>

<p>llm = LLM(model=model, tokenizer=tokenizer)

7.2 वितरित अनुमान

बहुत बड़े मॉडल या उच्च-यातायात अनुप्रयोगों के लिए, एकाधिक जीपीयू या मशीनों पर वितरित अनुमान आवश्यक हो सकता है। जबकि वीएलएलएम स्वाभाविक रूप से इसका समर्थन नहीं करता है, इसे रे जैसे फ्रेमवर्क का उपयोग करके वितरित प्रणालियों में एकीकृत किया जा सकता है:

import ray
from vllm import LLM

<p>@ray.remote(num_gpus=1)
class DistributedLLM:
def __init__(self, model_name):
self.llm = LLM(model=model_name)</p>

<p>def generate(self, prompt, params):
return self.llm.generate(prompt, params)</p>

<p># वितरित एलएलएम को आरंभ करें
llm1 = DistributedLLM.remote("meta-llama/Llama-2-13b-hf")
llm2 = DistributedLLM.remote("meta-llama/Llama-2-13b-hf")</p>

<p># उन्हें समांतर में उपयोग करें
result1 = llm1.generate.remote("प्रेरित 1", sampling_params)
result2 = llm2.generate.remote("प्रेरित 2", sampling_params)</p>

<p># परिणाम प्राप्त करें
print(ray.get([result1, result2]))

7.3 निगरानी और दृश्यता

उत्पादन में एलएलएम की सेवा करते समय, निगरानी महत्वपूर्ण है। जबकि वीएलएलएम में निर्मित निगरानी नहीं है, आप प्रोमेथियस और ग्राफाना जैसे उपकरणों के साथ एकीकरण कर सकते हैं:

from prometheus_client import start_http_server, Summary
from vllm import LLM

<p># मीट्रिक परिभाषित करें
REQUEST_TIME = Summary('request_processing_seconds', 'Request processing time')</p>

<p># वीएलएलएम को आरंभ करें
llm = LLM(model="meta-llama/Llama-2-13b-hf")</p>

<p># मीट्रिक को उजागर करें
start_http_server(8000)</p>

<p>@REQUEST_TIME.time()
def process_request(prompt):
return llm.generate(prompt)</p>

# अपना सर्विंग लूप यहाँ रखें

यह सेटअप आपको अनुरोध प्रसंस्करण समय जैसे मीट्रिक्स को ट्रैक करने की अनुमति देता है, जिसे ग्राफाना डैशबोर्ड में दृश्यीकृत किया जा सकता है।

निष्कर्ष

बड़े भाषा मॉडलों को कुशलता से परोसना कृत्रिम बुद्धिमत्ता के युग में एक जटिल लेकिन महत्वपूर्ण कार्य है। वीएलएलएम, अपने नवीन पेज्डएटेंशन एल्गोरिदम और अनुकूलित कार्यान्वयन के साथ, एलएलएम तैनाती को अधिक सुलभ और लागत प्रभावी बनाने में एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है।

थ्रूपुट में नाटकीय रूप से सुधार, मेमोरी अपशिष्ट को कम करने और अधिक लचीले सर्विंग विकल्पों को सक्षम करके, वीएलएलएम विभिन्न अनुप्रयोगों में शक्तिशाली भाषा मॉडल के एकीकरण के लिए नए अवसर खोलता है। चाहे आप एक चैटबॉट, सामग्री पीढ़ी प्रणाली या कोई अन्य एनएलपी-संचालित अनुप्रयोग बना रहे हों, वीएलएलएम जैसे उपकरणों को समझना और उनका लाभ उठाना सफलता की कुंजी होगी।