Perplexity ने LLM गेटवे की कार्यप्रणाली और उत्पादन संबंधी जोखिमों का विश्लेषण किया

Perplexity ने 27 अक्टूबर, 2026 को LLM गेटवे पर एक व्यावहारिक मार्गदर्शिका प्रकाशित की। इसमें इंजीनियरिंग टीमों को बताया गया है कि मध्यस्थ परत किस तरह मॉडल अनुरोधों को रूट करती है, उनका प्रमाणीकरण करती है, उन्हें कैश करती है और उनका लॉग रखती है। साथ ही, इसमें एक ही सेवा में प्रदाता क्रेडेंशियल केंद्रित करने से जुड़े सुरक्षा और विश्वसनीयता के जोखिमों का विवरण दिया गया है।

गेटवे की परिभाषा और वर्गीकरण

इस मार्गदर्शिका में LLM गेटवे को मॉडल अनुरोधों के लिए रिवर्स प्रॉक्सी बताया गया है: एप्लिकेशन OpenAI, Anthropic या Google जैसे प्रदाताओं को सीधे अनुरोध भेजने के बजाय गेटवे को भेजते हैं, और गेटवे ऑपरेटर के नियम लागू करते हुए उन अनुरोधों को आगे भेजता है। मार्गदर्शिका इस श्रेणी को बिखरे हुए प्रबंधन की समस्या का समाधान बताती है। इसकी शुरुआत सितंबर 2026 में Reddit के r/LLMDevs पर प्रकाशित एक पोस्ट से होती है, जिसमें एक इंजीनियर ने ऐसे कार्यस्थल का वर्णन किया था जहाँ हर व्यक्ति के पास Claude, OpenAI, AWS Bedrock और अन्य अनुमान प्रदाताओं की अपनी-अपनी कुंजियाँ थीं।

मार्गदर्शिका की तुलना तालिका में गेटवे के चार प्रकार बताए गए हैं। API गेटवे बैकएंड सेवाओं के सामने होता है और यह तय करता है कि क्लाइंट प्रमाणीकृत है या नहीं और उसकी अनुरोध-दर निर्धारित सीमा के भीतर है या नहीं। LLM गेटवे मॉडल प्रदाताओं के सामने होता है और यह तय करता है कि अनुरोध किस मॉडल को भेजा जाए, उसका भुगतान कौन करे और उसका जवाब आया या नहीं। MCP गेटवे यह तय करता है कि कोई एजेंट दिए गए तर्कों के साथ किसी खास टूल को कॉल कर सकता है या नहीं। मार्गदर्शिका उन विक्रेता उत्पादों के लिए “AI गेटवे” शब्द का इस्तेमाल करती है, जिनमें इन भूमिकाओं में से कुछ को मिलाकर शामिल किया गया है।

अनुरोध का छह चरणों वाला जीवनचक्र

मार्गदर्शिका एक अनुरोध को एप्लिकेशन से मॉडल तक और फिर वापस आते हुए दिखाकर इसकी कार्यप्रणाली समझाती है। सबसे पहले, एप्लिकेशन गेटवे के एंडपॉइंट पर चैट अनुरोध भेजता है, जो अक्सर OpenAI-संगत फ़ॉर्मैट में होता है। गेटवे क्रेडेंशियल की पुष्टि करता है—ये अक्सर किसी टीम या उत्पाद को जारी की गई वर्चुअल कुंजी होती हैं—और, यदि इनपुट सुरक्षा-नियंत्रण जोड़े गए हों, तो संवेदनशील डेटा या मॉडल के निर्देशों को बदलने की कोशिशों के लिए प्रॉम्प्ट की जाँच कर सकता है। कैशिंग चालू होने पर, मेल खाने वाले योग्य अनुरोध का जवाब पहले से सहेजे गए उत्तर से दिया जा सकता है। कुछ गेटवे अर्थ-आधारित कैशिंग भी देते हैं, जो हूबहू एक जैसे अनुरोधों के बजाय उन अनुरोधों को मिलाती है जिन्हें समान माना जाता है। इसके बाद गेटवे अपने कॉन्फ़िगरेशन में मेल खाता रूट खोजता है और पहला प्रदाता समय पर जवाब न दे तो दूसरे प्रदाता पर जा सकता है। यह अनुरोध को चुने गए प्रदाता के फ़ॉर्मैट में बदलता है, बाहर भेजे जाने वाले कॉल का प्रमाणीकरण करता है और एप्लिकेशन के लिए जवाब को फिर से उसके मूल फ़ॉर्मैट में बदल देता है। लॉगिंग चालू होने पर, यह दर्ज करता है कि कॉल किसने किया, उसे किस मॉडल ने संभाला, टोकन की संख्या कितनी थी, विलंबता कितनी रही और लागत क्या थी।

सुरक्षा और विश्वसनीयता के जोखिम

मार्गदर्शिका की मुख्य चेतावनी यह है कि गेटवे में क्रेडेंशियल एक ही जगह केंद्रित हो जाते हैं। Microsoft की सुरक्षा टीम ने बताया है कि LiteLLM की तैनाती में क्या-क्या मौजूद हो सकता है या वहाँ से प्राप्त किया जा सकता है: प्रदाता API कुंजियाँ, LiteLLM की मास्टर कुंजी, वर्चुअल-कुंजी रिकॉर्ड, डेटाबेस कनेक्शन स्ट्रिंग, रूटिंग कॉन्फ़िगरेशन और किरायेदारों की नीति संबंधी डेटा। 26 अगस्त, 2026 की उस पोस्ट में Microsoft ने LiteLLM गेटवे में सेंधमारी की एक घटना का वर्णन किया, जिसमें हमलावरों ने गेटवे के रनटाइम से क्रेडेंशियल हासिल किए थे।

13 अक्टूबर, 2026 को Check Point Research ने LiteLLM में उच्च जोखिम वाली दो कमज़ोरियों का खुलासा किया: CVE-2026-35029, एक पहुँच-नियंत्रण संबंधी खामी, जिसने केवल पढ़ने की अनुमति वाले उपयोगकर्ताओं सहित प्रमाणीकृत उपयोगकर्ताओं को प्रशासनिक कार्यों तक पहुँचने और गेटवे पर नियंत्रण हासिल करने दिया; और CVE-2026-59823, सर्वर-साइड अनुरोध जालसाजी की एक खामी, जिसने उपयोगकर्ताओं को गेटवे अनुरोध हमलावर के नियंत्रण वाले सर्वर की ओर मोड़ने और AI प्रदाता की API कुंजियाँ हासिल करने दीं। LiteLLM संस्करण 1.83.9 में दोनों कमज़ोरियों को ठीक कर दिया गया है। Check Point के मुताबिक, LiteLLM को हर महीने 97 मिलियन बार डाउनलोड किया जाता था और GitHub पर उसके 59,000 से अधिक स्टार थे। कंपनी ने यह भी कहा कि उसने LiteLLM को समन्वित रूप से जानकारी देने की प्रक्रिया अक्टूबर 2025 में शुरू की थी।

मार्गदर्शिका टीमों से सुरक्षा-नियंत्रणों के लिए विफलता नीति तय करने को भी कहती है। इसमें हुक को अनुरोध के प्रवाह के ऐसे बिंदु बताया गया है जहाँ गेटवे सामग्री का निर्णय पाने के लिए किसी बाहरी स्कैनर को भेजता है। इसमें बताया गया है कि Portkey के दस्तावेज़ों में before_request_hooks और after_request_hooks का उल्लेख है, जबकि TrueFoundry चार हुक चलाता है और MCP टूल कॉल से पहले और बाद में जाँच भी जोड़ता है।

विश्वसनीयता के मामले में, मार्गदर्शिका दस्तावेज़ों में दर्ज सेवा बाधाओं का हवाला देती है। Cloudflare के 12 जून, 2025 की सेवा बाधा के अपने विवरण के अनुसार, उसके AI Gateway में अनुरोधों की त्रुटि दर बढ़कर 97% तक पहुँच गई थी, क्योंकि AI Gateway क्लाइंट और आंतरिक कॉन्फ़िगरेशन के लिए Workers KV पर निर्भर करता है। सेवा की कुल बाधा 2 घंटे और 28 मिनट तक चली। 17 और 19 फ़रवरी, 2026 की सेवा बाधाओं पर OpenRouter की घटना-पश्चात समीक्षा के अनुसार, तीसरे पक्ष की कैशिंग निर्भरता विफल होने के बाद ये घटनाएँ क्रमशः 38 और 35 मिनट तक चलीं। इनके कारण 401 “User not found” त्रुटियाँ आईं। इसके बाद सुधारात्मक उपाय किए गए, जिनमें सर्किट ब्रेकर जोड़ना और बुनियादी ढाँचे की समस्याओं से प्राधिकरण संबंधी खोजें बाधित होने पर 401 के बजाय 503 त्रुटियाँ लौटाना शामिल था।

तैनाती के विकल्प, मूल्य निर्धारण और विक्रेताओं की विशेषताएँ

मार्गदर्शिका तैनाती के चार रास्ते बताती है। टीमें अपने स्तर पर एक न्यूनतम गेटवे बना सकती हैं—जो अनुरोध स्वीकार करे, कॉल करने वाले की कुंजी जाँचे, प्रदाता का क्रेडेंशियल जोड़े, कॉल आगे भेजे और नतीजे का लॉग रखे—या LiteLLM, Bifrost और Helicone जैसे विकल्पों वाला ओपन-सोर्स गेटवे खुद होस्ट कर सकती हैं। प्रबंधित गेटवे के उदाहरणों में Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter और Portkey का होस्ट किया गया गेटवे शामिल हैं। चौथा रास्ता उस API गेटवे का विस्तार करना है जिसे कंपनी पहले से चला रही हो; इसके उदाहरण Kong AI Gateway, Apigee की AI गेटवे नीतियाँ और Azure API Management का AI गेटवे हैं।

लागत के बारे में गाइड बताती है कि एलएलएम गेटवे मुफ़्त ओपन-सोर्स सॉफ़्टवेयर से लेकर ऐसे सशुल्क प्लान तक उपलब्ध हैं जिनकी कीमत लगभग $50 प्रति माह से शुरू होती है और जिनमें उद्यमों के लिए कस्टम मूल्य तय किए जाते हैं। कुछ गेटवे इसके बजाय प्रतिशत के हिसाब से शुल्क लेते हैं: गाइड के अनुसार, OpenRouter के Standard प्लान में क्रेडिट खरीदने पर 5.5% अतिरिक्त शुल्क लगता है।

गाइड का समापन अलग-अलग विक्रेताओं से जुड़े सवालों के जवाबों के साथ होता है। इसमें बताया गया है कि Amazon Bedrock AgentCore Gateway, AWS के शब्दों में कहें तो, “इन्फरेंस टार्गेट” के ज़रिए मॉडल कॉल का समर्थन करता है। इससे ऐप्लिकेशन एक ही एंडपॉइंट के माध्यम से Amazon Bedrock, OpenAI और Anthropic समेत कई प्रदाताओं तक पहुँच सकते हैं। गाइड यह भी बताती है कि Perplexity का अपना Agent API, OpenAI के Responses API इंटरफ़ेस का समर्थन करता है, इसलिए टीमें OpenAI की मौजूदा क्लाइंट लाइब्रेरी का दोबारा इस्तेमाल कर सकती हैं। Agent API उपयोगकर्ताओं को अपनी पसंद के क्रम में अधिकतम पाँच मॉडल सूचीबद्ध करने की सुविधा भी देता है, जिनमें अलग-अलग प्रदाताओं के मॉडल शामिल हो सकते हैं। गाइड में Perplexity के ओपन-सोर्स Numbat का भी ज़िक्र है, जो स्थानीय हुक के ज़रिए समर्थित एजेंटों से जुड़ता है और चलाए जाने से पहले शेल कमांड या फ़ाइल लिखने जैसी नियोजित कार्रवाइयों की जाँच कर सकता है। इन्हें रोकने का विकल्प उपलब्ध है, लेकिन डिफ़ॉल्ट रूप से बंद रहता है।