Perplexity ने एआई गेटवे की कार्यप्रणाली और सीमाओं पर व्याख्यात्मक लेख प्रकाशित किया

Perplexity ने 20 अक्टूबर, 2026 को एक मार्गदर्शिका प्रकाशित की, जिसमें बताया गया है कि एआई गेटवे ऐप्लिकेशनों और बड़े भाषा मॉडल के बीच ट्रैफ़िक को कैसे निर्देशित, माप और नियंत्रित करते हैं, और किसी संगठन को इनकी ज़रूरत कब पड़ती है। “एआई गेटवे क्या है? एलएलएम और एजेंट ट्रैफ़िक के लिए रूटिंग, लागत नियंत्रण और गवर्नेंस की मार्गदर्शिका” शीर्षक वाली यह पोस्ट कंपनी के ब्लॉग पर सबसे नई प्रविष्टि के रूप में प्रकाशित हुई।

परिभाषा और अनुरोधों का प्रबंधन

मार्गदर्शिका के अनुसार, एआई गेटवे एक केंद्रीय प्रॉक्सी परत है, जो एक ओर किसी संगठन के ऐप्लिकेशनों या एआई एजेंटों और दूसरी ओर उनके द्वारा उपयोग किए जाने वाले बड़े भाषा मॉडलों और टूल के बीच स्थित होती है। रूटिंग, लागत नियंत्रण, सुरक्षा लागू करना और उपयोग की निगरानी—ये सभी काम एक ही जगह पर संभाले जाते हैं। चूँकि हर प्रदाता (मार्गदर्शिका में OpenAI, Anthropic, Google, ओपन-सोर्स मॉडल और स्वयं होस्ट किए गए एंडपॉइंट शामिल हैं) अपना SDK, API कुंजियाँ और अनुरोध प्रारूप उपलब्ध कराता है, इसलिए गेटवे एक मानक अनुरोध स्वीकार करके उसे संबंधित प्रदाता के अनुरूप बदल देता है। मॉडल जोड़ने, बदलने या हटाने के लिए ऐप्लिकेशन के कोड के बजाय गेटवे का कॉन्फ़िगरेशन बदला जाता है।

मार्गदर्शिका के अनुसार, गेटवे के बेस URL पर भेजा गया हर अनुरोध समान चार चरणों से गुजरता है: गेटवे कुंजी और भूमिका के आधार पर अनुरोधकर्ता की पहचान की पुष्टि करता है और उसे अनुमति देता है; टोकन सीमा, बजट और PII हटाने सहित सुरक्षा नियमों जैसी नीतियाँ लागू करता है; लागत, विलंबता या उपलब्धता के आधार पर किसी मॉडल या प्रदाता को अनुरोध भेजता है—और ज़रूरत पड़ने पर बैकअप पर स्विच करके अनुरोध को लक्ष्य प्रदाता के प्रारूप में बदलता है; और खर्च पर नज़र रखने तथा गड़बड़ियों की जाँच के लिए मॉडल, टोकन की संख्या, विलंबता और नतीजे का लॉग रखता है।

क्षमताएँ और बताई गई सीमाएँ

मार्गदर्शिका में क्षमताओं के छह क्षेत्र बताए गए हैं। रूटिंग और फ़ेलओवर लागत, विलंबता या क्षमता के आधार पर मॉडल चुनते हैं और प्रदाता अनुपलब्ध होने या अनुरोधों की दर सीमित किए जाने पर अनुरोधों को अपने-आप दूसरे मॉडल की ओर भेजते हैं। टोकन-आधारित दर सीमाएँ और बजट हर टीम, परियोजना या उपयोगकर्ता के लिए उपयोग की अधिकतम सीमा तय करते हैं और आवंटित सीमा पूरी होने पर अनुरोध अस्वीकार कर देते हैं। सिमैंटिक कैशिंग नए प्रॉम्प्ट का संग्रहित उत्तरों से अर्थ के आधार पर मिलान करती है और प्रॉम्प्ट पर्याप्त रूप से समान होने पर मॉडल को कॉल किए बिना सहेजा हुआ उत्तर लौटा देती है। सुरक्षा नियम हर प्रॉम्प्ट और जवाब की जाँच करते हैं, प्रदाता तक पहुँचने से पहले निजी या संवेदनशील डेटा हटाते हैं, प्रॉम्प्ट इंजेक्शन का जोखिम घटाते हैं और अवांछित सामग्री छाँटते हैं। ऑब्ज़र्वेबिलिटी यह दर्ज करती है कि कौन-सा मॉडल चला, टोकन का उपयोग कितना हुआ, विलंबता कितनी रही और कहाँ विफलताएँ हुईं; वहीं, गवर्नेंस सुविधाएँ भूमिका के आधार पर मॉडल तक पहुँच देती हैं और हर कॉल का ऑडिट लॉग रखती हैं।

सीमाओं के बारे में मार्गदर्शिका कहती है कि गेटवे विलंबता बढ़ाता है, लेकिन एलएलएम ट्रैफ़िक के लिए इस देरी को अपेक्षाकृत कम बताती है। इसमें Broadcom की VMware Cloud Foundation टीम के जून 2026 के एक स्वतंत्र बेंचमार्क का उल्लेख है, जिसमें ट्यून किए गए Envoy AI Gateway ने रूटिंग और दर सीमित करने के साथ—लेकिन सामग्री की जाँच के बिना—224 तक समवर्ती उपयोगकर्ताओं पर प्रति अनुरोध लगभग 2 मिलीसेकंड जोड़े। उद्धृत बेंचमार्क में यह भी कहा गया है कि सुरक्षा नियमों और सिमैंटिक कैशिंग से दर्जनों से लेकर सैकड़ों मिलीसेकंड तक की देरी बढ़ सकती है। मार्गदर्शिका यह भी कहती है कि गेटवे यह तय नहीं करते कि मॉडल से क्या पूछा जाए, बातचीत को याद नहीं रखते, एजेंट के चरण-दर-चरण तर्क को नहीं चलाते और जवाबों की गुणवत्ता का आकलन नहीं करते। इसमें चेतावनी दी गई है कि लागत के आधार पर रूटिंग करने से गुणवत्ता घट सकती है, अगर कम महँगा मॉडल खराब जवाब दे।

गेटवे के प्रकार और एजेंट ट्रैफ़िक

मार्गदर्शिका कई पहलुओं में एआई गेटवे और पारंपरिक API गेटवे का अंतर बताती है: टोकन का हिसाब बनाम अनुरोधों की संख्या की सीमा; अर्थ के आधार पर कैशिंग बनाम हूबहू मिलान वाली कैशिंग; संवेदनशील डेटा और छिपे निर्देशों के लिए प्रॉम्प्ट की जाँच बनाम कुंजी के आधार पर पहचान की पुष्टि; और लागत, विलंबता या क्षमता के आधार पर मॉडलों तक रूटिंग बनाम बैकएंड सेवाओं तक रूटिंग। इसमें दो अधिक सीमित शब्दों के बीच भी अंतर किया गया है: एलएलएम गेटवे खुद मॉडल कॉल को संभालता है, जबकि MCP गेटवे यह नियंत्रित करता है कि एजेंट Model Context Protocol के ज़रिए किन टूल और डेटा स्रोतों तक पहुँच सकता है। मार्गदर्शिका के अनुसार, LiteLLM, Portkey, Azure API Management और Envoy AI Gateway अब MCP गवर्नेंस भी जोड़ते हैं, इसलिए ये शब्द नियंत्रण की एक-दूसरे पर चढ़ती परतों का वर्णन करते हैं।

मार्गदर्शिका एजेंटों को ऐसे सिस्टम बताती है, जो कोई काम पूरा होने तक मॉडल कॉल और टूल के इस्तेमाल के चक्र में काम करते हैं। गेटवे एजेंट द्वारा शुरू किए गए सभी ट्रैफ़िक को नियंत्रित और मॉनिटर करता है, तय करता है कि एजेंट किन टूल और डेटा स्रोतों तक पहुँच सकता है, और मॉडल तथा टूल के सभी कॉल का ऑडिट लॉग रखता है।

उद्धृत अपनाने के आँकड़े और परिनियोजन संबंधी मार्गदर्शन

माँग का अनुमान लगाने के लिए मार्गदर्शिका में तीसरे पक्ष के आँकड़े दिए गए हैं। Cisco के AI Readiness Index 2025 के अनुसार, 500 से अधिक कर्मचारियों वाले संगठनों के जिन 8,039 वरिष्ठ कारोबारी नेताओं का सर्वेक्षण किया गया, उनमें से 83% ने एआई एजेंट विकसित करने या तैनात करने की योजना बताई। Gartner का अनुमान है कि 2026 के अंत तक उद्यमों के 40% ऐप्लिकेशनों में किसी विशिष्ट कार्य के लिए बनाए गए एजेंट होंगे; 2025 में यह अनुपात 5% से कम था। लागत के मामले में, मार्गदर्शिका DoiT/Sapio के 2026 के सर्वेक्षण का हवाला देती है, जिसमें हिस्सा लेने वाले वित्त प्रमुखों में से 79% ने कहा कि पिछले वर्ष वे अपना एआई बजट पार कर गए थे। इसमें Dataiku और Harris Poll के 2026 के एक सर्वेक्षण का भी उल्लेख है, जिसके अनुसार उद्यमों के 93% CIO ने कहा कि अलग-अलग उपयोगों के लिए अलग-अलग मॉडल बेहतर प्रदर्शन करते हैं; 81% उद्यमों को दो या अधिक मॉडल प्रदाताओं का इस्तेमाल करने की अपेक्षा है; और 55% ने कम-से-कम एक बार एलएलएम प्रदाता बदला है।

गाइड में उद्धृत स्वतंत्र निगरानी के अनुसार, मई 2026 में प्रमुख एलएलएम प्रदाताओं की उपलब्धता लगभग 99.85–99.9% थी—गाइड के मुताबिक, इसका मतलब है कि साल में करीब 9–13 घंटे सेवा बंद रह सकती है। Cockroach Labs के 2026 के सर्वेक्षण में शामिल 1,125 वरिष्ठ अवसंरचना नेताओं में से दो-तिहाई ने अनुमान लगाया कि एआई सेवा एक घंटे बंद रहने से उनके संगठन को $100,000 से अधिक का नुकसान होगा। गाइड में OWASP की 2025 की उस रैंकिंग का भी हवाला दिया गया है, जिसमें प्रॉम्प्ट इंजेक्शन को एलएलएम सुरक्षा का सबसे बड़ा जोखिम बताया गया था। साथ ही, Zscaler ThreatLabz की एक रिपोर्ट के अनुसार, एआई ऐप्लिकेशनों को भेजा जाने वाला उद्यमों का डेटा एक साल में 93% बढ़ा; केवल ChatGPT के कारण डेटा-हानि रोकथाम से जुड़े 410 मिलियन उल्लंघन दर्ज हुए।

गाइड उन संकेतों की सूची देता है जिनसे पता चलता है कि किसी संगठन को गेटवे की ज़रूरत है: कई कोडबेस में प्रदाता की कुंजियाँ हार्डकोड की गई हों; वित्त विभाग मॉडल के बिलों को संबंधित उपयोग से जोड़ न पा रहा हो; किसी एक प्रदाता पर निर्भरता के कारण दर-सीमा या सेवा बंद होने से जुड़ी त्रुटियाँ आती हों; संवेदनशील डेटा वाले प्रॉम्प्ट की जाँच न होती हो; अलग-अलग टीमें परस्पर प्रतिस्पर्धी प्रदाता इंटीग्रेशन बना रही हों; MCP टूल इंटीग्रेशन हों; और सुरक्षा या अनुपालन की समग्र जानकारी उपलब्ध न हो। गाइड के अनुसार, किसी एक प्रोटोटाइप, कम उपयोग वाली साइड परियोजना या न्यूनतम सुरक्षा आवश्यकताओं के साथ एक मॉडल एंडपॉइंट को कॉल करने के लिए गेटवे ज़रूरी नहीं है। स्वयं होस्ट किए जा सकने वाले विकल्पों में निजी क्लाउड, Kubernetes या ऑन-प्रिमाइसेज़ अवसंरचना पर LiteLLM, Portkey और Apache APISIX शामिल हैं; प्रबंधित विकल्पों में Cloudflare AI Gateway, Azure API Management और Amazon Bedrock AgentCore Gateway शामिल हैं। गाइड के अनुसार, विकल्प चुनते समय डेटा पर नियंत्रण और गोपनीयता, PostgreSQL, Redis या etcd जैसे स्टेट स्टोर सहित संचालन का भार, परिनियोजन की गति और इंटीग्रेशन पर विचार करना चाहिए। इसके अक्सर पूछे जाने वाले सवालों में कहा गया है कि “जनरेटिव एआई गेटवे” और “एआई गेटवे” एक-दूसरे के स्थान पर इस्तेमाल किए जा सकते हैं, और कोई एक ओपन-सोर्स एआई गेटवे ऐसा नहीं है जिसे सबसे अच्छा कहा जा सके।