विचार नेता
LLM ट्रेसिंग टूल अब AI गेटवे क्यों बना रहे हैं
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुA gateway can block a model call before it reaches the provider while a tracer can only…
और देखें
- A gateway can block a model call before it reaches the provider while a tracer can only record it afterward.
- Holding the provider keys lets a gateway capture calls from laptops and coding agents that no SDK ever instrumented.
- Merging gateway into tracer makes the observability vendor a runtime dependency whose outage halts every model call.
2026 में LangSmith, Langfuse, Opik और Braintrust—सभी ने मॉडल प्रदाताओं के सामने एक गेटवे जोड़ दिया। इसकी मुख्य वजह नियंत्रण है: ट्रेसिंग टूल किसी मॉडल कॉल को सिर्फ़ दर्ज कर सकता है, जबकि गेटवे उसे रोक भी सकता है।
दो टूल, जिनके काम अलग-अलग थे
पिछले दो वर्षों से कई टीमें बड़े भाषा मॉडल (LLM) वाले ऐप्लिकेशन चलाने के लिए दो अलग-अलग टूल इस्तेमाल कर रही थीं। ऐप्लिकेशन और मॉडल प्रदाताओं के बीच एक गेटवे होता था। उसमें प्रदाताओं की API कुंजियाँ रखी जाती थीं, वह अलग-अलग प्रदाताओं की API के बीच अनुरोधों का रूपांतरण करता था और विफल कॉल को दोबारा आज़माता था। LiteLLM, एक ओपन-सोर्स प्रॉक्सी, इस काम के लिए आम विकल्प बन गया। ऐप्लिकेशन के साथ LangSmith या Langfuse जैसा ट्रेसिंग टूल भी होता था, जो हर मॉडल कॉल, टूल कॉल और जानकारी पुनर्प्राप्त करने के चरण को दर्ज करता था, ताकि इंजीनियर देख सकें कि किसी एजेंट ने क्या किया था।
यह बँटवारा समझ में आता था, क्योंकि गेटवे को तेज़ होना और हर प्रदाता की API का समर्थन करना ज़रूरी है, जबकि ट्रेसिंग टूल को अच्छे इंटरफ़ेस, बड़े डेटा-पेलोड को रखने की जगह और ऐप्लिकेशन कोड को समेटने वाले SDK की ज़रूरत होती है। Langfuse अब भी दो टूल वाले इस सेटअप का दस्तावेज़ देता है। इसमें LiteLLM Proxy के साथ एकीकरण शामिल है, जो हर कॉल को प्रॉक्सी से होते हुए Langfuse तक भेजता है। 2026 में ट्रेसिंग टूल बनाने वाली कंपनियों ने अपना गेटवे बनाना शुरू कर दिया।
छह महीनों में चार लॉन्च
LangChain ने मई 2026 में LangSmith LLM Gateway को निजी बीटा में घोषित किया और 30 जुलाई को इसे सार्वजनिक बीटा के लिए उपलब्ध कराया। इसके बाद से इसे अपना क्लाउड इस्तेमाल करने वाली LangSmith की परिनियोजन व्यवस्थाओं का भी हिस्सा बना दिया है। Braintrust ने अपना पुराना AI प्रॉक्सी बंद कर दिया और उपयोगकर्ताओं को एक नए गेटवे की ओर भेजा, जो पूर्वावलोकन चरण में है और आम तौर पर उपलब्ध होने तक मुफ़्त रहेगा। Comet ने Opik LLM Gateway को बीटा एंडपॉइंट के रूप में जारी किया, जो OpenAI फ़ॉर्मैट के अनुरोध स्वीकार करता है। 4 नवंबर को Langfuse ने Langfuse Cloud पर और स्वयं होस्ट किए गए परिनियोजनों के लिए, दोनों जगह अपना AI Gateway सार्वजनिक बीटा में उपलब्ध कराया। यह गेटवे MIT लाइसेंस के तहत जारी है और Rust में लिखा गया है।
MLflow, जिसकी शुरुआत ट्रेसिंग टूल के बजाय मशीन लर्निंग के जीवनचक्र को सँभालने वाले टूल के रूप में हुई थी, में पहले से ही AI गेटवे मौजूद है। इसमें बजट संबंधी अलर्ट और सीमाएँ भी हैं।
गेटवे कई वर्षों से मौजूद हैं और उन्हें चलाने के जोखिम अच्छी तरह दर्ज किए गए हैं। नए गेटवे उन कंपनियों ने बनाए हैं जिनका कारोबार मॉडल कॉल दर्ज करने पर आधारित था, और अब वे चाहती हैं कि हर कॉल पहले उन्हीं के ज़रिए जाए।
बजट के लिए अनुरोध का मार्ग क्यों ज़रूरी है
ट्रेसिंग टूल मॉडल कॉल को तब दर्ज करता है, जब प्रदाता उसका जवाब दे चुका होता है और टोकन का भुगतान हो चुका होता है। इस रिकॉर्ड से खर्च का चार्ट बनाया जा सकता है, लेकिन ट्रेसिंग टूल खर्च को रोक नहीं सकता। किसी टीम का बजट लागू करने, किसी मॉडल को ब्लॉक करने या प्रॉम्प्ट से कोई गोपनीय जानकारी हटाने के लिए अनुरोध को प्रदाता तक पहुँचने से पहले जाँचना पड़ता है। यह काम सिर्फ़ अनुरोध के मार्ग में मौजूद घटक ही कर सकता है।
LangChain ने अपनी लॉन्च पोस्ट में यही तर्क दिया है। इसमें बताया गया है कि टीमें किस तरह अलग गेटवे, सुरक्षा-नियम लागू करने वाले उत्पाद और निगरानी टूल को एक साथ इस्तेमाल करती हैं। साथ ही, यह कहा गया है कि समस्याएँ रोकने के लिए अनुरोध स्तर पर नीतियाँ लागू करनी होंगी। इसका गेटवे ऐसे कॉल को प्रदाता तक भेजने के बजाय HTTP स्थिति कोड 402 के साथ जवाब देता है, जो बजट से अधिक खर्च कर सकता है।
एक ही प्रवेश बिंदु हर कॉल दर्ज करता है
दूसरी वजह कवरेज है। SDK सिर्फ़ उन्हीं कोड-पथों को दर्ज करता है जिनमें किसी ने इंस्ट्रूमेंटेशन जोड़ा हो। इन्हीं पथों से बाहर एजेंट की विफलताओं का अक्सर पता नहीं चलता। लैपटॉप पर चलने वाली स्क्रिप्ट, नोटबुक या कॉपी की गई API कुंजी इस्तेमाल करने वाला कोडिंग एजेंट कोई निशान नहीं छोड़ता। प्रदाता की कुंजियाँ रखने वाला गेटवे हर कॉल देखता है, क्योंकि प्रदाता तक पहुँचने का कोई दूसरा रास्ता नहीं होता।
Langfuse अपना गेटवे इसी विचार के आधार पर बनाता है। इसके गेटवे के दस्तावेज़ के अनुसार, हर गेटवे कुंजी किसी उपयोगकर्ता या सेवा खाते की होती है और उसमें टीम या लागत केंद्र जैसी मेटाडेटा जानकारी जोड़ी जा सकती है। प्रदाता की क्रेडेंशियल सिर्फ़ गेटवे के पास होती है, और प्रशासक तय करते हैं कि हर क्रेडेंशियल किन मॉडलों को कॉल कर सकती है। LangSmith अपने गेटवे के ज़रिए Claude Code, Codex और Gemini CLI के अनुरोध भेजने के लिए सेटअप पेज प्रकाशित करता है। ये एजेंट डेवलपर की मशीन से मॉडल को कॉल करते हैं, किसी भी ऐप्लिकेशन के ट्रेसिंग कोड के बाहर।
ट्रेसिंग टूल का गेटवे क्या जोड़ता है
ट्रेसिंग टूल बनाने वाली कंपनियाँ इसका उलटा तर्क भी देती हैं: केवल एक अलग गेटवे पर्याप्त नहीं है। Langfuse की लॉन्च पोस्ट के अनुसार, एक स्वतंत्र गेटवे सिर्फ़ टोकन और लागत गिन सकता है, जबकि उसका अपना गेटवे हर कॉल को एक पूर्ण ट्रेस का हिस्सा बना देता है। Langfuse का गेटवे W3C traceparent हेडर स्वीकार करता है, इसलिए इसके ज़रिए होने वाला कॉल उस ट्रेस में शामिल हो जाता है जिसे ऐप्लिकेशन पहले ही शुरू कर चुका है। डिफ़ॉल्ट रूप से यह उपयोग और लागत दर्ज करता है, प्रॉम्प्ट और जवाब की सामग्री नहीं।
ट्रेसिंग टूल में ही गेटवे बनाने के पक्ष में यह सबसे मज़बूत तकनीकी तर्क है। एक स्वतंत्र गेटवे को पूरा होने वाले अनुरोधों की केवल एक सपाट सूची दिखती है। ट्रेसिंग टूल के SDK में एजेंट के टूल कॉल और जानकारी पुनर्प्राप्त करने के चरण पहले से दर्ज होते हैं, और वह हर गेटवे कॉल को उस संरचना के भीतर रख सकता है।
इसका एक व्यावसायिक पहलू भी है, जिसे विक्रेता खुद सामने नहीं रखते। गेटवे चलाने वाले के पास प्रदाता की कुंजियाँ और खर्च की रिपोर्ट होती है, और वित्त तथा प्लेटफ़ॉर्म टीमें इसी रिपोर्ट को देखती हैं। इस वजह से गेटवे को बदलना, ट्रेस देखने वाले टूल को बदलने से ज़्यादा मुश्किल होता है। LangSmith और Langfuse पहले से ही इस स्थिति का अलग-अलग ढंग से फ़ायदा उठा रहे हैं: LangSmith Gateway Credits बेचता है, जिनकी मदद से ग्राहक अपनी प्रदाता-कुंजी के बिना Kimi जैसे होस्ट किए गए मॉडल इस्तेमाल कर सकते हैं, जबकि Langfuse के FAQ में कहा गया है कि वह टोकन फिर से नहीं बेचता।
बीटा गेटवे अभी क्या नहीं कर सकते
ये गेटवे अभी नए हैं और विक्रेता अपनी कमियों का ज़िक्र दस्तावेज़ों में करते हैं। फ़िलहाल Langfuse का गेटवे केवल OpenAI और Anthropic को सपोर्ट करता है; Amazon Bedrock, Google Vertex AI और Google AI Studio को आगे शामिल करने की योजना है। अलग-अलग प्रदाताओं के बीच फ़ॉलबैक और टीम, उपयोगकर्ता या कुंजी के लिए खर्च की सख्त सीमाएँ बनाने की सुविधाएँ योजनाबद्ध हैं, लेकिन अभी जारी नहीं की गई हैं। फ़िलहाल गेटवे खर्च का डैशबोर्ड और अलर्ट देता है। इसके दस्तावेज़ों में दर सीमाओं या प्रतिक्रियाओं की कैशिंग का ज़िक्र नहीं है।
Langfuse का गेटवे API फ़ॉर्मैट के बीच रूपांतरण नहीं करता, इसलिए OpenAI क्लाइंट केवल OpenAI मॉडल इस्तेमाल कर सकता है। स्वयं-होस्ट किया गया संस्करण केवल प्रदाताओं के आधिकारिक URL से जुड़ता है, इसलिए फ़िलहाल Azure OpenAI, Bedrock या किसी आंतरिक प्रॉक्सी का इस्तेमाल नहीं किया जा सकता। Comet के मुताबिक, Opik गेटवे को विकास और परीक्षण के लिए बनाया गया है। Braintrust ने अपने गेटवे की कीमतों की घोषणा नहीं की है।
LangSmith का गेटवे पहले से ही दूसरे गेटवे से ज़्यादा काम करता है। इसके दस्तावेज़ों में फ़ॉलबैक, खर्च की सीमाएँ, दर सीमाएँ और डेटा नीतियाँ मौजूदा सुविधाओं के रूप में सूचीबद्ध हैं। यह OpenAI Chat Completions, OpenAI Responses और Anthropic Messages फ़ॉर्मैट भी स्वीकार करता है। मई में फ़ॉलबैक और दर सीमाओं को भविष्य में आने वाली सुविधाओं के रूप में सूचीबद्ध किया गया था, इसलिए ये बीटा अवधि के दौरान उपलब्ध हुईं। फिर भी, पूरे उत्पाद पर अब भी बीटा का लेबल लगा है।
लोड परीक्षण से एक अलग तरह की कमी सामने आती है। Langfuse गेटवे, LiteLLM और AcruxCore का स्वयं-होस्ट किया गया बेंचमार्क बताता है कि Langfuse गेटवे ने हर कॉल में LiteLLM की तुलना में कम विलंबता जोड़ी। हालाँकि, Docker की डिफ़ॉल्ट सेटिंग्स के साथ यह 1,000 एक-साथ चलने वाली स्ट्रीम में से 739 को संभालने में विफल रहा, क्योंकि इसकी प्रक्रिया ने Docker की खुली फ़ाइलों की 1,024 की डिफ़ॉल्ट सीमा बनाए रखी। Langfuse की Compose फ़ाइल में एक पंक्ति जोड़ने से यह समस्या ठीक हो गई।
इन बीटा संस्करणों की तुलना में, LiteLLM—जो कई वर्षों से एक स्वतंत्र गेटवे है—100 से अधिक प्रदाताओं को सपोर्ट करता है और इसमें वर्चुअल कुंजियाँ, खर्च की निगरानी, सुरक्षा नियंत्रण, लोड संतुलन और व्यवस्थापक डैशबोर्ड पहले से शामिल हैं। LiteLLM अपने अनुरोध मार्ग को Python से Rust में भी ले जा रहा है। इसका Rust AI Gateway बीटा में है, और LiteLLM टीम को उम्मीद है कि Anthropic-शैली के /v1/messages अनुरोध 1 दिसंबर तक शुरू से अंत तक Rust में चलने लगेंगे और विलंबता लगभग 20 गुना कम होगी। MLflow और AcruxCore जैसे कुछ ओपन-सोर्स प्लेटफ़ॉर्म पहले से ही एक ही उत्पाद में गेटवे और ट्रेसिंग की सुविधा देते हैं।
उन्हें अलग रखने के पक्ष में तर्क
गेटवे को ट्रेसर में मिलाने की कुछ लागतें हैं, जिनमें सबसे बड़ी है दोनों को एक-दूसरे पर निर्भर बना देना। अलग गेटवे होने पर, टीम लॉगिंग कॉलबैक बदलकर ट्रेसिंग विक्रेता बदल सकती है। लेकिन जब ट्रेसर ही गेटवे भी हो, तो हर सेवा का बेस URL, कुंजियाँ और मॉडल पहचानकर्ता भी बदलने पड़ते हैं। उदाहरण के लिए, Langfuse मॉडल पहचानकर्ताओं को credential:model के रूप में लिखता है।
ट्रेसर रनटाइम की निर्भरता भी बन जाता है। अगर ट्रेसिंग बैकएंड बंद हो जाए, तो टीम के ट्रेस खो जाते हैं। अगर गेटवे बंद हो जाए, तो मॉडल कॉल विफल हो जाते हैं। अब गेटवे चलाने वाले ट्रेसिंग विक्रेता को महत्वपूर्ण बुनियादी ढाँचे जैसी अपटाइम सुनिश्चित करनी पड़ती है।
सुरक्षा विक्रेता भी अनुरोध मार्ग में यही जगह चाहते हैं। Palo Alto Networks ने मई 2026 में एक स्वतंत्र गेटवे, Portkey का अधिग्रहण पूरा किया और उसे अपने Prisma AIRS प्लेटफ़ॉर्म का AI गेटवे बनाया। हो सकता है कि कोई सुरक्षा टीम गेटवे को किसी ऑब्ज़र्वेबिलिटी टूल के भीतर रखने के बजाय अपने नियंत्रण में रखना चाहे। गेटवे हमलावरों का निशाना भी बन गए हैं, जैसा कि मार्च में हुए LiteLLM के आपूर्ति-शृंखला उल्लंघन से पता चला।
टीमें कैसे चुनाव कर सकती हैं
टीमें पहले यह सूची बना सकती हैं कि मॉडल कॉल से पहले कौन-कौन से काम होने ज़रूरी हैं। अगर उन्हें केवल दृश्यता चाहिए, तो अनुरोध मार्ग के पास एक ट्रेसर काफ़ी है और इससे रनटाइम पर कोई निर्भरता नहीं जुड़ती। अगर उन्हें बजट, कुंजी नीतियाँ या मॉडल की मंज़ूरी भी चाहिए, तो किसी न किसी तरह का गेटवे आवश्यक है।
इसके बाद प्रदाताओं के समर्थन की जाँच करें। टीम को उत्पादन में इस्तेमाल होने वाले हर प्रदाता और API फ़ॉर्मैट की सूची बनानी चाहिए—जिसमें Azure OpenAI और Bedrock भी शामिल हों—और उसकी तुलना हर गेटवे के मौजूदा समर्थन से करनी चाहिए, न कि उसकी भावी योजनाओं से।
जो टीमें पहले से LiteLLM चलाती हैं, उनके पास तब तक बदलने की कोई खास वजह नहीं है, जब तक कोई बीटा गेटवे ऐसी सुविधा न दे जो उनके पास नहीं है। ट्रेसर के गेटवे का मुख्य अतिरिक्त लाभ यह है कि गेटवे कॉल एजेंट ट्रेस के भीतर दर्ज होती है, और इसके लिए माइग्रेशन करना तभी उचित है जब यह लाभ उसके लायक हो। नई शुरुआत करने वाली टीमें गेटवे को अलग परत के रूप में रख सकती हैं, भले ही दोनों चीज़ें एक ही विक्रेता उपलब्ध कराता हो। बेस URL और कुंजियों को एक कॉन्फ़िगरेशन मॉड्यूल में रखने से बाद में बदलाव करना कोड बदलने के बजाय कॉन्फ़िगरेशन बदलने भर का काम रह जाता है।
इनमें से ज़्यादातर गेटवे पर बीटा या पूर्वावलोकन का लेबल लगा है, इसलिए उनकी कमियों की सूची तेज़ी से छोटी होगी। खुला सवाल यह है कि किसी आम कंपनी में अनुरोध मार्ग का ज़िम्मा किसके पास होगा: ऑब्ज़र्वेबिलिटी टीम के, स्वतंत्र गेटवे चलाने वाली प्लेटफ़ॉर्म टीम के या सुरक्षा टीम के। इस साल LangSmith और Langfuse ने अपने गेटवे बनाए और Palo Alto Networks ने एक गेटवे खरीदा, फिर भी कई सिस्टमों में अनुरोध मार्ग अब भी LiteLLM से होकर जाता है।
