Salesforce ने Agent Fabric में जोड़े Agent Evals और लागत नियंत्रण

Salesforce ने 27 अक्टूबर 2026 को Agent Fabric में कई नई सुविधाओं को शामिल करने की घोषणा की। Agent Fabric उसका एआई नियंत्रण मंच है, जिसका उपयोग विभिन्न प्लेटफ़ॉर्मों पर एजेंटों के प्रबंधन और संचालन-नियमन के लिए किया जाता है। इन सुविधाओं में Agent Evals, API Evals और उन्नत लागत नियंत्रण प्रमुख हैं। Salesforce ने कहा कि यह प्लेटफ़ॉर्म प्रतिदिन 1.2 अरब से अधिक अनुरोधों को संभालता है।

घोषणा में इन नई सुविधाओं को एक खास परिचालन समस्या के संदर्भ में रखा गया है: जैसे-जैसे उद्यमों में AI का इस्तेमाल बढ़ता है, एजेंट बिना किसी संकेत के विफल हो सकते हैं—वे गलत जवाब देते हैं और किसी के ध्यान में आने से पहले लागत बढ़ती जाती है। Salesforce ने कहा कि नई क्षमताएँ CIO और AI क्षेत्र के नेताओं को समस्याओं के ग्राहकों की शिकायतों या बेकाबू लागत में बदलने से पहले उनका पता लगाने में मदद करती हैं। गुणवत्ता घटने पर ये स्वचालित हस्तक्षेप करती हैं और खर्च को बजट की सीमा में रखने के लिए सख्त सीमाएँ लागू करती हैं।

Agent Fabric, MuleSoft पर निर्मित उद्यमों के लिए एजेंट नियंत्रण केंद्र है। यह एक ही नियंत्रण केंद्र से एजेंटों, AI परिसंपत्तियों और एजेंट-आधारित वर्कफ़्लो की खोज, संचालन, समन्वय और निगरानी करता है। Agent Fabric के उत्पाद पृष्ठ के अनुसार, इसके स्कैनर Amazon, Google, Microsoft, Claude, Databricks और Kong जैसे इकोसिस्टम में चल रहे एजेंटों, Model Context Protocol (MCP) सर्वरों और API का अपने आप पता लगाकर उन्हें सीधे Agent Registry में दर्ज करते हैं। Agent Registry, AI परिसंपत्तियों की एक केंद्रीकृत सूची है। इस प्लेटफ़ॉर्म में MCP Bridge भी शामिल है, जो मौजूदा API को MCP टूल के रूप में उपलब्ध कराता है; कई एजेंटों के बीच समन्वय; A2A प्रोटोकॉल का समर्थन; एकीकृत LLM और MCP गेटवे; Trusted Agent Identity; और Agent Visualizer शामिल हैं। Agent Visualizer विश्वास-स्कोर, बाधाओं का पता लगाने और भ्रमपूर्ण उत्तरों के जोखिम जैसे मेट्रिक्स के साथ एजेंट नेटवर्क का मानचित्र दिखाता है। उत्पाद पृष्ठ के अनुसार, Agent Fabric और Agentforce—Salesforce के भीतर एजेंट बनाने और चलाने का Salesforce का प्लेटफ़ॉर्म—एक ही इंजन से संचालित होते हैं। यह इंजन तय करता है कि एजेंट बातचीत को कैसे संभालें, तर्क कैसे करें, योजना कैसे बनाएँ और कार्रवाई कैसे करें।

निरंतर मूल्यांकन और स्वचालित हस्तक्षेप

Salesforce ने बताया कि Agent Evals तैनाती से पहले अपने आप परीक्षण तैयार करता है और फिर उत्पादन परिवेश में एजेंटों, बड़े भाषा मॉडलों (LLM) और MCP सर्वरों का तय गुणवत्ता-सीमाओं के आधार पर मूल्यांकन करता है। नतीजे तय मानकों पर खरे न उतरें, तो सिस्टम पहले से निर्धारित हस्तक्षेप शुरू करता है। इनमें Agent Kill Switch भी शामिल है; टीम की नीति के अनुसार, इसके लिए अनुमोदन लेना आवश्यक हो सकता है। उत्पाद पृष्ठ के मुताबिक, यह सुविधा एजेंट की गुणवत्ता के परीक्षणों को स्वचालित कार्रवाई में बदल देती है। पृष्ठ पर MCP सर्वर और LLM के मूल्यांकन को जल्द उपलब्ध होने वाली सुविधाओं के रूप में सूचीबद्ध किया गया है।

API Evals विफलता के एक अलग कारण से निपटता है: जिन API पर एजेंट निर्भर करते हैं, उनमें बदलाव होने पर एजेंट काम करना बंद कर सकते हैं। Salesforce ने बताया कि यह टूल API विनिर्देशों से कार्यक्षमता और प्रदर्शन के परीक्षण अपने आप तैयार करता है, ताकि बदलावों से होने वाली टूट-फूट उत्पादन परिवेश तक पहुँचने से पहले पकड़ में आ जाए।

कार्यप्रणाली समझाने के लिए घोषणा में एक खुदरा विक्रेता का उदाहरण दिया गया है। परिचालन लागत घटाने के लिए एक खुदरा विक्रेता ऑर्डर से जुड़ी सहायता देने वाले अपने एजेंट को कम लागत वाले AI मॉडल पर ले जाता है। इस बदलाव के बाद, Agent Evals तय समय पर परीक्षण चलाता है और पता लगाता है कि एजेंट विलंबित ऑर्डर के बारे में गलत जानकारी दे रहा है। सिस्टम गुणवत्ता से जुड़ी समस्या को चिह्नित करता है और, प्रक्रिया में किसी व्यक्ति को शामिल रखने की टीम की प्राथमिकता के अनुसार, एजेंट को अलग रखने के लिए अनुमोदन माँगता है। अनुमोदन मिलने पर एजेंट को अलग कर दिया जाता है। इस दौरान टीम विलंबित ऑर्डर संभालने के उसके निर्देशों को बेहतर बनाती है, प्रदर्शन की पुष्टि के लिए कम लागत वाले मॉडल पर फिर से मूल्यांकन चलाती है और एजेंट को उत्पादन परिवेश में वापस भेज देती है।

उत्पाद पृष्ठ के अनुसार, Agent Kill Switch उत्पादन परिवेश में एजेंट की गतिविधि को तुरंत रोकने का तरीका है। घोषणा के समय यह आम तौर पर उपलब्ध था। Triggered-Agent Kill Switch जनवरी 2027 में आम तौर पर उपलब्ध होगा।

लागत नियंत्रण और बजट लागू करना

लागत के मोर्चे पर, FinOps Dashboard और Model Wallet बजट संभालने वालों को AI खर्च का एक साझा दृश्य देते हैं और ऐसी सख्त सीमाएँ लागू करते हैं, जो लागत बजट से अधिक होने से पहले ही अनुरोध रोक देती हैं। Salesforce ने बताया कि कंपनी के परीक्षण परिदृश्यों के आधार पर Cost Optimization Policies, सिमैंटिक कैशिंग, पेलोड संपीड़न और प्रतिक्रियाओं को संक्षिप्त करने के ज़रिए टोकन का उपयोग अधिकतम 75% तक घटाती हैं।

MuleSoft के लागत-प्रबंधन संबंधी दस्तावेज़ में बजट नियंत्रण लागू करने की प्रक्रिया का विवरण दिया गया है। Model Wallet प्रति एजेंट, प्रति इंस्टेंस या प्रति व्यावसायिक इकाई के हिसाब से बजट लागू करता है और खर्च बढ़ने के साथ उसे तुरंत दर्ज करता है। वॉलेट की राशि समाप्त होने पर, बिल आने के बाद नहीं, बल्कि बजट से अधिक खर्च होने से पहले ही नियंत्रण लागू हो जाता है। पूर्वानुमान की सुविधा संभावित अतिरिक्त खर्च का कई दिन पहले संकेत देती है। Model Proxy ट्रैफ़िक के रास्ते में काम करता है और हर अनुरोध की कीमत सेवा प्रदाता द्वारा वास्तव में ली जाने वाली दर के आधार पर तय करता है, ताकि डैशबोर्ड पर दिखने वाला खर्च बिल से मेल खाए। लागत घटाने की नीतियाँ—Progressive Disclosure, Smart Response Trimming और TOON compression—गेटवे पर लागू होती हैं और MCP सर्वर या क्लाइंट कोड में बदलाव किए बिना टोकन की बर्बादी घटाती हैं। दस्तावेज़ों में टीम, एप्लिकेशन और उपयोग के मामले के अनुसार खर्च को वास्तविक समय में ट्रैक करने और बजट से अधिक खर्च होने से पहले बेकाबू एजेंट लूप को अपने आप बंद करने का भी उल्लेख है।

घोषणा के समय FinOps Dashboard, Model Wallet और Cost Optimization Policies आम तौर पर उपलब्ध थे।

खोज और फ़ेडरेटेड गेटवे नीतियाँ

Salesforce ने Agent Fabric को अपने प्लेटफ़ॉर्म में पहले से उपलब्ध समर्थन से आगे बढ़ाने वाले दो अपडेट की भी घोषणा की। Custom Agent Scanner आंतरिक परिवेशों, फ़ायरवॉल के पीछे के सिस्टमों और तृतीय-पक्ष प्लेटफ़ॉर्मों में स्वचालित खोज की सुविधा देता है। इससे टीमें ऐसे कस्टम स्कैनर बना सकती हैं जो हर एसेट को मैन्युअल रूप से पंजीकृत किए बिना एजेंट, मॉडल, MCP सर्वर और API को Agent Registry में सूचीबद्ध करते हैं। घोषणा के समय यह बीटा में है और जनवरी 2027 में आम तौर पर उपलब्ध कराने की योजना है।

Open Policies for Federated API Gateways, Azure, Apigee और Kong के गेटवे पर API नीतियों को खोजता, लागू करता और ट्रैक करता है। इससे IP allowlisting या दर-सीमा जैसी नीति को एक-एक करके लागू करने के बजाय, एक ही कार्रवाई में सभी गेटवे पर लागू किया जा सकता है। घोषणा के समय यह सुविधा आम तौर पर उपलब्ध है।

सर्वेक्षण के आँकड़े और ग्राहकों के बयान

घोषणा में इन नए फीचरों को मूल्यांकन से जुड़ी सर्वेक्षण जानकारी के संदर्भ में रखा गया है। इसमें बताया गया है कि एजेंट इस्तेमाल करने वाले आधे से भी कम संगठन लाइव ट्रैफ़िक पर उनका मूल्यांकन करते हैं। इसमें LangChain की एजेंट इंजीनियरिंग की स्थिति पर रिपोर्ट का हवाला दिया गया है, जिसमें 18 नवंबर से 2 दिसंबर, 2025 के बीच 1,300 से अधिक पेशेवरों का सर्वेक्षण किया गया था। उस रिपोर्ट के अनुसार, 57.3% उत्तरदाताओं के एजेंट उत्पादन में चल रहे हैं, 32% ने गुणवत्ता को उत्पादन तक पहुँचने में एक बड़ी बाधा बताया और 89% ने अपने एजेंटों के लिए किसी न किसी प्रकार की ऑब्ज़र्वेबिलिटी लागू की है। मूल्यांकन की बात करें तो, 52.4% संगठनों ने बताया कि वे परीक्षण डेटासेट पर ऑफ़लाइन मूल्यांकन करते हैं, जबकि ऑनलाइन मूल्यांकन अपनाने वालों का अनुपात 37.3% था।

ASICS Digital में डिजिटल कॉमर्स की इंजीनियरिंग निदेशक Poonam Deshpande ने कहा कि ASICS, Agent Evals के बीटा संस्करण को आकार देने में मदद करने के लिए Salesforce के साथ साझेदारी कर रही है। उन्होंने कहा, “Agent Evals की सबसे अच्छी बात यह है कि यह सिर्फ़ हमें यह बताकर नहीं रुकता कि कुछ गड़बड़ है। जब किसी एजेंट की गुणवत्ता गिरती है, तो Agent Fabric अपने आप कार्रवाई कर सकता है—सही ज़िम्मेदार व्यक्ति को अलर्ट कर सकता है या किसी छोटी समस्या के ग्राहकों के बीच व्यापक समस्या बनने से पहले एजेंट को ऑफ़लाइन कर सकता है।”

घोषणा में Capita, GE Appliances और Newell Brands के अधिकारियों के बयान भी शामिल थे। Capita में AI इंजीनियरिंग निदेशक Tiina Stephens ने कहा कि Agent Evals कंपनी को यह सत्यापित करने में मदद करेगा कि एजेंट स्पष्ट व्यावसायिक और सेवा-संबंधी परिणामों के अनुरूप काम कर रहे हैं। GE Appliances में एंटरप्राइज़ ट्रांसफ़ॉर्मेशन के कार्यकारी निदेशक Adam Jones ने एक ऐसे एकल नियंत्रण केंद्र का ज़िक्र किया जहाँ कंपनी अपने एजेंटों को देख सकती है, पता लगा सकती है कि उन्हें किसने बनाया है और कुछ गड़बड़ होने पर उन्हें बंद कर सकती है। Newell Brands में वैश्विक ग्राहक सेवा के उपाध्यक्ष Steve Sigrist ने कहा कि कंपनी अपने ब्रांडों में ग्राहक सेवा के लिए AI एजेंट लाते हुए Agent Fabric को नियंत्रण केंद्र के रूप में इस्तेमाल कर रही है।

MuleSoft और Agent Fabric के वरिष्ठ उपाध्यक्ष एवं महाप्रबंधक Andrew Comstock ने कहा, “कंपनियाँ एजेंटों का विस्तार उतनी ही तेज़ी से कर सकती हैं, जितनी तेज़ी से वे उन्हें सटीक और बजट के भीतर रख सकती हैं। आज, गलत जवाब या खर्च में अचानक बढ़ोतरी का पता लगाना एक काम है और उसे रोकना दूसरा। Agent Fabric इन दोनों को एक साथ लाता है। यह मूल्यांकन, लागत नियंत्रण और हस्तक्षेप को एकीकृत करता है, ताकि टीमें समस्याओं को तुरंत काबू में कर सकें और भरोसे के साथ एजेंटों का विस्तार कर सकें।”

उपलब्धता

Agent Evals और API Evals नवंबर 2026 में बीटा में प्रवेश करेंगे और जनवरी 2027 में आम तौर पर उपलब्ध कराने की योजना है। घोषणा के समय Custom Agent Scanner बीटा में है और जनवरी 2027 में आम तौर पर उपलब्ध होगा। Triggered-Agent Kill Switch भी उसी समय आम तौर पर उपलब्ध होगा। 27 अक्टूबर, 2026 तक Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet और Cost Optimization Policies आम तौर पर उपलब्ध हैं।