Salesforce lägger till Agent Evals och kostnadskontroller i Agent Fabric

Salesforce meddelade den 27 oktober 2026 att en rad funktioner läggs till i Agent Fabric, företagets AI-kontrollplan för hantering och styrning av agenter på olika plattformar. Bland de viktigaste nyheterna finns Agent Evals, API Evals och avancerade kostnadskontroller. Salesforce uppgav att plattformen hanterar mer än 1,2 miljarder förfrågningar dagligen.

I tillkännagivandet kopplas nyheterna till ett konkret driftsproblem: när företag skalar upp sina AI-installationer kan agenter misslyckas utan att det märks, ge felaktiga svar och dra på sig kostnader innan någon upptäcker det. Salesforce uppgav att de nya funktionerna hjälper CIO:er och AI-chefer att upptäcka problem innan de leder till kundklagomål eller skenande kostnader. De kombinerar automatiska åtgärder när kvaliteten försämras med absoluta utgiftsgränser som begränsar användningen till budgeten.

Agent Fabric är ett kontrollplan för företagsagenter, byggt på MuleSoft, som gör det möjligt att upptäcka, styra, samordna och övervaka agenter, AI-resurser och agentbaserade arbetsflöden från ett enda kontrollplan. Enligt produktsidan för Agent Fabric upptäcker och registrerar plattformens skannrar automatiskt agenter, servrar för Model Context Protocol (MCP) och API:er som körs i ekosystem som Amazon, Google, Microsoft, Claude, Databricks och Kong, direkt i Agent Registry, en central katalog över AI-resurser. Plattformen innehåller också MCP Bridge, som gör befintliga API:er tillgängliga som MCP-verktyg, samordning av flera agenter, stöd för A2A-protokollet, en enhetlig gateway för LLM:er och MCP, Trusted Agent Identity samt Agent Visualizer, som kartlägger agentnätverket med mätvärden som konfidenspoäng, identifiering av flaskhalsar och risk för hallucinationer. På produktsidan står det att Agent Fabric och Agentforce, Salesforces plattform för att skapa och köra agenter i Salesforce, bygger på samma motor för att definiera hur agenter hanterar interaktioner, resonerar, planerar och agerar.

Kontinuerlig utvärdering och automatiska åtgärder

Salesforce uppgav att Agent Evals automatiskt genererar tester före driftsättning och därefter utvärderar agenter, stora språkmodeller (LLM:er) och MCP-servrar i produktion mot fastställda kvalitetsgränser. När resultaten inte når upp till kraven utlöser systemet fördefinierade åtgärder, däribland Agent Kill Switch, med ett godkännandesteg om teamets policy kräver det. På produktsidan beskrivs funktionen som ett sätt att omvandla kvalitetstester av agenter till automatiska åtgärder. Där anges också att utvärdering av MCP-servrar och LLM:er kommer snart.

API Evals hanterar en annan typ av fel: agenter slutar fungera när de API:er de är beroende av ändras. Salesforce uppgav att verktyget automatiskt genererar funktionstester och prestandatester utifrån API-specifikationer och upptäcker ändringar som kan orsaka problem innan de når produktion.

I tillkännagivandet går Salesforce igenom ett scenario med en återförsäljare för att visa hur arbetsflödet fungerar. Återförsäljaren byter ut sin agent för orderhantering mot en billigare AI-modell för att minska driftskostnaderna. Efter bytet kör Agent Evals schemalagda tester och upptäcker att agenten ger felaktig information om försenade beställningar. Systemet flaggar kvalitetsproblemet och ber, i enlighet med teamets önskemål om att låta en människa vara delaktig, om godkännande för att sätta agenten i karantän. När godkännandet har lämnats sätts agenten i karantän medan teamet förbättrar instruktionerna för hur försenade beställningar ska hanteras, kör om utvärderingen med den billigare modellen för att bekräfta prestandan och återför agenten till produktion.

Agent Kill Switch, som på produktsidan beskrivs som ett sätt att snabbt stoppa agentaktivitet i produktion, är allmänt tillgänglig sedan tillkännagivandet. Triggered-Agent Kill Switch blir allmänt tillgänglig i januari 2027.

Kostnadskontroller och budgetstyrning

På kostnadssidan ger FinOps Dashboard och Model Wallet budgetansvariga en samlad överblick över AI-utgifterna och absoluta gränser som stoppar förfrågningar innan kostnaderna överskrider budgeten. Salesforce uppgav att Cost Optimization Policies minskar tokenanvändningen med upp till 75 procent, enligt företagets testscenarier, genom semantisk cachelagring, komprimering av nyttolaster och förkortning av svar.

MuleSofts dokumentation om kostnadshantering beskriver hur kostnadskontrollerna tillämpas. Model Wallet upprätthåller budgetar per agent, instans eller affärsenhet och följer utgifterna i realtid i takt med att de uppstår. När en plånbok håller på att tömmas aktiveras begränsningarna innan budgeten överskrids, inte först när fakturan kommer, och prognoser flaggar en väntad överskridning flera dagar i förväg. Model Proxy ligger i trafikflödet och prissätter varje förfrågan utifrån den taxa som leverantören faktiskt tar ut, så att utgifterna i instrumentpanelen stämmer överens med fakturan. Optimeringspolicyerna (Progressive Disclosure, Smart Response Trimming och TOON-komprimering) körs i gatewayen och minskar slöseri med token utan att ändra MCP-servrar eller klientkod. Dokumentationen beskriver också hur utgifter följs i realtid per team, applikation och användningsområde, samt hur skenande agentloopar stängs av automatiskt innan de överskrider budgeten.

FinOps Dashboard, Model Wallet och Cost Optimization Policies är allmänt tillgängliga sedan tillkännagivandet.

Identifiering och federerade gatewaypolicyer

Salesforce meddelade också två uppdateringar som utökar Agent Fabric bortom det inbyggda plattformsstödet. Custom Agent Scanner möjliggör automatisk identifiering i interna miljöer, system bakom brandväggar och tredjepartsplattformar. Det gör att team kan skapa anpassade skannrar som katalogiserar agenter, modeller, MCP-servrar och API:er i Agent Registry utan att behöva registrera varje tillgång manuellt. Funktionen är i betaversion vid tidpunkten för tillkännagivandet, och allmän tillgänglighet planeras till januari 2027.

Open Policies for Federated API Gateways identifierar, tillämpar och spårar API-policyer för gateways från Azure, Apigee och Kong. En policy, till exempel en lista över tillåtna IP-adresser eller hastighetsbegränsning, kan tillämpas på samtliga gateways i en enda åtgärd i stället för en i taget. Funktionen är allmänt tillgänglig sedan tillkännagivandet.

Undersökningsresultat och kunduttalanden

Tillkännagivandet kopplar de nya funktionerna till undersökningsdata om utvärderingsrutiner och konstaterar att färre än hälften av de organisationer som använder agenter utvärderar dem i live-trafik. Det hänvisar till LangChains rapport om läget för agentutveckling, där fler än 1 300 yrkesverksamma tillfrågades mellan den 18 november och den 2 december 2025. Rapporten visade att 57,3 % av de svarande har agenter i produktionsmiljö, att 32 % angav kvalitet som ett av de främsta hindren för produktionssättning och att 89 % har infört någon form av observerbarhet för sina agenter. När det gäller utvärdering specifikt uppgav 52,4 % av organisationerna att de genomför offlineutvärderingar på testuppsättningar, medan användningen av onlineutvärdering uppgick till 37,3 %.

Poonam Deshpande, teknisk chef för digital handel på ASICS Digital, sade att ASICS samarbetar med Salesforce för att bidra till utformningen av betaversionen av Agent Evals. ”Det vi uppskattar mest med Agent Evals är att funktionen inte nöjer sig med att tala om för oss att något är fel”, sade hon. ”När en agents kvalitet försämras kan Agent Fabric ingripa automatiskt genom att larma rätt ansvarig eller koppla bort agenten innan ett litet problem blir ett omfattande kundproblem.”

Tillkännagivandet innehöll också uttalanden från chefer på Capita, GE Appliances och Newell Brands. Tiina Stephens, teknisk chef för AI-utveckling på Capita, sade att Agent Evals kommer att hjälpa företaget att verifiera att agenterna presterar enligt tydliga affärs- och servicemål. Adam Jones, chef för företagsomvandling på GE Appliances, beskrev en gemensam kontrollpanel där företaget kan se sina agenter och vilka som har byggt dem, samt stänga av dem om något går fel. Steve Sigrist, vice vd för global kundservice på Newell Brands, sade att företaget använder Agent Fabric som sin kontrollpanel när det inför AI-agenter i kundservicen för sina olika varumärken.

”Företag kan bara skala upp användningen av agenter i den takt de kan hålla dem korrekta och inom budgeten”, sade Andrew Comstock, senior vice vd och chef för MuleSoft och Agent Fabric. ”I dag är det en sak att upptäcka ett felaktigt svar eller en kostnadstopp, och en annan att stoppa det. Agent Fabric förenar dessa funktioner genom att samla utvärderingar, kostnadskontroller och ingripanden, så att team kan begränsa problem omedelbart och skala upp användningen av agenter med tillförsikt.”

Tillgänglighet

Agent Evals och API Evals går in i betaversion i november 2026, och allmän tillgänglighet planeras till januari 2027. Custom Agent Scanner är i betaversion vid tidpunkten för tillkännagivandet och blir allmänt tillgänglig i januari 2027, liksom Triggered-Agent Kill Switch. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet och Cost Optimization Policies är allmänt tillgängliga sedan den 27 oktober 2026.