Salesforce legger til Agent Evals og kostnadskontroller i Agent Fabric

Salesforce kunngjorde 27. oktober 2026 en rekke nyheter i Agent Fabric, selskapets kontrollplan for KI som brukes til å administrere og styre agenter på tvers av plattformer. Blant nyhetene er Agent Evals, API Evals og avanserte kostnadskontroller. Salesforce opplyste at plattformen håndterer mer enn 1,2 milliarder forespørsler daglig.

Kunngjøringen tar utgangspunkt i et konkret driftsproblem: Når virksomheter skalerer KI-bruken, kan agenter svikte uten at noen merker det, gi feil svar og pådra seg stadig høyere kostnader før problemene blir oppdaget. Salesforce opplyste at de nye funksjonene gjør det mulig for CIO-er og KI-ledere å oppdage problemer før de fører til kundeklager eller ukontrollerte kostnader. De kombinerer automatiske tiltak når kvaliteten faller, med strenge utgiftsgrenser som begrenser bruken til budsjettrammen.

Agent Fabric er en kontrollplan for agenter i virksomheter, bygget på MuleSoft, som gjør det mulig å oppdage, styre, orkestrere og overvåke agenter, KI-ressurser og agentbaserte arbeidsflyter fra én og samme kontrollplan. Ifølge produktsiden for Agent Fabric oppdager og registrerer skannerne automatisk agenter, Model Context Protocol (MCP)-servere og API-er som kjører i ulike økosystemer, blant annet Amazon, Google, Microsoft, Claude, Databricks og Kong, direkte i Agent Registry, en sentral katalog over KI-ressurser. Plattformen omfatter også MCP Bridge, som gjør eksisterende API-er tilgjengelige som MCP-verktøy; orkestrering av flere agenter; støtte for A2A-protokollen; en samlet gateway for LLM-er og MCP; Trusted Agent Identity; og Agent Visualizer, som kartlegger agentnettverket med måltall som konfidensskårer, registrering av flaskehalser og risiko for hallusinasjoner. Det står på produktsiden at Agent Fabric og Agentforce, Salesforces plattform for å bygge og kjøre agenter i Salesforce, drives av den samme motoren for å definere hvordan agenter håndterer interaksjoner, resonerer, planlegger og handler.

Kontinuerlig evaluering og automatiske tiltak

Salesforce opplyste at Agent Evals automatisk genererer tester før utrulling og deretter evaluerer agenter, store språkmodeller (LLM-er) og MCP-servere i produksjon opp mot fastsatte kvalitetsgrenser. Når resultatene ikke holder mål, utløser systemet forhåndsdefinerte tiltak, blant annet Agent Kill Switch, med et godkjenningstrinn der teamets retningslinjer krever det. På produktsiden beskrives funksjonen som en måte å omgjøre kvalitetstester av agenter til automatiske handlinger på, og det opplyses at evaluering av MCP-servere og LLM-er kommer snart.

API Evals retter seg mot et annet punkt der feil kan oppstå: Agenter slutter å fungere når API-ene de er avhengige av, endres. Salesforce opplyste at verktøyet automatisk genererer funksjons- og ytelsestester fra API-spesifikasjoner, slik at endringer som bryter kompatibiliteten, fanges opp før de når produksjon.

Kunngjøringen går gjennom et scenario med en forhandler for å vise hvordan arbeidsflyten fungerer. En forhandler bytter ut agenten som håndterer ordrestøtte, med en rimeligere KI-modell for å redusere driftskostnadene. Etter byttet kjører Agent Evals planlagte tester og oppdager at agenten gir feil informasjon om forsinkede bestillinger. Systemet varsler om kvalitetsproblemet og ber om godkjenning til å sette agenten i karantene, i tråd med teamets ønske om å ha et menneske med i prosessen. Når godkjenningen er gitt, settes agenten i karantene mens teamet forbedrer instruksjonene for håndtering av forsinkede bestillinger, kjører evalueringen på nytt med den rimeligere modellen for å bekrefte ytelsen og setter agenten tilbake i produksjon.

Agent Kill Switch, som på produktsiden beskrives som en måte å raskt stanse agentaktivitet i produksjon på, er allment tilgjengelig fra og med kunngjøringen. Triggered-Agent Kill Switch blir allment tilgjengelig i januar 2027.

Kostnadskontroller og håndheving av budsjetter

På kostnadssiden gir FinOps Dashboard og Model Wallet budsjettansvarlige én samlet oversikt over KI-utgiftene og strenge grenser som stanser forespørsler før kostnadene overskrider budsjettet. Salesforce opplyste at Cost Optimization Policies reduserer tokenbruken med opptil 75 prosent i selskapets testscenarioer, ved hjelp av semantisk hurtigbufring, komprimering av nyttelast og forkorting av svar.

MuleSofts dokumentasjon for kostnadsstyring beskriver hvordan håndhevingen fungerer. Model Wallet håndhever budsjetter per agent, per instans eller per forretningsenhet, og utgiftene følges i sanntid etter hvert som de påløper. Når det er lite igjen i en lommebok, settes håndhevingen inn før budsjettet overskrides, ikke etter at fakturaen kommer, og prognosene varsler om forventede overskridelser flere dager i forveien. Model Proxy ligger i trafikkflyten og beregner prisen for hver forespørsel ut fra satsen leverandøren faktisk tar, slik at utgiftene i dashbordet stemmer overens med fakturaen. Optimaliseringspolicyene (Progressive Disclosure, Smart Response Trimming og TOON compression) kjøres i gatewayen og reduserer sløsing med tokener uten å endre MCP-servere eller klientkode. Dokumentasjonen beskriver også hvordan utgifter kan følges i sanntid etter team, applikasjon og bruksområde, og hvordan løpske agentløkker automatisk kan stanses før de overskrider budsjettet.

FinOps Dashboard, Model Wallet og Cost Optimization Policies er allment tilgjengelige fra og med kunngjøringen.

Oppdagelse og retningslinjer for fødererte gatewayer

Salesforce kunngjorde også to oppdateringer som utvider Agent Fabric utover den innebygde plattformstøtten. Custom Agent Scanner finner automatisk agenter i interne miljøer, systemer bak brannmurer og tredjepartsplattformer. Dermed kan team bygge egne skannere som katalogiserer agenter, modeller, MCP-servere og API-er i Agent Registry, uten å måtte registrere hver enkelt ressurs manuelt. Funksjonen er i betaversjon per kunngjøringen, og generell tilgjengelighet er planlagt i januar 2027.

Open Policies for Federated API Gateways finner, håndhever og sporer API-policyer på tvers av gateways fra Azure, Apigee og Kong. En policy, for eksempel en tillatelsesliste for IP-adresser eller begrensning av forespørselsfrekvens, kan dermed brukes på alle gatewayene samtidig i stedet for én om gangen. Funksjonen er allment tilgjengelig per kunngjøringen.

Undersøkelsesdata og uttalelser fra kunder

Kunngjøringen knytter nyhetene til undersøkelsesdata om evalueringspraksis og påpeker at færre enn halvparten av organisasjonene med agenter evaluerer dem på faktisk trafikk i produksjon. Den viser til rapporten State of Agent Engineering fra LangChain, som undersøkte mer enn 1 300 fagfolk mellom 18. november og 2. desember 2025. Rapporten viste at 57,3 % av respondentene har agenter i produksjon, at 32 % oppga kvalitet som en av de største hindringene for å sette agenter i produksjon, og at 89 % har innført en eller annen form for observerbarhet for agentene sine. Når det gjelder evaluering spesielt, oppga 52,4 % av organisasjonene at de gjennomfører offline-evalueringer på testsett, mens andelen som hadde tatt i bruk evaluering i produksjon, var 37,3 %.

Poonam Deshpande, teknisk direktør for digital handel hos ASICS Digital, sa at ASICS samarbeider med Salesforce for å bidra til utviklingen av betaversjonen av Agent Evals. «Det som begeistrer oss mest med Agent Evals, er at løsningen ikke nøyer seg med å fortelle oss at noe er galt», sa hun. «Når kvaliteten på en agent faller, kan Agent Fabric gripe inn automatisk, varsle riktig ansvarlig eller ta agenten ut av drift før et lite problem blir et omfattende kundeproblem.»

Kunngjøringen inneholdt også uttalelser fra ledere hos Capita, GE Appliances og Newell Brands. Tiina Stephens, direktør for AI-utvikling hos Capita, sa at Agent Evals vil hjelpe selskapet med å kontrollere at agentene leverer i tråd med tydelige forretnings- og tjenestemål. Adam Jones, konserndirektør for virksomhetstransformasjon hos GE Appliances, beskrev ett enkelt kontrollplan der selskapet kan se agentene sine, hvem som har bygget dem, og stenge dem ned hvis noe går galt. Steve Sigrist, visepresident for global kundeservice hos Newell Brands, sa at selskapet bruker Agent Fabric som kontrollplan når det tar i bruk AI-agenter i kundeservicen på tvers av merkevarene sine.

«Bedrifter kan bare skalere agentbruken så raskt som de klarer å holde agentene presise og kostnadene innenfor budsjettet», sa Andrew Comstock, seniorvisepresident og daglig leder for MuleSoft og Agent Fabric. «I dag er det én oppgave å oppdage et feil svar eller en plutselig utgiftsøkning, og en annen å stanse det. Agent Fabric samler disse funksjonene og kombinerer evalueringer, kostnadskontroller og tiltak, slik at team kan begrense problemer umiddelbart og skalere agentbruken med trygghet.»

Tilgjengelighet

Agent Evals og API Evals går inn i betaversjon i november 2026, og generell tilgjengelighet er planlagt i januar 2027. Custom Agent Scanner er i betaversjon per kunngjøringen og blir allment tilgjengelig i januar 2027, det samme gjelder Triggered-Agent Kill Switch. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet og Cost Optimization Policies er allment tilgjengelige per 27. oktober 2026.