Salesforce tilføjer Agent Evals og omkostningskontrol til Agent Fabric

Salesforce meddelte den 27. oktober 2026, at der kommer en række tilføjelser til Agent Fabric, virksomhedens AI-kontrolplan til administration og styring af agenter på tværs af platforme. De vigtigste nyheder er Agent Evals, API Evals og avanceret omkostningskontrol. Salesforce oplyste, at platformen håndterer mere end 1,2 milliarder anmodninger dagligt.

Meddelelsen sætter tilføjelserne i relation til et konkret driftsproblem: Når virksomheder skalerer deres AI-implementeringer, kan agenter fejle uden synlige tegn, give forkerte svar og akkumulere omkostninger, før nogen opdager det. Salesforce oplyste, at de nye funktioner gør det muligt for CIO’er og AI-ansvarlige at opdage problemer, før de fører til kundeklager eller løbske omkostninger. Det sker ved at kombinere automatiske indgreb, når kvaliteten falder, med faste forbrugsgrænser, der holder forbruget inden for budgettet.

Agent Fabric er en kontrolplan til virksomheders agenter, bygget på MuleSoft, som gør det muligt at finde, styre, orkestrere og overvåge agenter, AI-aktiver og agentbaserede arbejdsgange fra én samlet kontrolplan. Ifølge produktsiden for Agent Fabric finder og registrerer platformens scannere automatisk agenter, Model Context Protocol (MCP)-servere og API’er, der kører på tværs af økosystemer som Amazon, Google, Microsoft, Claude, Databricks og Kong, direkte i Agent Registry, et centralt katalog over AI-aktiver. Platformen omfatter også MCP Bridge, som stiller eksisterende API’er til rådighed som MCP-værktøjer; orkestrering af flere agenter; understøttelse af A2A-protokollen; en samlet LLM- og MCP-gateway; Trusted Agent Identity; og Agent Visualizer, som kortlægger agentnetværket med målepunkter som konfidensscorer, registrering af flaskehalse og risiko for hallucinationer. Produktsiden oplyser, at Agent Fabric og Agentforce, Salesforces platform til at bygge og køre agenter i Salesforce, drives af den samme motor, der definerer, hvordan agenter håndterer interaktioner, ræsonnerer, planlægger og handler.

Løbende evaluering og automatiseret indgriben

Salesforce oplyste, at Agent Evals automatisk genererer test før implementering og derefter evaluerer agenter, store sprogmodeller (LLM’er) og MCP-servere i produktion ud fra fastlagte kvalitetsgrænser. Når resultaterne ikke lever op til kravene, iværksætter systemet foruddefinerede indgreb, herunder Agent Kill Switch, med et godkendelsestrin, hvis teamets politik kræver det. Produktsiden beskriver funktionen som en måde at omsætte kvalitetstest af agenter til automatisk handling på og anfører, at evaluering af MCP-servere og LLM’er kommer snart.

API Evals retter sig mod et andet fejlpunkt: Agenter holder op med at fungere, når de API’er, de er afhængige af, ændres. Salesforce oplyste, at værktøjet automatisk genererer funktionelle test og ydeevnetest ud fra API-specifikationer, så ændringer, der bryder kompatibiliteten, opdages, før de når produktion.

Meddelelsen gennemgår et eksempel fra detailhandlen for at illustrere arbejdsgangen. En detailhandler skifter sin agent til ordresupport til en billigere AI-model for at reducere driftsomkostningerne. Efter skiftet kører Agent Evals planlagte test og opdager, at agenten giver upræcise oplysninger om forsinkede ordrer. Systemet markerer kvalitetsproblemet og anmoder om godkendelse til at sætte agenten i karantæne, i overensstemmelse med teamets ønske om at have et menneske med i processen. Når godkendelsen er givet, sættes agenten i karantæne, mens teamet forbedrer dens instruktioner om håndtering af forsinkede ordrer, kører evalueringen igen på den billigere model for at bekræfte ydeevnen og sender agenten tilbage i produktion.

Agent Kill Switch, som produktsiden beskriver som en måde hurtigt at stoppe agentaktivitet i produktion på, er generelt tilgængelig på tidspunktet for meddelelsen. Triggered-Agent Kill Switch bliver efter planen generelt tilgængelig i januar 2027.

Omkostningskontrol og håndhævelse af budgetter

På omkostningssiden giver FinOps Dashboard og Model Wallet budgetansvarlige ét samlet overblik over AI-udgifter og faste grænser, der stopper anmodninger, før omkostningerne overskrider budgettet. Salesforce oplyste, at Cost Optimization Policies reducerer tokenforbruget med op til 75 % i virksomhedens testscenarier ved hjælp af semantisk caching, komprimering af indhold og afkortning af svar.

MuleSofts dokumentation om omkostningsstyring beskriver, hvordan grænserne håndhæves. Model Wallet håndhæver budgetter pr. agent, pr. instans eller pr. forretningsenhed, mens forbruget følges løbende; når en wallet er ved at løbe tør, træder håndhævelsen i kraft, før budgettet overskrides, ikke først når fakturaen kommer, og prognoser varsler om forventede overskridelser flere dage i forvejen. Model Proxy ligger i trafikstrømmen og beregner prisen for hver anmodning ud fra den takst, udbyderen faktisk opkræver, så udgifterne på dashboardet stemmer overens med fakturaen. Optimeringspolitikkerne (Progressive Disclosure, Smart Response Trimming og TOON-komprimering) kører i gatewayen og reducerer spild af tokens uden at ændre MCP-servere eller klientkode. Dokumentationen beskriver også, hvordan forbruget kan følges i realtid efter team, applikation og anvendelsestilfælde, og hvordan løbske agentløkker automatisk lukkes ned, før de overskrider budgettet.

FinOps Dashboard, Model Wallet og Cost Optimization Policies er generelt tilgængelige på tidspunktet for meddelelsen.

Opdagelse og politikker for fødererede gateways

Salesforce annoncerede også to opdateringer, der udvider Agent Fabric ud over den indbyggede understøttelse af platforme. Custom Agent Scanner gør det muligt automatisk at finde agenter i interne miljøer, systemer bag firewalls og tredjepartsplatforme, så teams kan bygge brugerdefinerede scannere, der katalogiserer agenter, modeller, MCP-servere og API’er i Agent Registry, uden at hvert enkelt aktiv skal registreres manuelt. Funktionen er i betaversion på tidspunktet for annonceringen, og generel tilgængelighed er planlagt til januar 2027.

Open Policies for Federated API Gateways finder, håndhæver og sporer API-politikker på tværs af gateways fra Azure, Apigee og Kong. Det gør det muligt at anvende en politik, f.eks. IP-adressetilladelseslister eller hastighedsbegrænsning, på dem alle med én handling i stedet for at gøre det én gateway ad gangen. Funktionen er generelt tilgængelig på tidspunktet for annonceringen.

Undersøgelsesdata og kundeudtalelser

Annonceringen knytter tilføjelserne til undersøgelsesdata om evalueringspraksis og bemærker, at færre end halvdelen af organisationer med agenter evaluerer dem på live-trafik. Den henviser til LangChains rapport State of Agent Engineering, hvor mere end 1.300 fagfolk blev spurgt mellem 18. november og 2. december 2025. Rapporten viste, at 57,3 % af respondenterne har agenter i drift i produktion, at 32 % angav kvalitet som en af de største hindringer for at sætte agenter i produktion, og at 89 % har implementeret en eller anden form for observerbarhed for deres agenter. Hvad angår evaluering specifikt, oplyste 52,4 % af organisationerne, at de gennemfører offline-evalueringer på testsæt, mens udbredelsen af online-evaluering lå på 37,3 %.

Poonam Deshpande, teknisk direktør for Digital Commerce hos ASICS Digital, sagde, at ASICS samarbejder med Salesforce om at være med til at forme betaversionen af Agent Evals. »Det, der begejstrer os mest ved Agent Evals, er, at løsningen ikke nøjes med at fortælle os, at noget er galt,« sagde hun. »Når en agents kvalitet falder, kan Agent Fabric automatisk gribe ind ved at advare den rette ansvarlige eller tage agenten offline, før et mindre problem udvikler sig til et udbredt problem for kunderne.«

Annonceringen indeholdt også udtalelser fra ledere hos Capita, GE Appliances og Newell Brands. Tiina Stephens, direktør for AI Engineering hos Capita, sagde, at Agent Evals vil hjælpe virksomheden med at validere, at agenterne lever op til tydelige forretningsmæssige mål og servicemål. Adam Jones, administrerende direktør for Enterprise Transformation hos GE Appliances, beskrev en samlet kontrolflade, hvor virksomheden kan se sine agenter, hvem der har bygget dem, og lukke dem ned, hvis noget går galt. Steve Sigrist, vicepræsident for global kundeservice hos Newell Brands, sagde, at virksomheden bruger Agent Fabric som sin kontrolflade, mens den tager AI-agenter i brug inden for kundeservice på tværs af sine brands.

»Virksomheder kan kun skalere agenter lige så hurtigt, som de kan sikre, at de er præcise og holder sig inden for budgettet,« sagde Andrew Comstock, senior vicepræsident og general manager for MuleSoft og Agent Fabric. »I dag er det én opgave at opdage et forkert svar eller en pludselig stigning i udgifterne, og en anden at stoppe det. Agent Fabric samler opgaverne ved at forene evalueringer, omkostningsstyring og indgriben, så teams straks kan begrænse problemer og skalere agenter med tillid.«

Tilgængelighed

Agent Evals og API Evals går i betaversion i november 2026, og generel tilgængelighed er planlagt til januar 2027. Custom Agent Scanner er i betaversion på tidspunktet for annonceringen og bliver generelt tilgængelig i januar 2027, ligesom Triggered-Agent Kill Switch. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet og Cost Optimization Policies er generelt tilgængelige pr. 27. oktober 2026.