Salesforce voegt Agent Evals en kostenbeheersing toe aan Agent Fabric

Salesforce kondigde op 27 oktober 2026 een reeks uitbreidingen van Agent Fabric aan, het AI-beheerplatform voor het beheer en de aansturing van agents op verschillende platforms. De belangrijkste toevoegingen zijn Agent Evals, API Evals en geavanceerde kostenbeheersing. Volgens Salesforce verwerkt het platform dagelijks meer dan 1,2 miljard verzoeken.

De aankondiging plaatst de uitbreidingen in het kader van een specifiek operationeel probleem: wanneer bedrijven hun AI-toepassingen opschalen, kunnen agents ongemerkt fouten maken, verkeerde antwoorden geven en kosten opstapelen voordat iemand dat merkt. Salesforce zegt dat de nieuwe mogelijkheden CIO’s en AI-leiders helpen problemen op te sporen voordat die leiden tot klachten van klanten of onbeheerste kosten. Ze combineren automatische interventies wanneer de kwaliteit terugloopt met harde uitgavenlimieten die het gebruik binnen het budget houden.

Agent Fabric is een beheerplatform voor agents in bedrijven, gebouwd op MuleSoft, waarmee agents, AI-middelen en agentische workflows vanuit één centraal platform kunnen worden ontdekt, beheerd, gecoördineerd en gemonitord. Volgens de productpagina van Agent Fabric detecteren en registreren de scanners automatisch agents, Model Context Protocol (MCP)-servers en API’s die draaien binnen ecosystemen zoals Amazon, Google, Microsoft, Claude, Databricks en Kong. Ze voegen deze rechtstreeks toe aan Agent Registry, een centrale catalogus van AI-middelen. Het platform omvat ook MCP Bridge, dat bestaande API’s beschikbaar maakt als MCP-tools; orkestratie van meerdere agents; ondersteuning voor het A2A-protocol; een gezamenlijke LLM- en MCP-gateway; Trusted Agent Identity; en Agent Visualizer, dat het agentnetwerk in kaart brengt aan de hand van meetgegevens zoals betrouwbaarheidsscores, het opsporen van knelpunten en risico’s op hallucinaties. Op de productpagina staat dat Agent Fabric en Agentforce, het platform van Salesforce voor het bouwen en uitvoeren van agents binnen Salesforce, dezelfde engine gebruiken om te bepalen hoe agents interacties afhandelen, redeneren, plannen en handelen.

Doorlopende evaluatie en automatische interventie

Agent Evals genereert automatisch tests voordat agents worden uitgerold en evalueert vervolgens agents, grote taalmodellen (LLM’s) en MCP-servers in productie aan de hand van vastgestelde kwaliteitsdrempels, aldus Salesforce. Wanneer de resultaten onder de norm blijven, activeert het systeem vooraf bepaalde interventies, waaronder Agent Kill Switch. Daarbij wordt om goedkeuring gevraagd als het beleid van het team dat vereist. De productpagina beschrijft deze mogelijkheid als het omzetten van kwaliteitstests voor agents in automatische actie en vermeldt dat evaluaties van MCP-servers en LLM’s binnenkort beschikbaar komen.

API Evals richt zich op een ander soort storingen: agents vallen uit wanneer de API’s waarvan ze afhankelijk zijn veranderen. Salesforce zegt dat de tool automatisch functionele en prestatietests genereert op basis van API-specificaties, zodat ingrijpende wijzigingen worden opgespoord voordat ze productie bereiken.

De aankondiging licht de werkwijze toe aan de hand van een voorbeeld uit de detailhandel. Een retailer stapt over op een goedkoper AI-model voor zijn agent voor orderondersteuning om de operationele kosten te verlagen. Na de wijziging voert Agent Evals geplande tests uit en ontdekt het dat de agent onjuiste informatie geeft over vertraagde bestellingen. Het systeem signaleert het kwaliteitsprobleem en vraagt, omdat het team een mens bij het proces wil betrekken, toestemming om de agent in quarantaine te plaatsen. Na goedkeuring wordt de agent in quarantaine geplaatst terwijl het team de instructies voor het afhandelen van vertraagde bestellingen aanscherpt. Vervolgens voert het team de evaluatie opnieuw uit met het goedkopere model om de prestaties te controleren en zet het de agent weer in productie.

Agent Kill Switch, dat volgens de productpagina bedoeld is om de activiteit van agents in productie snel stop te zetten, is vanaf de aankondiging algemeen beschikbaar. Triggered-Agent Kill Switch wordt naar verwachting in januari 2027 algemeen beschikbaar.

Kostenbeheersing en handhaving van budgetten

Voor kostenbeheer bieden het FinOps Dashboard en Model Wallet budgetverantwoordelijken één overzicht van de AI-uitgaven en harde limieten die verzoeken tegenhouden voordat de kosten het budget overschrijden. Volgens Salesforce verlagen Cost Optimization Policies het tokengebruik met maximaal 75% in de testsituaties van het bedrijf, dankzij semantische caching, het comprimeren van payloads en het inkorten van antwoorden.

De documentatie van MuleSoft over kostenbeheer beschrijft hoe de handhaving werkt. Model Wallet bewaakt budgetten per agent, per instantie of per bedrijfsonderdeel terwijl de uitgaven in realtime oplopen. Wanneer het saldo van een wallet opraakt, grijpt het systeem in voordat het budget wordt overschreden, niet pas nadat de factuur is ontvangen; bovendien signaleert de prognose al dagen van tevoren dat een overschrijding wordt verwacht. Model Proxy bevindt zich in het verkeerstraject en berekent voor elk verzoek de prijs op basis van het tarief dat de aanbieder daadwerkelijk in rekening brengt, zodat de uitgaven in het dashboard overeenkomen met de factuur. De optimalisatiebeleidsregels (Progressive Disclosure, Smart Response Trimming en TOON-compressie) worden uitgevoerd op de gateway en beperken tokenverspilling zonder MCP-servers of clientcode aan te passen. De documentatie beschrijft ook hoe uitgaven per team, applicatie en gebruikssituatie in realtime worden bijgehouden en hoe ontspoorde agentlussen automatisch worden stopgezet voordat ze het budget overschrijden.

Het FinOps Dashboard, Model Wallet en Cost Optimization Policies zijn vanaf de aankondiging algemeen beschikbaar.

Ontdekking en beleid voor gefedereerde gateways

Salesforce kondigde ook twee updates aan die Agent Fabric uitbreiden met ondersteuning voor meer platforms dan standaard wordt geboden. Custom Agent Scanner maakt geautomatiseerde ontdekking mogelijk in interne omgevingen, systemen achter firewalls en platforms van derden. Zo kunnen teams aangepaste scanners bouwen die agents, modellen, MCP-servers en API’s catalogiseren in Agent Registry, zonder elk onderdeel handmatig te registreren. De functie is op het moment van de aankondiging in bèta; de algemene beschikbaarheid staat gepland voor januari 2027.

Open beleid voor gefedereerde API-gateways ontdekt, handhaaft en volgt API-beleidsregels op gateways van Azure, Apigee en Kong. Zo kan een beleidsregel, zoals een IP-toelatingslijst of snelheidsbeperking, in één handeling op alle gateways worden toegepast in plaats van één voor één. De functie is op het moment van de aankondiging algemeen beschikbaar.

Enquêtegegevens en uitspraken van klanten

De aankondiging koppelt de toevoegingen aan enquêtegegevens over evaluatiepraktijken en merkt op dat minder dan de helft van de organisaties met agents deze op liveverkeer evalueert. Daarbij wordt verwezen naar het rapport van LangChain over de stand van zaken in agentengineering, waarvoor tussen 18 november en 2 december 2025 meer dan 1.300 professionals werden ondervraagd. Uit dat rapport blijkt dat 57,3% van de respondenten agents in productie heeft draaien, dat 32% de kwaliteit noemde als een van de belangrijkste belemmeringen voor productie en dat 89% een vorm van waarneembaarheid voor hun agents heeft ingevoerd. Specifiek voor evaluatie meldde 52,4% van de organisaties offline-evaluaties met testsets uit te voeren, terwijl de toepassing van online-evaluatie op 37,3% lag.

Poonam Deshpande, directeur Engineering, Digital Commerce bij ASICS Digital, zei dat ASICS met Salesforce samenwerkt om de bèta van Agent Evals vorm te geven. „Wat ons het meest aanspreekt aan Agent Evals is dat het niet blijft bij de melding dat er iets mis is”, zei ze. „Wanneer de kwaliteit van een agent afneemt, kan Agent Fabric automatisch ingrijpen door de juiste verantwoordelijke te waarschuwen of de agent offline te halen voordat een klein probleem uitgroeit tot een wijdverbreid probleem voor klanten.”

De aankondiging bevatte ook uitspraken van leidinggevenden bij Capita, GE Appliances en Newell Brands. Tiina Stephens, directeur AI Engineering bij Capita, zei dat Agent Evals het bedrijf zal helpen te controleren of agents voldoen aan duidelijke bedrijfs- en servic doestellingen. Adam Jones, uitvoerend directeur Enterprise Transformation bij GE Appliances, beschreef één controlecentrum waar het bedrijf zijn agents kan zien, kan nagaan wie ze heeft gebouwd en ze kan uitschakelen als er iets misgaat. Steve Sigrist, vicepresident Global Customer Service bij Newell Brands, zei dat het bedrijf Agent Fabric als controlecentrum gebruikt nu het AI-agents inzet voor klantenservice bij al zijn merken.

„Bedrijven kunnen agents alleen zo snel opschalen als ze ervoor kunnen zorgen dat ze accuraat en binnen budget blijven”, zei Andrew Comstock, senior vicepresident en algemeen directeur van MuleSoft en Agent Fabric. „Een fout antwoord of een plotselinge kostenstijging signaleren is nu één taak, en ingrijpen is een andere. Agent Fabric brengt die taken samen door evaluaties, kostenbeheersing en interventie te combineren. Zo kunnen teams problemen direct indammen en agents met vertrouwen opschalen.”

Beschikbaarheid

Agent Evals en API Evals gaan in november 2026 in bèta; de algemene beschikbaarheid staat gepland voor januari 2027. Custom Agent Scanner is op het moment van de aankondiging in bèta en wordt in januari 2027 algemeen beschikbaar, net als de noodstop voor geactiveerde agents. Agent Kill Switch, Open beleid voor gefedereerde API-gateways, het FinOps-dashboard, de modelportemonnee en het kostenoptimalisatiebeleid zijn sinds 27 oktober 2026 algemeen beschikbaar.