Salesforce ergänzt Agent Fabric um Agent Evals und Kostenkontrollen

Salesforce kündigte am 27. Oktober 2026 eine Reihe von Erweiterungen für Agent Fabric an, seine KI-Steuerungsebene zur plattformübergreifenden Verwaltung und Steuerung von Agenten. Zu den wichtigsten Neuerungen zählen Agent Evals, API Evals und erweiterte Kostenkontrollen. Salesforce zufolge verarbeitet die Plattform täglich mehr als 1,2 Milliarden Anfragen.

Die Ankündigung stellt die Neuerungen in den Zusammenhang eines konkreten betrieblichen Problems: Wenn Unternehmen ihre KI-Einsätze ausweiten, können Agenten unbemerkt versagen, falsche Antworten liefern und Kosten verursachen, bevor jemand davon erfährt. Salesforce zufolge helfen die neuen Funktionen CIOs und KI-Verantwortlichen dabei, Probleme zu erkennen, bevor sie zu Kundenbeschwerden oder ausufernden Kosten führen. Dazu gehören automatisierte Eingriffe bei nachlassender Qualität sowie feste Ausgabenlimits, die die Nutzung auf das Budget begrenzen.

Agent Fabric ist eine auf MuleSoft aufbauende Steuerungsebene für Unternehmensagenten, mit der sich Agenten, KI-Ressourcen und agentengestützte Workflows über eine zentrale Steuerungsebene auffinden, verwalten, orchestrieren und überwachen lassen. Laut der Produktseite von Agent Fabric erkennen die Scanner automatisch Agenten, Model Context Protocol (MCP)-Server und APIs in Ökosystemen wie Amazon, Google, Microsoft, Claude, Databricks und Kong und registrieren sie direkt in Agent Registry, einem zentralen Katalog für KI-Ressourcen. Zur Plattform gehören außerdem MCP Bridge, das bestehende APIs als MCP-Tools verfügbar macht, die Orchestrierung mehrerer Agenten, die Unterstützung des A2A-Protokolls, ein einheitliches LLM- und MCP-Gateway, Trusted Agent Identity sowie Agent Visualizer. Letzteres bildet das Agentennetzwerk ab und berücksichtigt dabei Kennzahlen wie Konfidenzwerte, die Erkennung von Engpässen und Halluzinationsrisiken. Auf der Produktseite heißt es, dass Agent Fabric und Agentforce, die Salesforce-Plattform zum Erstellen und Ausführen von Agenten innerhalb von Salesforce, von derselben Engine unterstützt werden, mit der sich festlegen lässt, wie Agenten Interaktionen bewältigen, Schlussfolgerungen ziehen, planen und handeln.

Kontinuierliche Evaluierung und automatisierte Eingriffe

Agent Evals erstellt vor der Bereitstellung automatisch Tests und bewertet anschließend Agenten, große Sprachmodelle (LLMs) und MCP-Server in der Produktivumgebung anhand festgelegter Qualitätsschwellen, so Salesforce. Werden die Zielwerte verfehlt, löst das System vordefinierte Eingriffe aus, darunter den Agent Kill Switch. Wenn die Richtlinien eines Teams dies vorsehen, ist dafür eine Genehmigung erforderlich. Auf der Produktseite wird die Funktion als Möglichkeit beschrieben, Qualitätstests für Agenten in automatische Maßnahmen umzusetzen. Evaluierungen von MCP-Servern und LLMs werden dort als demnächst verfügbar aufgeführt.

API Evals setzt an einer anderen möglichen Fehlerquelle an: Agenten funktionieren nicht mehr, wenn sich die von ihnen verwendeten APIs ändern. Salesforce zufolge erstellt das Tool anhand von API-Spezifikationen automatisch Funktions- und Leistungstests und erkennt inkompatible Änderungen, bevor diese die Produktivumgebung erreichen.

Zur Veranschaulichung des Ablaufs führt die Ankündigung das Beispiel eines Einzelhändlers an. Um die Betriebskosten zu senken, stellt dieser seinen Agenten für die Bestellbetreuung auf ein kostengünstigeres KI-Modell um. Nach der Umstellung führt Agent Evals planmäßige Tests aus und erkennt, dass der Agent falsche Informationen zu verspäteten Bestellungen gibt. Das System meldet das Qualitätsproblem und bittet um Genehmigung, den Agenten unter Quarantäne zu stellen, da das Team einen Menschen in den Prozess einbeziehen möchte. Nach der Genehmigung wird der Agent unter Quarantäne gestellt, während das Team seine Anweisungen zum Umgang mit verspäteten Bestellungen überarbeitet, die Evaluierung mit dem kostengünstigeren Modell zur Leistungsüberprüfung erneut durchführt und den Agenten wieder in die Produktivumgebung überführt.

Der Agent Kill Switch, der laut Produktseite dazu dient, Agentenaktivitäten in der Produktivumgebung schnell zu stoppen, ist zum Zeitpunkt der Ankündigung allgemein verfügbar. Der Triggered-Agent Kill Switch soll im Januar 2027 allgemein verfügbar werden.

Kostenkontrollen und Budgetüberwachung

Für die Kostenkontrolle bieten das FinOps Dashboard und Model Wallet Budgetverantwortlichen eine zentrale Übersicht über die KI-Ausgaben sowie feste Limits, die Anfragen stoppen, bevor die Kosten das Budget überschreiten. Salesforce zufolge senken Cost Optimization Policies den Tokenverbrauch in den Testszenarien des Unternehmens durch semantisches Caching, Payload-Komprimierung und das Kürzen von Antworten um bis zu 75 Prozent.

Die Kostenmanagement-Dokumentation von MuleSoft erläutert die Durchsetzungsmechanismen. Model Wallet setzt Budgets pro Agent, Instanz oder Geschäftsbereich durch und erfasst die Ausgaben in Echtzeit. Ist das Budget eines Wallets nahezu aufgebraucht, greift die Durchsetzung, bevor es zu einer Überschreitung kommt – nicht erst nach Eingang der Rechnung. Außerdem weist die Prognose mehrere Tage im Voraus auf eine erwartete Budgetüberschreitung hin. Model Proxy befindet sich im Datenverkehrspfad und berechnet jede Anfrage anhand des tatsächlichen Tarifs des Anbieters. So stimmen die im Dashboard ausgewiesenen Ausgaben mit der Rechnung überein. Die Optimierungsrichtlinien (Progressive Disclosure, Smart Response Trimming und TOON-Komprimierung) werden am Gateway ausgeführt und reduzieren den Tokenverbrauch, ohne MCP-Server oder Client-Code zu verändern. In der Dokumentation wird außerdem beschrieben, wie Ausgaben in Echtzeit nach Team, Anwendung und Anwendungsfall erfasst und außer Kontrolle geratene Agentenschleifen automatisch gestoppt werden, bevor sie das Budget überschreiten.

Das FinOps Dashboard, Model Wallet und Cost Optimization Policies sind zum Zeitpunkt der Ankündigung allgemein verfügbar.

Erkennung und föderierte Gateway-Richtlinien

Salesforce kündigte außerdem zwei Neuerungen an, die Agent Fabric über die standardmäßige Plattformunterstützung hinaus erweitern. Custom Agent Scanner ermöglicht die automatisierte Erkennung in internen Umgebungen, Systemen hinter Firewalls und Drittanbieterplattformen. So können Teams benutzerdefinierte Scanner erstellen, die Agenten, Modelle, MCP-Server und APIs im Agent Registry erfassen, ohne jedes Asset manuell registrieren zu müssen. Zum Zeitpunkt der Ankündigung befand sich die Funktion in der Betaphase; die allgemeine Verfügbarkeit ist für Januar 2027 geplant.

Open Policies for Federated API Gateways erkennt, erzwingt und überwacht API-Richtlinien über Gateways von Azure, Apigee und Kong hinweg. So lässt sich eine Richtlinie wie eine IP-Zulassungsliste oder eine Ratenbegrenzung mit einer einzigen Aktion auf alle Gateways anwenden, statt sie einzeln zu konfigurieren. Die Funktion ist zum Zeitpunkt der Ankündigung allgemein verfügbar.

Umfragedaten und Aussagen von Kunden

Die Ankündigung verknüpft die Neuerungen mit Umfragedaten zu Evaluierungspraktiken und weist darauf hin, dass weniger als die Hälfte der Unternehmen mit Agenten diese im Livebetrieb evaluieren. Sie verweist auf den Bericht „State of Agent Engineering“ von LangChain, für den zwischen dem 18. November und dem 2. Dezember 2025 mehr als 1.300 Fachleute befragt wurden. Dem Bericht zufolge setzen 57,3 % der Befragten Agenten in der Produktion ein, 32 % nannten die Qualität als eines der größten Hindernisse für den Produktionseinsatz, und 89 % haben eine Form der Beobachtbarkeit für ihre Agenten eingeführt. Bei der Evaluierung gaben 52,4 % der Unternehmen an, Offline-Evaluierungen anhand von Testsätzen durchzuführen; die Verbreitung von Online-Evaluierungen lag bei 37,3 %.

Poonam Deshpande, Director of Engineering, Digital Commerce bei ASICS Digital, sagte, ASICS arbeite mit Salesforce zusammen, um die Betaversion von Agent Evals mitzugestalten. „Am meisten begeistert uns an Agent Evals, dass es nicht dabei bleibt, uns mitzuteilen, dass etwas nicht stimmt“, sagte sie. „Wenn die Qualität eines Agenten nachlässt, kann Agent Fabric automatisch eingreifen, die zuständige Person benachrichtigen oder den Agenten außer Betrieb nehmen, bevor aus einem kleinen Problem ein weitreichendes Kundenproblem wird.“

Die Ankündigung enthielt außerdem Aussagen von Führungskräften bei Capita, GE Appliances und Newell Brands. Tiina Stephens, Director of AI Engineering bei Capita, sagte, Agent Evals werde dem Unternehmen dabei helfen, zu überprüfen, ob die Agenten klar definierten geschäftlichen und servicebezogenen Zielen gerecht werden. Adam Jones, Executive Director of Enterprise Transformation bei GE Appliances, beschrieb eine zentrale Steuerungsebene, auf der das Unternehmen seine Agenten und deren Entwickler sehen und die Agenten bei Problemen abschalten könne. Steve Sigrist, Vice President of Global Customer Service bei Newell Brands, sagte, das Unternehmen nutze Agent Fabric als Steuerungsebene, während es KI-Agenten im Kundenservice seiner Marken einführe.

„Unternehmen können Agenten nur so schnell skalieren, wie sie deren Genauigkeit und Kosten im Griff behalten“, sagte Andrew Comstock, SVP und GM von MuleSoft und Agent Fabric. „Bisher sind das Erkennen einer falschen Antwort oder eines plötzlichen Ausgabenanstiegs einerseits und das Beheben des Problems andererseits zwei getrennte Aufgaben. Agent Fabric führt sie zusammen und vereint Evaluierungen, Kostenkontrollen und Eingriffsmöglichkeiten, damit Teams Probleme sofort eindämmen und Agenten mit Zuversicht skalieren können.“

Verfügbarkeit

Agent Evals und API Evals starten im November 2026 in die Betaphase; die allgemeine Verfügbarkeit ist für Januar 2027 geplant. Custom Agent Scanner befindet sich zum Zeitpunkt der Ankündigung in der Betaphase und wird im Januar 2027 allgemein verfügbar. Das gilt auch für Triggered-Agent Kill Switch. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet und Cost Optimization Policies sind seit dem 27. Oktober 2026 allgemein verfügbar.