Salesforce додає Agent Evals і засоби контролю витрат до Agent Fabric

27 жовтня 2026 року Salesforce оголосила про низку доповнень до Agent Fabric — своєї площини керування ШІ для управління агентами на різних платформах і встановлення правил їхньої роботи. Серед ключових новинок — Agent Evals, API Evals і розширені засоби контролю витрат. За словами Salesforce, платформа обробляє понад 1,2 мільярда запитів на день.

В оголошенні ці доповнення пов’язано з конкретною операційною проблемою: у міру масштабування впровадження ШІ в підприємствах агенти можуть непомітно давати збої, надавати неправильні відповіді й накопичувати витрати, перш ніж хтось це помітить. Salesforce заявила, що нові можливості дають керівникам ІТ-напряму та фахівцям із ШІ змогу виявляти проблеми до того, як вони призведуть до скарг клієнтів або неконтрольованого зростання витрат. Для цього передбачено автоматичне втручання в разі погіршення якості та жорсткі ліміти витрат, що обмежують використання в межах бюджету.

Agent Fabric — це корпоративна площина керування агентами на основі MuleSoft, призначена для виявлення агентів, управління ними, їх оркестрації та моніторингу, а також для роботи з активами ШІ й агентними робочими процесами в єдиній площині керування. Згідно зі сторінкою продукту Agent Fabric, сканери платформи автоматично виявляють і реєструють агентів, сервери протоколу контексту моделі (MCP) та API, що працюють у таких екосистемах, як Amazon, Google, Microsoft, Claude, Databricks і Kong, безпосередньо в Agent Registry — централізованому каталозі активів ШІ. Платформа також містить MCP Bridge, який надає доступ до наявних API як до інструментів MCP; забезпечує оркестрацію кількох агентів, підтримку протоколу A2A, єдиний шлюз для LLM і MCP, Trusted Agent Identity та Agent Visualizer, що відображає мережу агентів і показники, зокрема оцінки впевненості, виявлення вузьких місць і ризики галюцинацій. На сторінці продукту зазначено, що Agent Fabric і Agentforce — платформа Salesforce для створення та запуску агентів у Salesforce — працюють на одному рушії, який визначає, як агенти взаємодіють, міркують, планують і діють.

Постійне оцінювання та автоматичне втручання

За словами Salesforce, Agent Evals автоматично генерує тести перед розгортанням, а потім оцінює агентів, великі мовні моделі (LLM) і сервери MCP у робочому середовищі відповідно до встановлених порогових значень якості. Якщо результати не відповідають вимогам, система запускає заздалегідь визначені заходи, зокрема Agent Kill Switch; якщо цього вимагають правила команди, перед цим потрібно отримати схвалення. На сторінці продукту цю можливість описано як перетворення тестів якості агентів на автоматичні дії; там також зазначено, що оцінювання серверів MCP і LLM з’явиться найближчим часом.

API Evals призначено для іншого типу збоїв: агенти перестають працювати, коли змінюються API, від яких вони залежать. Salesforce заявила, що інструмент автоматично генерує функціональні тести й тести продуктивності на основі специфікацій API та виявляє несумісні зміни ще до їхнього впровадження в робоче середовище.

В оголошенні робочий процес пояснюється на прикладі роздрібного продавця. Щоб знизити операційні витрати, він переводить агента підтримки замовлень на модель ШІ з нижчою вартістю. Після цього Agent Evals запускає заплановані тести й виявляє, що агент надає неточну інформацію про затримані замовлення. Система позначає проблему з якістю та, з огляду на бажання команди залучати людину до процесу, запитує дозвіл на поміщення агента в карантин. Після схвалення агент ізолюють, а команда вдосконалює його інструкції щодо роботи із затриманими замовленнями, повторно запускає оцінювання на моделі з нижчою вартістю, щоб підтвердити її ефективність, і повертає агента в робоче середовище.

За даними сторінки продукту, Agent Kill Switch дає змогу швидко зупинити роботу агента в робочому середовищі й доступний усім користувачам станом на дату оголошення. Загальна доступність Triggered-Agent Kill Switch запланована на січень 2027 року.

Контроль витрат і дотримання бюджету

Для контролю витрат FinOps Dashboard і Model Wallet надають відповідальним за бюджети єдине уявлення про витрати на ШІ та встановлюють жорсткі ліміти, які зупиняють запити, перш ніж витрати перевищать бюджет. За словами Salesforce, політики Cost Optimization Policies скорочують використання токенів до 75% у тестових сценаріях компанії завдяки семантичному кешуванню, стисканню даних запиту та скороченню відповідей.

У документації MuleSoft з керування витратами докладно описано механізми контролю. Model Wallet встановлює бюджет для кожного агента, екземпляра або бізнес-підрозділу й відстежує витрати в реальному часі в міру їх накопичення. Коли кошти у гаманці закінчуються, контроль спрацьовує до перевищення бюджету, а не після отримання рахунку; прогнозування заздалегідь, за кілька днів, сигналізує про ймовірне перевищення. Model Proxy обробляє трафік і оцінює вартість кожного запиту за тарифом, який фактично стягує постачальник, тож витрати на інформаційній панелі відповідають рахунку. Політики оптимізації — Progressive Disclosure, Smart Response Trimming і стискання TOON — працюють на шлюзі та зменшують марне використання токенів, не змінюючи сервери MCP або клієнтський код. У документації також описано відстеження витрат за командами, застосунками й сценаріями використання в реальному часі та автоматичне вимкнення агентів, що вийшли з-під контролю, до перевищення бюджету.

Станом на дату оголошення FinOps Dashboard, Model Wallet і Cost Optimization Policies доступні всім користувачам.

Політики виявлення та федеративного шлюзу

Salesforce також оголосила про два оновлення, що розширюють можливості Agent Fabric за межі стандартної підтримки платформи. Custom Agent Scanner автоматизує виявлення агентів у внутрішніх середовищах, системах за брандмауерами та на сторонніх платформах, даючи командам змогу створювати власні сканери, які вносять агентів, моделі, сервери MCP і API до Agent Registry без потреби вручну реєструвати кожен ресурс. На момент оголошення функція перебуває в бета-версії, а її загальну доступність заплановано на січень 2027 року.

Open Policies for Federated API Gateways виявляє, застосовує та відстежує політики API на шлюзах Azure, Apigee та Kong. Завдяки цьому таку політику, як дозвіл IP-адрес за списком або обмеження частоти запитів, можна застосувати до всіх шлюзів однією дією, а не налаштовувати кожен окремо. На момент оголошення ця функція вже була загальнодоступною.

Дані опитування та заяви клієнтів

В оголошенні нові можливості пов’язали з даними опитування про практики оцінювання: менш як половина організацій, які використовують агентів, оцінюють їх на реальному трафіку. Також згадано звіт LangChain «State of Agent Engineering», у межах якого з 18 листопада до 2 грудня 2025 року опитали понад 1 300 фахівців. Згідно зі звітом, 57,3% респондентів використовують агентів у виробничому середовищі, 32% назвали якість однією з головних перешкод для переходу до виробничого використання, а 89% запровадили певну форму спостережуваності за своїми агентами. Щодо оцінювання, 52,4% організацій повідомили, що проводять офлайнові оцінювання на тестових наборах, тоді як рівень впровадження онлайн-оцінювання становив 37,3%.

Пунам Дешпанде, директорка з інженерії цифрової комерції в ASICS Digital, повідомила, що ASICS співпрацює із Salesforce, допомагаючи формувати бета-версію Agent Evals. «Найбільше нас захоплює в Agent Evals те, що система не обмежується повідомленням про проблему, — сказала вона. — Коли якість роботи агента погіршується, Agent Fabric може автоматично втрутитися: сповістити відповідального або вивести агента з роботи, перш ніж незначна проблема переросте в масштабну проблему для клієнтів».

В оголошенні також наведено заяви керівників Capita, GE Appliances і Newell Brands. Тіна Стівенс, директорка з інженерії ШІ в Capita, сказала, що Agent Evals допоможе компанії перевіряти, чи відповідає робота агентів чітко визначеним бізнес-результатам і цілям обслуговування. Адам Джонс, виконавчий директор із трансформації підприємства в GE Appliances, описав єдину площину керування, у якій компанія може бачити своїх агентів, знати, хто їх створив, і вимикати їх, якщо щось піде не так. Стів Сіґріст, віцепрезидент із глобального обслуговування клієнтів у Newell Brands, сказав, що компанія використовує Agent Fabric як площину керування, впроваджуючи ШІ-агентів у клієнтське обслуговування своїх брендів.

«Підприємства можуть масштабувати використання агентів лише настільки швидко, наскільки здатні підтримувати їхню точність і контролювати витрати», — сказав Ендрю Комсток, старший віцепрезидент і генеральний менеджер MuleSoft та Agent Fabric. «Зараз виявлення неправильної відповіді чи різкого зростання витрат — це одне завдання, а зупинити проблему — інше. Agent Fabric об’єднує ці процеси: поєднує оцінювання, контроль витрат і втручання, щоб команди могли миттєво локалізувати проблеми та впевнено масштабувати використання агентів».

Доступність

Agent Evals і API Evals переходять у бета-версію в листопаді 2026 року, а їхню загальну доступність заплановано на січень 2027 року. На момент оголошення Custom Agent Scanner перебуває в бета-версії; у січні 2027 року він стане загальнодоступним, як і Triggered-Agent Kill Switch. Станом на 27 жовтня 2026 року Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet і Cost Optimization Policies уже загальнодоступні.