Salesforce добавляет Agent Evals и средства контроля расходов в Agent Fabric

27 октября 2026 года Salesforce объявила о ряде дополнений к Agent Fabric — своей платформе управления ИИ-агентами и контроля за ними в разных системах. Среди главных новинок — Agent Evals, API Evals и расширенные средства контроля расходов. По словам Salesforce, платформа обрабатывает более 1,2 млрд запросов в день.

В анонсе дополнения представлены как решение конкретной операционной проблемы: по мере масштабирования внедрения ИИ в компаниях агенты могут незаметно давать сбои, выдавать неверные ответы и накапливать расходы, прежде чем это кто-либо заметит. Salesforce заявила, что новые возможности позволяют ИТ-директорам и руководителям ИИ-направлений выявлять проблемы до того, как они приведут к жалобам клиентов или неконтролируемому росту расходов. Для этого предусмотрены автоматические меры реагирования при снижении качества и жесткие лимиты расходов, ограничивающие использование в рамках бюджета.

Agent Fabric — корпоративная платформа управления ИИ-агентами на базе MuleSoft, предназначенная для обнаружения, контроля, оркестрации и мониторинга агентов, ИИ-ресурсов и агентных рабочих процессов из единой среды управления. Согласно странице продукта Agent Fabric, сканеры платформы автоматически обнаруживают агентов, серверы Model Context Protocol (MCP) и API, работающие в таких экосистемах, как Amazon, Google, Microsoft, Claude, Databricks и Kong, и регистрируют их непосредственно в Agent Registry — централизованном каталоге ИИ-ресурсов. В платформу также входят MCP Bridge, который предоставляет доступ к существующим API в виде инструментов MCP; оркестрация нескольких агентов; поддержка протокола A2A; единый шлюз для LLM и MCP; Trusted Agent Identity; а также Agent Visualizer, который отображает сеть агентов и такие показатели, как оценки уверенности, выявление узких мест и риски галлюцинаций. На странице продукта сказано, что Agent Fabric и Agentforce — платформа Salesforce для создания и запуска агентов в Salesforce — работают на одном движке, который определяет, как агенты взаимодействуют, рассуждают, планируют и действуют.

Непрерывная оценка и автоматическое реагирование

По словам Salesforce, Agent Evals автоматически создает тесты до развертывания, а затем оценивает агентов, большие языковые модели (LLM) и серверы MCP в рабочей среде, сопоставляя результаты с заданными порогами качества. Если результаты оказываются ниже требуемого уровня, система запускает заранее определенные меры реагирования, в том числе Agent Kill Switch; если этого требует политика команды, перед выполнением меры запрашивается одобрение. На странице продукта эта возможность описана как механизм, превращающий тесты качества агентов в автоматические действия; там также указано, что оценка серверов MCP и LLM появится в будущем.

API Evals предназначен для устранения другой причины сбоев: агенты перестают работать, когда меняются API, от которых они зависят. Salesforce заявила, что инструмент автоматически создает функциональные тесты и тесты производительности на основе спецификаций API и выявляет несовместимые изменения до их попадания в рабочую среду.

В анонсе рабочий процесс иллюстрируется примером розничной компании. Чтобы сократить операционные расходы, компания переводит агента поддержки заказов на более дешевую модель ИИ. После этого Agent Evals запускает запланированные тесты и обнаруживает, что агент сообщает недостоверную информацию о задержанных заказах. Система отмечает проблему с качеством и, учитывая желание команды сохранять участие человека в процессе, запрашивает одобрение на изоляцию агента. После одобрения агент изолируют, пока команда уточняет инструкции по обработке задержанных заказов, повторно запускает оценку на более дешевой модели, чтобы проверить ее работу, а затем возвращает агента в рабочую среду.

Согласно странице продукта, Agent Kill Switch позволяет быстро остановить работу агента в рабочей среде и на момент анонса уже доступен всем пользователям. Triggered-Agent Kill Switch станет общедоступным в январе 2027 года.

Контроль расходов и соблюдение бюджетных ограничений

Для контроля расходов FinOps Dashboard и Model Wallet предоставляют владельцам бюджета единое представление о расходах на ИИ и устанавливают жесткие лимиты, которые блокируют запросы до превышения бюджета. По данным Salesforce, согласно тестовым сценариям компании, Cost Optimization Policies сокращают расход токенов до 75% за счет семантического кэширования, сжатия полезной нагрузки и сокращения ответов.

В документации MuleSoft по управлению расходами подробно описаны механизмы контроля. Model Wallet устанавливает бюджет для каждого агента, экземпляра или бизнес-подразделения и отслеживает расходы в реальном времени по мере их возникновения; когда средства в кошельке заканчиваются, ограничение применяется до превышения бюджета, а не после получения счета, и система прогнозирования предупреждает о возможном превышении за несколько дней. Model Proxy находится на пути трафика и рассчитывает стоимость каждого запроса по тарифу, который фактически взимает поставщик, благодаря чему данные о расходах на панели мониторинга совпадают со счетом. Политики оптимизации (Progressive Disclosure, Smart Response Trimming и сжатие TOON) работают на шлюзе и сокращают неэффективный расход токенов, не изменяя серверы MCP или клиентский код. В документации также описано отслеживание расходов по команде, приложению и сценарию использования в реальном времени, а также автоматическое отключение неконтролируемых циклов работы агентов до превышения бюджета.

На момент анонса FinOps Dashboard, Model Wallet и Cost Optimization Policies уже доступны всем пользователям.

Обнаружение и политики федеративного шлюза

Salesforce также объявила о двух обновлениях, расширяющих возможности Agent Fabric за пределы встроенной поддержки платформ. Custom Agent Scanner автоматически обнаруживает агентов во внутренних средах, системах за межсетевыми экранами и на сторонних платформах. Это позволяет командам создавать собственные сканеры, которые добавляют сведения об агентах, моделях, MCP-серверах и API в Agent Registry без необходимости регистрировать каждый ресурс вручную. На момент объявления функция находилась в бета-версии; ее общедоступный выпуск запланирован на январь 2027 года.

Функция «Открытые политики для федеративных API-шлюзов» обнаруживает, применяет и отслеживает политики API в шлюзах Azure, Apigee и Kong. Например, она позволяет одним действием применить ко всем шлюзам политику разрешения доступа по IP-адресам или ограничения частоты запросов, вместо того чтобы настраивать их по очереди. На момент объявления эта функция уже была общедоступна.

Данные опроса и отзывы клиентов

В объявлении новые функции связаны с данными опроса о практиках оценки: отмечается, что в менее чем половине организаций, использующих агентов, их оценивают на реальном трафике. В качестве источника приводится отчет LangChain о состоянии разработки агентных систем, подготовленный по итогам опроса более 1 300 специалистов, который проводился с 18 ноября по 2 декабря 2025 года. Согласно отчету, 57,3% респондентов используют агентов в производственной среде, 32% назвали качество одним из главных препятствий для внедрения в производство, а 89% внедрили ту или иную форму мониторинга своих агентов. Что касается непосредственно оценки, 52,4% организаций сообщили, что проводят офлайн-оценку на тестовых наборах данных, тогда как доля организаций, использующих онлайн-оценку, составила 37,3%.

Пунам Дешпанде, директор по разработке в подразделении цифровой коммерции ASICS Digital, сообщила, что ASICS сотрудничает с Salesforce, помогая формировать бета-версию Agent Evals. «Больше всего в Agent Evals нас воодушевляет то, что функция не ограничивается сообщением о проблеме, — сказала она. — Когда качество работы агента снижается, Agent Fabric может автоматически вмешаться: уведомить нужного ответственного или отключить агента, прежде чем небольшая проблема перерастет в серьезную проблему для клиентов».

В объявлении также приводятся заявления руководителей Capita, GE Appliances и Newell Brands. Тиина Стивенс, директор по разработке ИИ в Capita, сказала, что Agent Evals поможет компании проверять, насколько работа агентов соответствует четким бизнес-целям и требованиям к обслуживанию. Адам Джонс, исполнительный директор по трансформации бизнеса в GE Appliances, описал единую панель управления, с помощью которой компания может видеть своих агентов, узнавать, кто их создал, и отключать их в случае неполадок. Стив Сигрист, вице-президент по глобальному обслуживанию клиентов в Newell Brands, сообщил, что компания использует Agent Fabric как панель управления, внедряя ИИ-агентов в обслуживание клиентов во всех своих брендах.

«Компании могут масштабировать использование агентов лишь настолько быстро, насколько способны поддерживать их точность и контролировать расходы», — сказал Эндрю Комсток, старший вице-президент и генеральный директор MuleSoft и Agent Fabric. «Сегодня выявление неверного ответа или резкого скачка расходов — одна задача, а остановка проблемы — другая. Agent Fabric объединяет эти процессы: оценку, контроль затрат и вмешательство, чтобы команды могли мгновенно локализовать проблемы и уверенно масштабировать использование агентов».

Доступность

Agent Evals и API Evals перейдут в бета-версию в ноябре 2026 года; их общедоступный выпуск запланирован на январь 2027 года. На момент объявления Custom Agent Scanner находился в бета-версии и станет общедоступным в январе 2027 года; тогда же станет доступен переключатель аварийного отключения агента, запускаемого по триггеру. По состоянию на 27 октября 2026 года Agent Kill Switch, функция «Открытые политики для федеративных API-шлюзов», панель FinOps, Model Wallet и политики оптимизации затрат уже доступны широкой публике.