Salesforce, Agent Fabric에 에이전트 평가 및 비용 제어 기능 추가

Salesforce는 2026년 10월 27일, 플랫폼 전반에서 에이전트를 관리하고 거버넌스를 적용하는 AI 제어 플랫폼인 Agent Fabric에 Agent Evals, API Evals, 고급 비용 제어 기능을 포함한 여러 기능을 추가한다고 발표했다. Salesforce에 따르면 이 플랫폼은 하루 12억 건이 넘는 요청을 처리한다.

이번 발표는 기업이 AI 배포 규모를 키우면서 겪는 구체적인 운영 문제에 초점을 맞춘다. 에이전트가 조용히 오작동해 잘못된 답변을 내놓고, 이를 알아차리기도 전에 비용이 누적될 수 있다는 것이다. Salesforce는 새로운 기능을 통해 CIO와 AI 책임자가 문제가 고객 불만이나 감당하기 어려운 비용으로 이어지기 전에 이를 포착할 수 있다고 밝혔다. 품질이 저하되면 자동으로 개입하는 기능과 예산에 맞춰 사용량을 제한하는 엄격한 지출 한도를 결합했다.

Agent Fabric은 MuleSoft를 기반으로 구축된 기업용 에이전트 제어 플랫폼으로, 단일 제어 플랫폼에서 에이전트, AI 자산, 에이전트 기반 워크플로를 검색하고 거버넌스를 적용하며 오케스트레이션하고 모니터링한다. Agent Fabric 제품 페이지에 따르면, 스캐너는 Amazon, Google, Microsoft, Claude, Databricks, Kong 등의 생태계에서 실행되는 에이전트, Model Context Protocol (MCP) 서버, API를 자동으로 탐지해 AI 자산의 중앙 카탈로그인 Agent Registry에 등록한다. 또한 기존 API를 MCP 도구로 제공하는 MCP Bridge, 멀티 에이전트 오케스트레이션, A2A 프로토콜 지원, 통합 LLM 및 MCP 게이트웨이, Trusted Agent Identity, 그리고 신뢰도 점수, 병목 탐지, 환각 위험 등의 지표를 포함해 에이전트 네트워크를 시각화하는 Agent Visualizer도 제공한다. 제품 페이지에 따르면 Agent Fabric과 Salesforce 내에서 에이전트를 구축하고 실행하는 플랫폼인 Agentforce는 에이전트가 상호작용을 처리하고 추론하며 계획을 세우고 행동하는 방식을 정의하는 동일한 엔진을 기반으로 작동한다.

지속적인 평가와 자동 개입

Salesforce에 따르면 Agent Evals는 배포 전에 테스트를 자동으로 생성한 다음, 운영 환경에서 에이전트, 대규모 언어 모델(LLM), MCP 서버를 정해진 품질 기준에 따라 평가한다. 결과가 기준에 미치지 못하면 시스템은 사전 정의된 개입을 실행하며, 여기에는 Agent Kill Switch도 포함된다. 팀 정책상 승인이 필요한 경우에는 승인 절차를 거친다. 제품 페이지는 이 기능을 에이전트 품질 테스트를 자동 조치로 전환하는 기능이라고 설명하며, MCP 서버와 LLM 평가는 곧 제공될 기능으로 안내한다.

API Evals는 다른 유형의 장애를 해결한다. 에이전트가 의존하는 API가 변경되면 에이전트가 제대로 작동하지 않을 수 있다. Salesforce에 따르면 이 도구는 API 사양을 바탕으로 기능 및 성능 테스트를 자동 생성해, 호환성을 깨뜨리는 변경 사항이 운영 환경에 반영되기 전에 찾아낸다.

이번 발표에서는 소매업체 사례를 통해 작업 흐름을 설명한다. 한 소매업체가 운영 비용을 줄이기 위해 주문 지원 에이전트를 더 저렴한 AI 모델로 전환한다. 전환 후 Agent Evals는 예약된 테스트를 실행하고 에이전트가 배송 지연 주문에 관해 부정확한 정보를 제공하고 있음을 탐지한다. 시스템은 품질 문제를 표시하고, 사람이 계속 개입하기를 원하는 팀의 방침에 따라 에이전트를 격리할 수 있도록 승인을 요청한다. 승인이 나면 에이전트는 격리된다. 그동안 팀은 배송 지연 주문을 처리하는 지침을 개선하고, 저렴한 모델에서 평가를 다시 실행해 성능을 확인한 뒤 에이전트를 운영 환경에 복귀시킨다.

제품 페이지에서 운영 환경의 에이전트 활동을 신속하게 중단하는 기능으로 설명하는 Agent Kill Switch는 이번 발표와 함께 정식 출시됐다. Triggered-Agent Kill Switch는 뒤이어 2027년 1월 정식 출시될 예정이다.

비용 제어 및 예산 집행

비용 측면에서 FinOps Dashboard와 Model Wallet은 예산 담당자에게 AI 지출 현황을 한눈에 보여 주고, 예산 초과 전에 요청을 차단하는 엄격한 한도를 제공한다. Salesforce에 따르면 테스트 시나리오를 기준으로 Cost Optimization Policies는 시맨틱 캐싱, 페이로드 압축, 응답 축약을 통해 토큰 사용량을 최대 75% 줄인다.

MuleSoft의 비용 관리 문서는 예산 집행 방식을 자세히 설명한다. Model Wallet은 에이전트별, 인스턴스별 또는 사업부별로 예산을 적용하며, 지출이 발생하는 대로 실시간 추적한다. 지갑 잔액이 소진되면 청구서가 나온 뒤가 아니라 초과 지출이 발생하기 전에 집행 조치가 이뤄지고, 예측 기능은 예상 초과 지출을 며칠 전에 미리 알린다. Model Proxy는 트래픽 경로에 위치해 각 요청에 공급자가 실제로 청구하는 요율을 적용하므로, 대시보드의 지출 내역과 청구서를 대조할 수 있다. 최적화 정책(Progressive Disclosure, Smart Response Trimming, TOON 압축)은 게이트웨이에서 실행되며, MCP 서버나 클라이언트 코드를 수정하지 않고 토큰 낭비를 줄인다. 문서에는 팀, 애플리케이션, 사용 사례별 지출을 실시간으로 추적하고, 예산을 초과하기 전에 폭주하는 에이전트 루프를 자동으로 종료하는 기능도 설명되어 있다.

FinOps Dashboard, Model Wallet, Cost Optimization Policies는 이번 발표와 함께 정식 출시됐다.

검색 기능 및 페더레이션 게이트웨이 정책

Salesforce는 Agent Fabric의 기본 제공 플랫폼 지원 범위를 확장하는 업데이트 두 가지도 발표했습니다. Custom Agent Scanner를 사용하면 내부 환경과 방화벽 뒤의 시스템, 타사 플랫폼에서 에이전트를 자동으로 검색할 수 있습니다. 또한 팀은 각 자산을 수동으로 등록하지 않고도 에이전트, 모델, MCP 서버, API를 목록화하는 맞춤형 스캐너를 만들어 Agent Registry에 등록할 수 있습니다. 발표 시점에 베타 버전이며, 2027년 1월 정식 출시가 예정돼 있습니다.

연합 API 게이트웨이용 개방형 정책은 Azure, Apigee, Kong의 게이트웨이 전반에서 API 정책을 검색하고 적용하며 추적합니다. IP 허용 목록이나 요청 속도 제한과 같은 정책을 게이트웨이마다 하나씩 적용하는 대신, 한 번의 작업으로 모든 게이트웨이에 적용할 수 있습니다. 이 기능은 발표 시점에 정식 출시된 상태입니다.

설문 조사 결과와 고객 발언

이번 발표는 에이전트 평가 관행에 관한 설문 조사 결과를 함께 제시하며, 에이전트를 운영하는 조직 중 실시간 트래픽에서 에이전트를 평가하는 곳은 절반이 되지 않는다고 밝혔습니다. LangChain의 에이전트 엔지니어링 현황 보고서를 인용했으며, 이 보고서는 2025년 11월 18일부터 12월 2일까지 전문가 1,300명이 넘는 응답자를 대상으로 설문을 진행했습니다. 보고서에 따르면 응답자의 57.3%는 프로덕션 환경에서 에이전트를 실행하고 있으며, 32%는 품질을 프로덕션 도입의 주요 장애 요인으로 꼽았고, 89%는 에이전트에 어떤 형태로든 관측 가능성을 구현했습니다. 평가에 한정해 보면, 조직의 52.4%가 테스트 세트를 사용한 오프라인 평가를 실시한다고 답했으며, 온라인 평가 도입률은 37.3%였습니다.

ASICS Digital의 디지털 커머스 엔지니어링 디렉터인 푸남 데시판데는 ASICS가 Agent Evals 베타 버전 개발에 협력하고 있다고 말했습니다. 그는 “Agent Evals에서 가장 기대되는 점은 단순히 문제가 있다고 알려주는 데 그치지 않는다는 것입니다”라며 “에이전트의 품질이 떨어지면 Agent Fabric이 자동으로 개입해 담당자에게 알리거나, 작은 문제가 광범위한 고객 문제로 번지기 전에 에이전트를 오프라인으로 전환할 수 있습니다”라고 말했습니다.

이번 발표에는 Capita, GE Appliances, Newell Brands의 임원 발언도 포함됐습니다. Capita의 AI 엔지니어링 디렉터인 티나 스티븐스는 Agent Evals를 통해 에이전트가 명확한 비즈니스 및 서비스 성과 기준에 맞게 작동하는지 검증할 수 있을 것이라고 말했습니다. GE Appliances의 엔터프라이즈 혁신 담당 총괄 디렉터인 애덤 존스는 회사가 에이전트와 개발자를 한곳에서 확인하고, 문제가 생기면 에이전트를 종료할 수 있는 단일 제어 평면을 설명했습니다. Newell Brands의 글로벌 고객 서비스 부사장인 스티브 시그리스트는 여러 브랜드의 고객 서비스에 AI 에이전트를 도입하면서 Agent Fabric을 제어 평면으로 사용하고 있다고 말했습니다.

MuleSoft 및 Agent Fabric의 수석 부사장 겸 총괄 책임자인 앤드루 컴스톡은 “기업이 에이전트를 확장할 수 있는 속도는 에이전트의 정확성을 유지하고 예산을 지킬 수 있는 속도에 달려 있습니다”라고 말했습니다. 이어 “지금은 잘못된 답변이나 지출 급증을 발견하는 일과 이를 중단하는 일이 서로 별개입니다. Agent Fabric은 평가와 비용 통제, 개입을 하나로 통합해 팀이 문제를 즉시 억제하고 확신을 갖고 에이전트를 확장할 수 있도록 합니다”라고 덧붙였습니다.

출시 일정

Agent Evals와 API Evals는 2026년 11월 베타 버전으로 출시되며, 2027년 1월 정식 출시가 예정돼 있습니다. Custom Agent Scanner는 발표 시점에 베타 버전이며, Triggered-Agent Kill Switch와 마찬가지로 2027년 1월 정식 출시됩니다. Agent Kill Switch, 연합 API 게이트웨이용 개방형 정책, FinOps Dashboard, Model Wallet, Cost Optimization Policies는 2026년 10월 27일 기준 정식 출시된 상태입니다.