Salesforce Menambahkan Agent Evals dan Kontrol Biaya ke Agent Fabric

Pada 27 Oktober 2026, Salesforce mengumumkan serangkaian tambahan untuk Agent Fabric, bidang kendali AI-nya untuk mengelola dan mengatur agen di berbagai platform. Tambahan utama mencakup Agent Evals, API Evals, dan kontrol biaya tingkat lanjut. Salesforce menyatakan bahwa platform tersebut menangani lebih dari 1,2 miliar permintaan setiap hari.

Pengumuman tersebut menyoroti masalah operasional tertentu yang mendorong penambahan ini: ketika perusahaan memperluas penerapan AI, agen dapat mengalami kegagalan tanpa terdeteksi, memberikan jawaban yang keliru dan menimbulkan biaya yang terus bertambah sebelum siapa pun menyadarinya. Salesforce mengatakan bahwa kapabilitas baru ini memungkinkan CIO dan pemimpin AI mendeteksi masalah sebelum berkembang menjadi keluhan pelanggan atau biaya yang membengkak tak terkendali, dengan memadukan intervensi otomatis saat kualitas menurun dan batas pengeluaran tegas yang membatasi penggunaan sesuai anggaran.

Agent Fabric adalah bidang kendali agen untuk perusahaan yang dibangun di atas MuleSoft, untuk menemukan, mengatur, mengorkestrasi, dan memantau agen, aset AI, serta alur kerja berbasis agen dari satu bidang kendali. Menurut halaman produk Agent Fabric, pemindainya secara otomatis mendeteksi dan mendaftarkan agen, server Model Context Protocol (MCP), dan API yang berjalan di berbagai ekosistem seperti Amazon, Google, Microsoft, Claude, Databricks, dan Kong, langsung ke Agent Registry, katalog terpusat untuk aset AI. Platform ini juga mencakup MCP Bridge, yang menyediakan API yang sudah ada sebagai alat MCP; orkestrasi multiagen; dukungan untuk protokol A2A; gateway LLM dan MCP terpadu; Trusted Agent Identity; serta Agent Visualizer, yang memetakan jaringan agen dengan metrik seperti skor keyakinan, deteksi hambatan, dan risiko halusinasi. Halaman produk tersebut menyatakan bahwa Agent Fabric dan Agentforce, platform Salesforce untuk membangun dan menjalankan agen di dalam Salesforce, ditenagai oleh mesin yang sama untuk menentukan cara agen menangani interaksi, bernalar, merencanakan, dan bertindak.

Evaluasi Berkelanjutan dan Intervensi Otomatis

Salesforce mengatakan bahwa Agent Evals secara otomatis membuat pengujian sebelum penerapan, lalu mengevaluasi agen, model bahasa besar (LLM), dan server MCP di lingkungan produksi berdasarkan ambang batas kualitas yang telah ditentukan. Jika hasilnya tidak memenuhi standar, sistem akan memicu intervensi yang telah ditetapkan sebelumnya, termasuk Agent Kill Switch, dengan langkah persetujuan jika kebijakan tim mengharuskannya. Halaman produk tersebut menggambarkan kapabilitas ini sebagai cara untuk mengubah pengujian kualitas agen menjadi tindakan otomatis, dan menyebutkan bahwa evaluasi server MCP dan LLM akan segera hadir.

API Evals menangani titik kegagalan yang berbeda: agen dapat mengalami gangguan saat API yang menjadi andalannya berubah. Salesforce mengatakan bahwa alat ini secara otomatis membuat pengujian fungsional dan kinerja dari spesifikasi API, sehingga perubahan yang dapat merusak sistem terdeteksi sebelum mencapai lingkungan produksi.

Pengumuman tersebut menguraikan skenario peritel untuk menjelaskan alur kerja ini. Seorang peritel mengganti model AI pada agen dukungan pesanannya dengan model berbiaya lebih rendah untuk mengurangi biaya operasional. Setelah perubahan tersebut, Agent Evals menjalankan pengujian terjadwal dan mendeteksi bahwa agen memberikan informasi yang tidak akurat tentang pesanan yang tertunda. Sistem menandai masalah kualitas tersebut dan, sesuai preferensi tim untuk tetap melibatkan manusia dalam prosesnya, meminta persetujuan untuk mengarantina agen. Setelah disetujui, agen dikarantina sementara tim menyempurnakan instruksinya untuk menangani pesanan yang tertunda, menjalankan kembali evaluasi dengan model berbiaya lebih rendah guna mengonfirmasi kinerjanya, lalu mengembalikan agen ke lingkungan produksi.

Agent Kill Switch, yang menurut halaman produk merupakan cara untuk segera menghentikan aktivitas agen di lingkungan produksi, telah tersedia secara umum saat pengumuman dibuat. Triggered-Agent Kill Switch akan menyusul dan direncanakan tersedia secara umum pada Januari 2027.

Kontrol Biaya dan Penegakan Anggaran

Untuk pengelolaan biaya, FinOps Dashboard dan Model Wallet memberikan satu tampilan bagi pemilik anggaran untuk memantau pengeluaran AI, beserta batas tegas yang menghentikan permintaan sebelum biaya melampaui anggaran. Salesforce mengatakan bahwa Cost Optimization Policies memangkas penggunaan token hingga 75%, berdasarkan skenario pengujian perusahaan, melalui caching semantik, kompresi muatan, dan pemangkasan respons.

Dokumentasi pengelolaan biaya MuleSoft menjelaskan mekanisme penegakannya. Model Wallet menerapkan anggaran per agen, per instans, atau per unit bisnis, dengan pengeluaran yang dipantau secara langsung seiring bertambahnya biaya; ketika saldo dompet menipis, penegakan berlaku sebelum terjadi pembengkakan biaya, bukan setelah tagihan diterima, sementara prakiraan menandai potensi pembengkakan beberapa hari sebelumnya. Model Proxy berada di jalur lalu lintas dan menghitung harga setiap permintaan berdasarkan tarif yang benar-benar dikenakan penyedia, sehingga pengeluaran di dasbor sesuai dengan tagihan. Kebijakan pengoptimalan (Progressive Disclosure, Smart Response Trimming, dan kompresi TOON) berjalan di gateway dan mengurangi pemborosan token tanpa mengubah server MCP atau kode klien. Dokumentasi tersebut juga menjelaskan pemantauan pengeluaran secara waktu nyata berdasarkan tim, aplikasi, dan kasus penggunaan, serta penghentian otomatis rangkaian tindakan agen yang tak terkendali sebelum melampaui anggaran.

FinOps Dashboard, Model Wallet, dan Cost Optimization Policies telah tersedia secara umum saat pengumuman dibuat.

Penemuan dan Kebijakan Gateway Terfederasi

Salesforce juga mengumumkan dua pembaruan yang memperluas dukungan Agent Fabric terhadap platform di luar platform bawaannya. Custom Agent Scanner memungkinkan penemuan otomatis di lingkungan internal, sistem di balik firewall, dan platform pihak ketiga, sehingga tim dapat membuat pemindai khusus untuk menginventarisasi agen, model, server MCP, dan API di Agent Registry tanpa mendaftarkan setiap aset secara manual. Fitur ini masih dalam versi beta saat pengumuman disampaikan, dengan ketersediaan umum direncanakan pada Januari 2027.

Open Policies for Federated API Gateways menemukan, menerapkan, dan melacak kebijakan API di berbagai gateway dari Azure, Apigee, dan Kong. Fitur ini memungkinkan kebijakan seperti daftar izin IP atau pembatasan laju diterapkan ke semua gateway tersebut sekaligus, alih-alih satu per satu. Fitur ini telah tersedia secara umum saat pengumuman disampaikan.

Data Survei dan Pernyataan Pelanggan

Pengumuman tersebut mengaitkan fitur-fitur baru ini dengan data survei tentang praktik evaluasi, dan mencatat bahwa kurang dari separuh organisasi yang menggunakan agen mengevaluasinya pada lalu lintas langsung. Pengumuman itu mengutip Laporan State of Agent Engineering dari LangChain, yang menyurvei lebih dari 1.300 profesional antara 18 November dan 2 Desember 2025. Laporan tersebut menemukan bahwa 57,3% responden menjalankan agen di lingkungan produksi, 32% menyebut kualitas sebagai salah satu hambatan utama dalam penerapan ke lingkungan produksi, dan 89% telah menerapkan suatu bentuk observabilitas untuk agen mereka. Khusus mengenai evaluasi, 52,4% organisasi melaporkan menjalankan evaluasi luring pada kumpulan data uji, sedangkan tingkat adopsi evaluasi daring mencapai 37,3%.

Poonam Deshpande, Direktur Teknik, Perdagangan Digital di ASICS Digital, mengatakan bahwa ASICS bekerja sama dengan Salesforce untuk membantu membentuk versi beta Agent Evals. “Yang paling membuat kami antusias tentang Agent Evals adalah fitur ini tidak berhenti pada memberi tahu kami bahwa ada sesuatu yang salah,” katanya. “Saat kualitas agen menurun, Agent Fabric dapat bertindak secara otomatis, memberi tahu penanggung jawab yang tepat atau menonaktifkan agen sebelum masalah kecil berkembang menjadi masalah besar bagi pelanggan.”

Pengumuman tersebut juga memuat pernyataan dari para eksekutif di Capita, GE Appliances, dan Newell Brands. Tiina Stephens, Direktur Teknik AI di Capita, mengatakan bahwa Agent Evals akan membantu perusahaan memastikan agen bekerja sesuai dengan hasil bisnis dan layanan yang jelas. Adam Jones, Direktur Eksekutif Transformasi Perusahaan di GE Appliances, menggambarkan satu pusat kendali tempat perusahaan dapat melihat agen-agennya, mengetahui siapa yang membuatnya, dan menonaktifkannya jika terjadi masalah. Steve Sigrist, Wakil Presiden Layanan Pelanggan Global di Newell Brands, mengatakan bahwa perusahaan menggunakan Agent Fabric sebagai pusat kendalinya saat menghadirkan agen AI ke layanan pelanggan di seluruh mereknya.

“Perusahaan hanya dapat memperluas penggunaan agen secepat kemampuan mereka menjaga akurasi agen dan mengendalikan biayanya,” kata Andrew Comstock, Wakil Presiden Senior (SVP) dan GM MuleSoft dan Agent Fabric. “Saat ini, mendeteksi jawaban yang keliru atau lonjakan pengeluaran adalah satu tugas, sedangkan menghentikannya adalah tugas lain. Agent Fabric menyatukan keduanya dengan menggabungkan evaluasi, pengendalian biaya, dan intervensi agar tim dapat segera membatasi masalah dan memperluas penggunaan agen dengan penuh keyakinan.”

Ketersediaan

Agent Evals dan API Evals memasuki versi beta pada November 2026, dengan ketersediaan umum direncanakan pada Januari 2027. Custom Agent Scanner masih dalam versi beta saat pengumuman disampaikan dan akan tersedia secara umum pada Januari 2027, begitu pula Triggered-Agent Kill Switch. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet, dan Cost Optimization Policies telah tersedia secara umum sejak 27 Oktober 2026.