Salesforce lisää Agent Fabric -alustaan Agent Evals -arvioinnit ja kustannusten hallintakeinot

Salesforce ilmoitti 27. lokakuuta 2026 joukosta Agent Fabric -alustan uudistuksia. Agent Fabric on tekoälyagenttien hallintaan ja ohjaukseen eri alustoilla tarkoitettu ohjaustaso, ja uudistusten kärjessä ovat Agent Evals, API Evals ja kehittyneet kustannusten hallintakeinot. Salesforcen mukaan alusta käsittelee päivittäin yli 1,2 miljardia pyyntöä.

Ilmoituksessa uudistuksia käsitellään tietyn operatiivisen ongelman näkökulmasta: kun yritykset laajentavat tekoälyn käyttöä, agentit voivat epäonnistua huomaamatta, antaa vääriä vastauksia ja kerryttää kustannuksia ennen kuin kukaan huomaa ongelmaa. Salesforcen mukaan uudet ominaisuudet auttavat tietohallintojohtajia ja tekoälystä vastaavia johtajia havaitsemaan ongelmat ennen kuin ne johtavat asiakasvalituksiin tai hallitsemattomasti kasvaviin kustannuksiin. Laadun heikentyessä järjestelmä käynnistää automaattisia toimenpiteitä, ja tiukat kulutusrajat puolestaan rajaavat käytön budjetin mukaiseksi.

Agent Fabric on MuleSoftiin perustuva yritysten agenttien hallintataso, jonka avulla agentteja, tekoälyresursseja ja agenttisia työnkulkuja voidaan löytää, hallita, orkestroida ja valvoa yhdestä paikasta. Agent Fabric -tuotesivun mukaan sen skannerit tunnistavat ja rekisteröivät automaattisesti eri ekosysteemeissä, kuten Amazonissa, Googlessa, Microsoftissa, Claudessa, Databricksissa ja Kongissa, toimivat agentit, Model Context Protocol (MCP) -palvelimet ja API-rajapinnat suoraan Agent Registryyn, joka on tekoälyresurssien keskitetty luettelo. Alustaan kuuluu myös MCP Bridge, joka tuo olemassa olevat API-rajapinnat käyttöön MCP-työkaluina; useiden agenttien orkestrointi; A2A-protokollan tuki; yhtenäinen LLM- ja MCP-yhdyskäytävä; Trusted Agent Identity; sekä Agent Visualizer, joka kartoittaa agenttiverkon ja näyttää muun muassa luottamusarvot, pullonkaulat ja hallusinaatioriskit. Tuotesivun mukaan Agent Fabric ja Agentforce, Salesforcen alusta agenttien rakentamiseen ja käyttöön Salesforce-ympäristössä, perustuvat samaan moottoriin, jolla määritetään, miten agentit käsittelevät vuorovaikutustilanteita, päättelevät, suunnittelevat ja toimivat.

Jatkuva arviointi ja automaattiset toimenpiteet

Salesforcen mukaan Agent Evals luo testit automaattisesti ennen käyttöönottoa ja arvioi sen jälkeen tuotantoympäristössä agentteja, suuria kielimalleja (LLM) ja MCP-palvelimia ennalta määriteltyjen laatukynnysten perusteella. Jos tulokset jäävät tavoitteista, järjestelmä käynnistää ennalta määritettyjä toimenpiteitä, kuten Agent Kill Switchin. Toimenpide edellyttää hyväksyntää, jos tiimin käytännöt niin määräävät. Tuotesivulla ominaisuutta kuvaillaan keinoksi muuttaa agenttien laatutestit automaattisiksi toimenpiteiksi, ja siinä kerrotaan MCP-palvelinten ja LLM-mallien arviointien olevan tulossa pian.

API Evals ratkaisee toisenlaisen ongelman: agentit lakkaavat toimimasta, kun niiden käyttämät API-rajapinnat muuttuvat. Salesforcen mukaan työkalu luo API-määrittelyjen perusteella automaattisesti toiminnallisuus- ja suorituskykytestejä, jotka havaitsevat rikkovat muutokset ennen niiden päätymistä tuotantoon.

Ilmoituksessa havainnollistetaan työnkulkua vähittäiskaupan esimerkillä. Vähittäiskauppias vaihtaa tilaustukea hoitavan agenttinsa edullisempaan tekoälymalliin käyttökustannusten pienentämiseksi. Muutoksen jälkeen Agent Evals suorittaa ajastettuja testejä ja havaitsee, että agentti antaa virheellisiä tietoja viivästyneistä tilauksista. Järjestelmä ilmoittaa laatuongelmasta ja pyytää hyväksyntää agentin eristämiseen tiimin toiveen mukaisesti, jotta ihminen pysyy mukana päätöksenteossa. Kun hyväksyntä on saatu, agentti eristetään siksi aikaa, kun tiimi tarkentaa sen ohjeita viivästyneiden tilausten käsittelyyn. Tämän jälkeen tiimi suorittaa arvioinnin uudelleen edullisemmalla mallilla varmistaakseen sen suorituskyvyn ja palauttaa agentin tuotantokäyttöön.

Agent Kill Switch, jota tuotesivulla kuvataan keinoksi pysäyttää nopeasti agentin toiminta tuotantoympäristössä, on yleisesti saatavilla ilmoituksen julkaisuhetkellä. Triggered-Agent Kill Switchin on määrä tulla yleisesti saataville tammikuussa 2027.

Kustannusten hallinta ja budjettirajojen valvonta

Kustannusten hallintaan tarkoitetut FinOps Dashboard ja Model Wallet tarjoavat budjetista vastaaville yhden näkymän tekoälymenoihin sekä tiukat rajat, jotka pysäyttävät pyynnöt ennen budjetin ylittymistä. Salesforcen mukaan Cost Optimization Policies vähentää tokenien käyttöä jopa 75 prosenttia yhtiön testiskenaarioiden perusteella semanttisen välimuistitallennuksen, hyötykuorman pakkauksen ja vastausten tiivistämisen avulla.

MuleSoftin kustannustenhallintaa koskevassa dokumentaatiossa kuvataan, miten rajoituksia valvotaan. Model Wallet valvoo budjetteja agentti-, instanssi- tai liiketoimintayksikkökohtaisesti ja seuraa menoja niiden kertyessä reaaliajassa. Kun lompakon saldo ehtyy, rajoitusten valvonta käynnistyy ennen budjetin ylitystä eikä vasta laskun saavuttua, ja ennuste ilmoittaa todennäköisestä ylityksestä päiviä etukäteen. Model Proxy toimii liikenteen kulkureitillä ja hinnoittelee jokaisen pyynnön palveluntarjoajan todellisuudessa veloittaman hinnan mukaan, joten hallintapaneelin menot täsmäävät laskun kanssa. Yhdyskäytävässä toimivat optimointikäytännöt (Progressive Disclosure, Smart Response Trimming ja TOON-pakkaus) vähentävät turhaa tokenien käyttöä muuttamatta MCP-palvelimia tai asiakasohjelmien koodia. Dokumentaatiossa kerrotaan myös, että menoja voidaan seurata reaaliajassa tiimin, sovelluksen ja käyttötarkoituksen mukaan ja että hallitsemattomasti toimivat agenttisilmukat voidaan sulkea automaattisesti ennen budjetin ylittymistä.

FinOps Dashboard, Model Wallet ja Cost Optimization Policies ovat yleisesti saatavilla ilmoituksen julkaisuhetkellä.

Löytäminen ja yhdyskäytävän federatiiviset käytännöt

Salesforce ilmoitti myös kahdesta päivityksestä, jotka laajentavat Agent Fabricin valmiina saatavaa alustatukea. Custom Agent Scanner mahdollistaa automaattisen löytämisen yrityksen sisäisissä ympäristöissä, palomuurien takana olevissa järjestelmissä ja kolmansien osapuolten alustoilla. Sen avulla tiimit voivat rakentaa mukautettuja skannereita, jotka luetteloivat agentit, mallit, MCP-palvelimet ja API-rajapinnat Agent Registryyn ilman, että kutakin resurssia tarvitsee rekisteröidä erikseen manuaalisesti. Julkistuksen aikaan ominaisuus oli beetavaiheessa, ja sen yleisen saatavuuden suunniteltiin alkavan tammikuussa 2027.

Open Policies for Federated API Gateways löytää, ottaa käyttöön ja seuraa API-käytäntöjä Azure-, Apigee- ja Kong-yhdyskäytävissä. Se voi esimerkiksi ottaa IP-osoitteiden sallintalistan tai pyyntömäärän rajoituksen käyttöön kaikissa yhdyskäytävissä yhdellä toiminnolla sen sijaan, että ne pitäisi käsitellä yksitellen. Ominaisuus oli yleisesti saatavilla julkistuksen aikaan.

Kyselytutkimuksen tulokset ja asiakkaiden lausunnot

Julkistuksessa uudet ominaisuudet yhdistettiin kyselytietoihin agenttien arviointikäytännöistä. Niiden mukaan alle puolet agentteja käyttävistä organisaatioista arvioi niitä tosielämän liikenteessä. Julkistuksessa viitataan LangChainin Agenttitekniikan tila -raporttiin, jossa kyselyyn vastasi yli 1 300 ammattilaista 18. marraskuuta ja 2. joulukuuta 2025 välisenä aikana. Raportin mukaan 57,3 prosentilla vastaajista oli tuotantokäytössä agentteja, 32 prosenttia mainitsi laadun yhtenä tuotantokäytön suurimmista esteistä ja 89 prosenttia oli ottanut käyttöön jonkinlaisen agenttien havainnoinnin. Arviointikäytännöistä raportissa todettiin, että 52,4 prosenttia organisaatioista teki offline-arviointeja testiaineistoilla, kun taas online-arviointien käyttöönottoaste oli 37,3 prosenttia.

ASICS Digitalin digitaalisen kaupankäynnin tekniikasta vastaava johtaja Poonam Deshpande kertoi, että ASICS tekee Salesforce-yhteistyötä Agent Evals -betaversion kehittämiseksi. ”Agent Evalsissa innostavinta on se, ettei se vain kerro meille, että jokin on vialla”, hän sanoi. ”Kun agentin laatu heikkenee, Agent Fabric voi puuttua tilanteeseen automaattisesti: se voi ilmoittaa oikealle vastuuhenkilölle tai poistaa agentin käytöstä ennen kuin pienestä ongelmasta kasvaa laaja asiakasongelma.”

Julkistukseen sisältyi myös Capitan, GE Appliancesin ja Newell Brandsin johtajien lausuntoja. Capitan tekoälytekniikan johtaja Tiina Stephens kertoi, että Agent Evals auttaa yritystä varmistamaan agenttien toiminnan suhteessa selkeisiin liiketoiminta- ja palvelutavoitteisiin. GE Appliancesin yritysmuutoksen johtaja Adam Jones kuvaili yhtä hallintatasoa, jossa yritys voi nähdä agenttinsa ja niiden kehittäjät sekä sulkea agentit, jos jokin menee pieleen. Newell Brandsin globaalista asiakaspalvelusta vastaava johtaja Steve Sigrist kertoi, että yritys käyttää Agent Fabricia hallintatasonaan tuodessaan tekoälyagentteja asiakaspalveluun brändeillään.

”Yritykset voivat laajentaa agenttien käyttöä vain niin nopeasti kuin ne pystyvät pitämään agentit tarkkoina ja budjetissa”, sanoi MuleSoftista ja Agent Fabricista vastaava johtaja ja pääjohtaja Andrew Comstock. ”Tällä hetkellä väärän vastauksen tai kulutuspiikin havaitseminen on yksi tehtävä ja sen pysäyttäminen toinen. Agent Fabric yhdistää nämä toiminnot tuomalla arvioinnit, kustannusten hallinnan ja puuttumiskeinot yhteen, jotta tiimit voivat rajata ongelmat välittömästi ja laajentaa agenttien käyttöä luottavaisin mielin.”

Saatavuus

Agent Evals ja API Evals siirtyvät beetavaiheeseen marraskuussa 2026, ja niiden yleisen saatavuuden suunnitellaan alkavan tammikuussa 2027. Custom Agent Scanner oli julkistuksen aikaan beetavaiheessa, ja sen yleinen saatavuus alkaa tammikuussa 2027, samoin kuin Triggered-Agent Kill Switchin. Agent Kill Switch, Open Policies for Federated API Gateways, FinOps Dashboard, Model Wallet ja Cost Optimization Policies olivat yleisesti saatavilla 27. lokakuuta 2026.