IBM Researchin raportti: opittu muisti päihittää τ²-Benchin asiakaspalvelun vertailutestissä

Hugging Facessa 20. lokakuuta 2026 julkaistussa kirjoituksessa IBM Research kertoi, että agentin omista koulutusajoista automaattisesti opitut ohjeet, jotka lisättiin sen järjestelmäkehotteeseen, nostivat valmiin GPT-4.1-asiakaspalveluagentin τ²-benchin vähittäiskaupan toimialalla Pass^4-tulokseen 67,5 %. Tulos ylitti kaikki vähittäiskaupan tulokset ryhmän 12. lokakuuta 2026 ottamassa tulostaulukon tilannekuvassa.

Tulos perustuu ALTK-Evolve-menetelmään, jonka avulla laboratorio rakentaa tekijöiden kuvaileman opitun toimintakäsikirjan. Menetelmä analysoi agentin yrityksiä koulutustehtävissä ja tiivistää saman mallin avulla onnistumiset ja epäonnistumiset lyhyiksi käyttäytymissäännöiksi, jotka kattavat esimerkiksi asiakkaan tunnistamisen, maksutapahtuman vahvistamisen ja palautuksen käsittelyn. Kirjoituksen mukaan sama malli tuottaa ohjeet ja toimii itse agenttina, eikä prosessi edellytä mallin painojen päivittämistä tai ihmisen tekemää annotointia. Ryhmä oli aiemmin esitellyt menetelmää koodausagenteilla; uudessa tutkimuksessa sitä sovelletaan asiakaspalveluun. Kirjoituksessa mainitaan yksitoista IBM Researchin kirjoittajaa, heidän joukossaan Ashwath Vaithinathan Aravindan, Vatche Isahagian ja Vinod Muthusamy.

Näin tutkimus toteutettiin

Sierra Researchin ylläpitämä τ²-bench on simulaatiokehys asiakaspalveluagenttien arviointiin eri toimialoilla. τ²-benchin koodivaraston mukaan kullakin toimialalla määritellään käytäntö, jota agentin on noudatettava, joukko työkaluja sekä arviointitehtävät. Vertailutestin keskeisessä artikkelissa ympäristöä kuvataan kaksoisohjauksen ympäristöksi. IBM:n tutkimuksessa käytetään vähittäiskaupan ja lentoliikenteen toimialoja. Kussakin tehtävässä agentti toimii yhdessä LLM:n simuloiman asiakkaan, toimialakohtaisten työkalujen ja kirjallisen käytäntöasiakirjan kanssa. Tehtävä lasketaan ratkaistuksi vain, jos tietokannan lopullinen tila vastaa odotettua tulosta, mitä kirjoituksessa kuvataan tiukaksi binääriseksi palkkioksi.

Arvioinnissa käytettiin τ²-benchin omaa toteutusta yksinkertaisesta ReAct-agentista, jonka kaksivaiheinen ajattelu- ja toimintasilmukka on THINK→ACT. Agenttimallina oli gpt-4.1 ja asiakassimulaattorin mallina gpt-5.5, ja kustakin tehtävästä tehtiin neljä koetta. Ainoa muutos oli pelkkä Markdown-luettelo opituista ohjeista, joka lisättiin järjestelmäkehotteeseen toimialakohtaisen käytäntökuvauksen jälkeen. Julkaistuihin esimerkkeihin kuuluvat käyttäjän tunnistaminen ennen tilausta koskevia toimia, käyttäjän nimenomaisen hyväksynnän vaatiminen ennen tietokantaa päivittäviä toimia, hyvitysten erittely tuoteriveittäin, yhden toiminnon tekeminen kullakin vaiheella sekä yhdistettyjen nimikahvojen jäsentäminen ennen käyttäjähakuja.

Ohjeet poimittiin agentin τ²-benchin koulutustehtävissä gpt-4.1-mallilla suorittamien toimintaketjujen perusteella, ja niitä sovellettiin sellaisinaan erilliseen testijoukkoon. Kuhunkin ohjeeseen liittyy tukimäärä, joka kertoo, kuinka monesta eri koulutustehtävästä ohje poimittiin. Tutkimuksessa verrataan kolmea kokoonpanoa: vertailutasoa ilman ohjeita; sup3-kokoonpanoa, jossa säilytetään vain ohjeet, joiden tukimäärä on vähintään kolme (vähittäiskaupassa 31 ja lentoliikenteessä 14); sekä lossless-kokoonpanoa, jossa säilytetään kaikki mukaan otetut ohjeet (vähittäiskaupassa 292 ja lentoliikenteessä 101).

Erillisen testijoukon tulokset vähittäiskaupassa ja lentoliikenteessä

Tutkimuksessa seurataan kahta mittaria neljän tehtäväkohtaisen kokeen perusteella: keskimääräinen tarkkuus eli onnistumisprosenttien keskiarvo, jota kirjoittajat pitävät kyvykkyyden mittarina, sekä Pass^4 eli niiden tehtävien prosenttiosuus, jotka ratkaistiin onnistuneesti kaikissa neljässä kokeessa. Jälkimmäinen kuvaa luotettavuutta, ja se on mittari, jota τ²-benchin tulostaulukossa käytetään.

IBM raportoi, että 40:ssä erillisen testijoukon vähittäiskaupan tehtävässä vertailuagentin keskimääräinen tarkkuus oli 78,1 % ja Pass^4-tulos 57,5 %. Sup3-ydinkokoonpanon tulokset olivat 78,8 % ja 60,0 %, ja lossless-kokoonpanon 82,5 % ja 67,5 %. Vertailutasoon nähden parannusta kertyi vastaavasti 4,4 ja 10,0 prosenttiyksikköä.

Erillisen testijoukon 20 lentoliikenteen tehtävässä vertailuagentin tarkkuus oli 57,5 % ja Pass^4-tulos 35,0 %. Sup3-ydinkokoonpano ylsi 60,0 %:n tarkkuuteen ja 45,0 %:n Pass^4-tulokseen, kun taas lossless-kokoonpanon tulokset olivat 65,0 % ja 40,0 %. Toimialojen tulokset erosivat sen suhteen, kuinka laajaa ohjejoukkoa kannattaa käyttää: vähittäiskaupassa paras tulos saatiin koko lossless-joukolla, kun taas lentoliikenteessä sup3-ydinkokoonpano tuotti parhaan Pass^4-tuloksen. IBMin mukaan tukimäärän raja-arvoa kannattaa hienosäätää toimialakohtaisesti sen sijaan, että se määriteltäisiin kiinteästi.

Kustannukset, huippumallilla tehty uusinta-ajo ja tulostaulukon tilanne

LLM:n kokonaiskustannus keskustelua kohden koko perusjaossa kasvoi kehotteen pituuden mukana: vähittäiskaupassa se nousi vertailutason 0,084 dollarista lossless-kokoonpanon 0,139 dollariin, eli 65 %, ja lentoliikenteessä 0,081 dollarista 0,107 dollariin, eli 32 %. Sup3-versiot maksoivat vastaavasti 0,095 ja 0,097 dollaria. Niissä ajoissa, joissa tehtävä ratkaistiin sekä vertailuasetelmassa että ohjeita käytettäessä, keskustelut olivat ohjeiden kanssa hieman lyhyempiä: vähittäiskaupassa avustajan vuorojen määrä laski lossless-kokoonpanossa 10,59:stä 10,16:een ja lentoliikenteessä 9,15:stä 8,82:een. Yksikään kokoonpano ei pidentänyt keskusteluja. IBMin mukaan vuorojen väheneminen lyhentää asiakkaan kokemaa kokonaisviivettä ja lisäkustannukset syötteistä voidaan tuotantokäytössä pitkälti saada takaisin kehotteiden välimuistitallennuksella, koska ohjeosio on sama jokaisella kutsulla.

Ryhmä ajoi lentoliikenteen toimialan testit myös niin, että sekä agenttina että ohjeiden poimintamallina käytettiin gpt-5.5-mallia ja ohjeet poimittiin uudelleen kyseisen agentin omista ajoista. Yhdenkään poimitun ohjeen tukimäärä ei yltänyt vähintään kolmeen, joten suuren tukimäärän ydinkokoonpano oli sup2, jossa oli 103 ohjetta. Lisäksi käytössä oli 146 ohjeen lossless-joukko. Samoissa erillisen testijoukon lentoliikennetehtävissä gpt-5.5-vertailuagentin tarkkuus oli 72,5 % ja Pass^4-tulos 55,0 %; sup2-kokoonpanon tulokset olivat 80,0 % ja 70,0 %; ja lossless-kokoonpanon 82,5 % ja 70,0 %. Vertailutasoon nähden parannusta kertyi 10,0 tarkkuuspistettä ja 15,0 Pass^4-pistettä. IBM raportoi, että lossless-kokoonpanon tulos toistui täsmälleen uusinta-ajoissa.

Tulostaulukkoon lähetetyt suoritukset pisteytetään koko perusjaolla, jossa koulutus- ja testitehtävät lasketaan yhteen, ja tulokset ilmoitetaan Pass^4-arvona. Siksi luvut poikkeavat edellä esitetyistä erillisen testijoukon tuloksista. IBM:n 12. lokakuuta 2026 päivätyn tilannekuvan mukaan sen vähittäiskaupan agentti on ensimmäisellä sijalla 67,5 prosentilla. Se ohittaa RAFT-30B-A3B:n, joka saa 61,4 prosenttia ja jonka IBM kuvaa synteettisellä τ²-benchin vähittäiskaupan datalla hienosäädetyksi malliksi, ilmoitetulla 6,1 pisteellä. Lentoyhtiöalalla IBM:n mukaan gpt-5.5-agentti on ensimmäisellä sijalla 82,0 prosentilla eli edellä sen listaamia huippumalleja, joiden tulokset ovat 66–72 prosenttia. gpt-4.1:n sup3-versio sijoittui kahdeksanneksi 44 prosentilla: se ohitti GPT-5.2:n, jota ajettiin ilman päättelyä, ja oli lähes Claude Sonnet 4.5:n tasolla. IBM ilmoittaa, että menetelmä parantaa vakioagenttien suorituskykyä ilman painojen päivityksiä, ihmisen tekemää annotointia tai testijoukon tietojen vuotamista.

Vähittäiskaupan tulostaulukkoon lähetetty tulos toimitettiin τ²-bench-projektiin pull-pyyntönä 14. syyskuuta 2026. Siinä raportoitiin Pass^1-arvoksi 81,14 prosenttia ja Pass^4-arvoksi 67,54 prosenttia 114 perusjaon tehtävässä neljällä kokeilukerralla. Keskustelukohtainen keskimääräinen kustannus oli 0,1084 dollaria tau2-bench v1.0.1:ssä. Lisäksi todettiin, että ohjeet oli opittu vähittäiskaupan koulutusjaosta, joka sisältyy perusarviointijakoon. Lentoyhtiöiden tulostaulukkoon lähetetty tulos toimitettiin 21. syyskuuta 2026. Siinä raportoitiin Pass^1-arvoksi 88,50 prosenttia ja Pass^4-arvoksi 82,00 prosenttia 50 tehtävässä, ja keskustelukohtainen keskimääräinen kustannus oli 0,1690 dollaria. Molemmissa lähetyksissä ilmoitetaan, että kehotteita on muokattu, niiden odotetaan saavan Unverified-merkinnän ja ne ovat edelleen avoinna.