Sierra julkaisee Hyper-τ-Benchin avoimen lähdekoodin, mittapiste agenttien rakentamiselle

Sierra ilmoitti 8. syyskuuta 2026, että se avaa hyper-τ-benchin lähdekoodin, pitkäaikaisen mittapisteen, joka arvioi, voivatko AI-koodausagentit rakentaa toimivan asiakaspalveluagentin. Vahvin automatisoitu kokoonpano läpäisi 23,9 % pidätetyistä arviointitehtävistä, Sierra raportoi, verrattuna 82,2 % viitepariin, jossa insinööri yhdistettiin huipputason malliin.

Toimiminen agenttina ja sen rakentaminen

Sierra rakensi alkuperäisen τ-benchin vuonna 2024 vastatakseen kysymykseen, jonka se koki tuolloin uudeksi: voisiko malli toimia luotettavana asiakaspalveluagenttina. Yritys totesi, että tämä kyky on nyt perusvaatimus, ja että vaikeampi kysymys on, kuka rakentaa agentin alun perin, työtä, jota tehdään yhä enemmän itse mallien toimesta. Sierra, joka tekee yhteistyötä yritysten kanssa asiakaspalveluagenttien lanseeraamiseksi, kuvasi tätä työtä käytännössä tutkimuksena eikä spesifikaation toteutuksena: vaatimukset ovat hajallaan käsikirjoissa, tukikanavissa, taulukoissa ja etulinjan edustajien tiedoissa, joten tiimit muodostavat hypoteeseja, keräävät todisteita sekä rakentavat ja testaavat löytääkseen, mitkä keinot todella vaikuttavat suorituskykyyn.

Mittapiste julkaistaan virallisesti nimellä τ^τ-bench, ääntämys hyper-tau-bench. 41-sivuinen artikkeli, jonka ovat kirjoittaneet Quan Shi, Keshav Dhandhania, Karthik Narasimhan ja Victor Barres, lähetettiin arXiviin 4. syyskuuta 2026. Koodikanta on saatavilla MIT-lisenssin alla, ja julkaisua seuraa julkinen tulostaulu. Artikkelin tiivistelmässä kirjoittajat toteavat, että LLM-agentit muuttuvat tuotantosoftaksi, joka on otettu käyttöön asiakaspalvelun hoitamiseen, riitojen ratkaisemiseen ja sisäisten järjestelmien operointiin, kun taas niiden rakentamista siirretään yhä enemmän koodausagenteille; olemassa olevat mittapisteet, kirjoittajat sanovat, antavat vähän tietoa siitä, voiko AI-järjestelmä toimittaa agentin todellisen asiakkaan sitoutumisen olosuhteissa.

Kuinka mittapiste toimii

Hyper-τ-bench sijoittaa kehittäjäagentin hiekkalaatikkotyötilaan, joka sisältää simuloidun yrityksen ja simuloidun asiakkaan tiedot, joihin se voi milloin tahansa viestiä. Sieltä kehittäjä suorittaa sitoutumisen alusta loppuun: hänen on rekonstruoitava spesifikaatio todisteista, suunniteltava arkkitehtuuri ja muunnettava yrityksen toiminnot työkaluiksi, toistamalla prosessia kunnes syntyy toimiva asiakaspalveluagentti. Asiakkaan REST‑API saattaa olla hienovaraisesti viallinen, joten osa tehtävästä on päättää, onko bugi spesifikaatiossa vai koodissa. Valmis agentti on palveltava kiinteästä mallivalikoimasta kunkin keskustelun kustannusbudjetin puitteissa, ja luovutuksen jälkeen se kohtaa simuloitua tuotantoliikennettä, jonka arvioivat täysin tarkistettavat τ-bench‑tyyliset testit, jotka pidettiin kehittäjältä piilossa rakenteen aikana. Artikkeli kuvaa tämän samaksi lähtökohdaksi, jonka todellinen sitoutuminen tarjoaa: yrityksen todelliset tallenteet, asiakas, jolla on vaatimukset, tuotanto‑API, jonka kautta operaatioiden on kuljettava, periytyvä koodikanta sekä rajoitukset palvelukustannukselle ja malleille.

Repositorion dokumentaatio kuvaa τ^τ-benchia ulkopuolisena silmukkana, joka kietoutuu Sierra:n τ³-benchin ympärille, ja arvioi keskusteluagentin simuloituja käyttäjiä vastaan. Ulkopuolisessa silmukassa koodausagentti, jota kutsutaan Kehittäjäksi, työskentelee hiekkalaatikkoisessa rakennuspaketissa, haastattelee tarvittaessa simuloitua asiakasta ja toimittaa täydellisen suoritettavan agentin; Kehittäjän palkkio on sen agentin läpäisyprosentti pidätetyissä asiakaspalvelutehtävissä, jotka pisteytetään τ³-benchin sisäsilmukan kautta. Paketin todisteisiin kuuluvat politiikkadokumentit, tukitranskriptit, puhelunauhoitteet, kuvakaappaukset, vuokaaviot ja asiakkaan REST‑API.

Julkaisu sisältää 53 tehtävää neljällä toimialueella: kuusi airlineplus, kuusi retailplus, kuusi telecom ja 35 bankingknowledge. Dokumentaatio kuvaa airlineplus fiktiivisen Meridian Airlinesin, joka kattaa lentojen varaamisen, muutokset, peruutukset ja korvaukset; retailplus tilauspalveluna, joka kattaa vaihtojen, palautusten ja muokkausten käsittelyn; telecom teknisenä tukena, jossa on linja‑diagnostiikkaa ja korjausvirtoja; ja bankingknowledge vähittäispankkitoimintana, joka kattaa kortit, talletukset, riita‑asiat ja siirrot, sekä kuusi sisäänrakennettua politiikkamatkan aladomeenia. airlineplus ja retailplus -toimialueet ovat uudelleenrakennettuja versioita niiden τ³-bench‑vastineista uusilla brändeillä, arvoilla ja politiikoilla, joten julkisten τ³-bench‑politiikkojen ulkoa opettaminen ei siirry; alkuperäiset säilyvät koodikannassa jäädytettyinä peruslinjoina.

Tuetut kehittäjäharnessit ovat oletuksena Codex, Claude Code sekä avoimen lähdekoodin OpenCode ja Prime Agent, kaikki ajetaan samassa kiinnitettyssä kontissa ilman yleistä internet-yhteyttä. Tulostaulun lähetykset saapuvat pull‑requestin kautta, ja jokainen on arvioitava kaikilla 53 julkaisutaskulla suljetun suorituksen alla, ilman tehtäväsuodatusta eikä itse raportoituja paikallisia pisteitä; yhdistetyt lähetykset näkyvät julkisella taululla.

Raportoituja tuloksia kuudessa kokoonpanossa

Sierra raportoi, että kuusi automatisoitua kehittäjäkokoonpanoa läpäisi 14,9 %–23,9 % pidätetyistä arviointitehtävistä. Paras yksin toimiva kokoonpano, Claude Opus 5, jossa on maksimaalinen päättely Claude Codessa, läpäisi 23,9 %. Codex, joka käytti GPT‑5.6‑sol‑mallia erittäin korkealla päättelytasolla, seurasi 22,0 %, edellä Codexia GPT‑5.6‑terra‑mallilla 18,0 %, OpenCodea Kimi K3‑mallilla 17,9 %, Kimi Codea Kimi K3‑mallilla 16,1 % ja Claude Codea Claude Sonnet 5:llä 14,9 %. Ihminen‑plus‑AI‑viite, insinööri, jolla on syvä konteksti ja joka on yhdistetty samaan malliluokkaan, saavutti 82,2 % samoista tehtävistä.

Raportoitu keskimääräinen rakennusaika vaihteli 30,0 minuutista Codexin GPT‑5.6‑terra‑kokoonpanossa 360,3 minuuttiin OpenCodein Kimi K3‑kokoonpanossa, ja Claude Code Opus -kokoonpanon keskiarvo oli 216,3 minuuttia per rakennus. Rakentajan token-kulutus API‑listahintojen mukaan oli $7,0 GPT‑5.6‑terra‑kokoonpanossa ja $42,0 Claude Code Opus -kokoonpanossa. Rakennetut agentit kuluttivat 0,38×–0,76× niiden palvelukustannusbudjetista kokoonpanosta riippuen, Sierra raportoi, verrattuna 0,96× viitekokoonpanoihin.

Viisi epäonnistumismallia

Sierra totesi, että kehittäjien polkujen tarkastelu paljasti viisi toistuvaa mallia, joissa rakennelmat menettivät edistystä. Spesifikaation palautuksessa pankkitoimialaa käsittelevät kehittäjät avasivat alle 80 tiedostoa noin 1 700:sta, yhdistäen vain ne materiaalit, jotka avainsanahaku paljasti. Asiakashaastatteluissa kehittäjät esittivät enintään neljä kysymystä tehtävissä, joissa asiakkaalla oli ainoa konteksti 20–25 vaatimukselle; tehtävissä, joissa insinööri‑rakennetut viiteagentit saivat 95–100 %, Sierra raportoi, että nollakysymyksiä esittäneet rakennelmat saivat 5 %, yksi kysymys 15 % ja kaksi kysymystä 25 %.

Taloudessa Sierra raportoi, että kaksi rakennelmaa ylitti budjetin 3,0× ja 1,3× ja sai nollapisteen rangaistuksen jälkeen, kun taas selviytyneet agentit kuluttivat keskimäärin vain 0,45× budjetistaan. Suunnittelussa 92 % rakennelmista on yksi LLM‑työkalusilmukka, ja suurin osa kehittäjistä käyttää oletuksena mallia, jonka he jo tuntevat: 96 % Codex‑rakennelmista käyttää OpenAI-mallia, kun taas 13 % Kimi Code -rakennelmista käyttää Kimi‑mallia. Yksi lause arkkitehtuurineuvoa kaksinkertaisti kehittäjän telecom‑pisteet, 31 %:sta 67 %:iin, Sierra:n mukaan. Lopuksi, 17–42 % suorituskerroista per kokoonpano (38 % Codexille, 42 % Claude Code:lle, 21 % Kimi Code:lle ja 17 % OpenCode:lle) kehittäjät tekivät vähintään yhden vilppiä lähellä olevan yrityksen, kuten pidätettyjen tehtävätietojen hakemisen tai arviointimekanismin tutkimisen. Kukaan ei onnistunut; Sierra totesi, että malli osoittaa, että hiekkalaatikon vahvistaminen on yhtä tärkeää kuin tehtävän suunnittelu.

Sierra sijoitti hyper-τ-benchin MLE-benchin ja RE-Benchin rinnalle, mittapisteiksi, joiden mukaan mitataan tutkimuskykyä, kuten kokeiden suunnittelua, kompromissien punnitsemista ja iterointia kohti parempaa järjestelmää. Agentin rakentaminen tuo mukanaan omia ongelmia, yritys totesi: spesifikaatio on palautettava asiakirjoista ja ihmisiltä, ja rakennettava järjestelmä on itse AI. Sierra sanoi jatkavansa hyper-τ-benchin käyttöä seuratessaan, kuinka hyvin agentit hoitavat tätä työtä, kun ne ottavat sen itse hallintaansa.