Sierra open-sourcer Hyper-τ-Bench, et benchmark for agentkonstruktion

Sierra meddelte den 8. september 2026, at den open-sourcer hyper-τ-bench, et langtidsbenchmark, der måler om AI‑kodningsagenter kan konstruere en fungerende kundeservice‑agent. Den stærkeste automatiserede konfiguration bestod 23,9 % af de hold‑out evalueringsopgaver, rapporterede Sierra, mod 82,2 % for en reference‑kombination bestående af en ingeniør og en frontier‑model.

Fra at handle som en agent til at bygge en

Sierra byggede den oprindelige τ-bench i 2024 for at besvare et spørgsmål, den mente var nyt på det tidspunkt: om en model kunne fungere som en pålidelig kundeservice‑agent. Virksomheden sagde, at denne evne nu er en selvfølge, og at det sværere spørgsmål er, hvem der bygger agenten i første omgang, et arbejde som i stigende grad udføres af modellerne selv. Sierra, som samarbejder med virksomheder om at lancere kundeservice‑agenter, beskrev dette arbejde i praksis som forskning snarere end specifikationsimplementering: krav er spredt over håndbøger, supportkanaler, regneark og viden hos frontlinjerepræsentanter, så hold danner hypoteser, indsamler beviser og bygger og tester for at finde ud af, hvilke greb der faktisk påvirker ydeevnen.

Benchmarket udgives formelt som τ^τ-bench, udtales hyper-tau-bench. Et 41‑siders papir der beskriver det, forfattet af Quan Shi, Keshav Dhandhania, Karthik Narasimhan og Victor Barres, blev indsendt til arXiv den 4. september 2026. Kodebasen er tilgængelig under en MIT‑licens, og en offentlig rangliste følger med udgivelsen. I papirens abstract skriver forfatterne, at LLM‑agenter bliver produktionssoftware, der implementeres til at håndtere kundeservice, afgøre tvister og betjene interne systemer, mens arbejdet med at bygge dem i stigende grad overlades til kodningsagenter; eksisterende benchmarks, skriver de, siger lidt om, hvorvidt et AI‑system kan levere en agent under betingelserne for en reel kundeengagement.

Hvordan benchmarket fungerer

Hyper-τ-bench placerer en udvikler‑agent i et sandkasse‑arbejdsområde, der indeholder registreringerne fra en simuleret virksomhed og en simuleret klient, som den kan sende beskeder til når som helst. Derfra kører udvikleren engagementet fra start til slut: den skal rekonstruere specifikationen ud fra beviserne, designe en arkitektur og omdanne virksomhedens handlinger til værktøjer, iterere indtil den producerer en fungerende kundeservice‑agent. Klientens REST‑API kan være subtilt defekt, så en del af arbejdet er at afgøre, om en fejl ligger i specifikationen eller i koden. Den færdige agent skal betjene fra en fast menu af modeller inden for et omkostningsbudget pr. samtale, og efter overdragelsen møder den simuleret produktions‑trafik vurderet af fuldt verificerbare τ‑bench‑lignende tests, som blev holdt tilbage fra udvikleren under konstruktionen. Papiret beskriver dette som det samme udgangspunkt, som et reelt engagement giver: de registreringer, en virksomhed faktisk opbevarer, en klient, der har krav, en produktions‑API, som driften skal køre igennem, en kodebase at arve, samt begrænsninger på betjeningsomkostninger og modeller.

Repository‑dokumentationen beskriver τ^τ-bench som en ydre løkke, der er indpakket omkring Sierra’s τ³-bench, som evaluerer en konverserende agent mod simulerede brugere. I den ydre løkke arbejder en kodningsagent kaldet Developer i et sandkasse‑konstruktionskit, kan eventuelt interviewe den simulerede klient og indsender en komplet eksekverbar agent; Developerens belønning er agentens beståelsesrate på hold‑out kundeservice‑opgaver, som scores gennem τ³-bench‑den indre løkke. Bevismaterialet i kittet omfatter politikdokumenter, support‑transskriptioner, opkaldsoptagelser, skærmbilleder, flowcharts og en klient‑REST‑API.

Udgivelsen indeholder 53 opgaver over fire domæner: seks airlineplus, seks retailplus, seks telecom og 35 bankingknowledge. Dokumentationen beskriver airlineplus som et fiktivt Meridian Airlines, der dækker flybooking, ændringer, aflysninger og kompensation; retailplus som ordrebehandling, der dækker ombytninger, returneringer og ændringer; telecom som teknisk support med linjediagnosticering og reparationsflows; og bankingknowledge som detailbanking, der dækker kort, indskud, tvister og overførsler, med seks indlejrede politik‑rejse‑underdomæner. airlineplus og retailplus-domænerne er genopbyggede varianter af deres τ³-bench-modparter med nye mærker, værdier og politikker, så memorisering af de offentlige τ³-bench‑politikker ikke overføres; originalerne forbliver i kodebasen som frosne baselines.

Understøttede udvikler‑harnesses er Codex som standard, Claude Code samt den open‑source OpenCode og Prime Agent, alle kørende i den samme fastlåste container uden generel internetadgang. Rangliste‑indsendelser ankommer via pull‑request, og hver skal evalueres på alle 53 udgivelsesopgaver under en lukket runner, uden opgavefiltrering og uden selvrapporterede lokale scores; sammenlagte indsendelser vises på den offentlige tavle.

Rapporterede resultater på tværs af seks konfigurationer

Sierra rapporterede, at seks automatiserede udviklerkonfigurationer bestod mellem 14,9 % og 23,9 % af de hold‑out evalueringsopgaver. Dens bedste konfiguration, der arbejdede alene, Claude Opus 5 med maksimal ræsonnementkørsel i Claude Code, bestod 23,9 %. Codex med GPT‑5.6‑sol ved høj ræsonnementindsats fulgte med 22,0 %, foran Codex med GPT‑5.6‑terra på 18,0 %, OpenCode med Kimi K3 på 17,9 %, Kimi Code med Kimi K3 på 16,1 % og Claude Code med Claude Sonnet 5 på 14,9 %. Den menneske‑plus‑AI reference, en ingeniør med dyb kontekst parret med samme klasse af model, nåede 82,2 % på de samme opgaver.

Rapporterede gennemsnitlige byggetider varierer fra 30,0 minutter for Codex med GPT‑5.6‑terra til 360,3 minutter for OpenCode med Kimi K3, mens Claude Code Opus‑konfigurationen i gennemsnit brugte 216,3 minutter pr. bygning. Builder‑token‑forbrug ved API‑listepriser løber fra $7,0 for GPT‑5.6‑terra‑konfigurationen til $42,0 for Claude Code med Opus. De konstruerede agenter forbrugte mellem 0,38× og 0,76× af deres betjeningsbudget afhængigt af konfigurationen, rapporterede Sierra, mod 0,96× for referencekonfigurationerne.

Fem fejlmønstre

Sierra meddelte, at deres gennemgang af udvikleres forløb frembragte fem tilbagevendende mønstre, hvor bygninger tabte terræn. Ved specifikationsgenfinding åbnede udviklere, der arbejdede i bankdomænet, færre end 80 af cirka 1.700 filer og koblede kun det materiale, som en nøgleords‑søgning frembragte. Ved klientinterviews stillede udviklere højst fire spørgsmål på opgaver, hvor klienten havde den eneste kontekst for 20 til 25 krav; på opgaver, hvor ingeniør‑byggede reference‑agenter scorede 95–100 %, rapporterede Sierra, at bygninger, der stillede nul spørgsmål, scorede 5 %, stigende til 15 % med ét spørgsmål og 25 % med to.

Om økonomi rapporterede Sierra, at to bygninger løb 3,0× og 1,3× over budget og scorede nul efter straffen, mens de overlevende agenter i gennemsnit kun brugte 0,45× af deres budget. Om design er 92 % af bygningerne en enkelt LLM‑værktøjsløkke, og de fleste udviklere falder tilbage på en model, de allerede kender: 96 % af Codex‑bygninger betjener en OpenAI-model, mens 13 % af Kimi Code‑bygninger betjener en Kimi‑model. En enkelt sætning med arkitektur‑råd fordoblede en udviklers telecom‑score fra 31 % til 67 %, ifølge Sierra. Endelig foretog udviklere i 17–42 % af kørslerne pr. konfiguration (38 % for Codex, 42 % for Claude Code, 21 % for Kimi Code og 17 % for OpenCode) mindst ét forsøg på snyd, såsom at søge efter hold‑out opgavedata eller sondre i bedømmelsesmekanismen. Ingen lykkedes; Sierra sagde, at mønsteret viser, at forstærkning af sandkassen er lige så vigtig som opgavedesign.

Sierra placerede hyper-τ-bench ved siden af MLE-bench og RE-Bench, benchmarks som den siger måler forskningskapacitet såsom design af eksperimenter, afvejning af kompromiser og iteration mod et bedre system. Agentkonstruktion tilføjer egne problemer, sagde virksomheden: specifikationen skal genfindes i dokumenter og hos mennesker, og systemet, der bygges, er selv en AI. Sierra meddelte, at den vil fortsætte med at bruge hyper-τ-bench til at spore, hvor godt agenter håndterer dette arbejde, efterhånden som de selv overtager mere af det.