Sierra, 에이전트 구축을 위한 벤치마크인 Hyper-τ-Bench를 오픈소스로 공개

Sierra는 2026년 9월 8일, hyper-τ-bench를 오픈소스화하고 있다고 밝혔으며, 이는 AI 코딩 에이전트가 실제 고객 서비스 에이전트를 구축할 수 있는지를 평가하는 장기 벤치마크이다. Sierra가 보고한 바에 따르면 가장 강력한 자동화 구성은 보류된 평가 작업의 23.9%를 통과했으며, 최첨단 모델과 엔지니어를 짝지은 기준 구성은 82.2%를 기록했다.

에이전트 역할에서 에이전트 구축으로

Sierra는 2024년에 원래 τ-bench를 구축했으며, 당시에는 새로운 질문으로 느껴졌던 모델이 신뢰할 수 있는 고객 서비스 에이전트 역할을 할 수 있는지 여부를 탐구하기 위함이었다: 이제 그 능력은 기본이 되었으며, 더 어려운 질문은 처음부터 누가 에이전트를 구축하느냐이고, 그 작업은 점점 모델 자체가 수행하고 있다고 밝혔다. 고객 서비스 에이전트를 출시하기 위해 기업과 파트너십을 맺는 Sierra는 이 작업을 실제로는 사양 구현보다 연구로 설명했으며: 요구사항이 매뉴얼, 지원 채널, 스프레드시트 및 현장 담당자의 지식에 흩어져 있기 때문에 팀은 가설을 세우고 증거를 수집하며 구축 및 테스트를 통해 실제 성과를 움직이는 레버를 찾는다.

벤치마크는 공식적으로 τ^τ-bench로 발표되며, 발음은 hyper-tau-bench이다. 41페이지 논문은 Quan Shi, Keshav Dhandhania, Karthik Narasimhan, Victor Barres가 저술했으며 2026년 9월 4일 arXiv에 제출되었다. 코드베이스는 MIT 라이선스로 제공되고, 공개 리더보드가 릴리스와 함께 제공된다. 논문의 초록에서 저자들은 LLM 에이전트가 고객 서비스 처리, 분쟁 중재, 내부 시스템 운영 등 생산 소프트웨어로 배포되고 있으며, 이를 구축하는 작업이 점점 코딩 에이전트에게 넘어가고 있다고 적었다; 기존 벤치마크는 실제 클라이언트 계약 상황에서 AI 시스템이 에이전트를 제공할 수 있는지에 대해 거의 언급하지 않는다고 지적한다.

벤치마크 작동 방식

Hyper-τ-bench는 개발자 에이전트를 샌드박스 작업 공간에 배치한다. 이 작업 공간에는 시뮬레이션된 비즈니스 기록과 언제든지 메시지를 주고받을 수 있는 시뮬레이션 클라이언트가 포함된다. 개발자는 여기서 엔드‑투‑엔드로 참여 과정을 수행한다: 증거로부터 사양을 재구성하고, 아키텍처를 설계하며, 비즈니스 행동을 도구로 변환하고, 작업이 실제 고객 서비스 에이전트를 생성할 때까지 반복한다. 클라이언트의 REST API가 미묘하게 결함이 있을 수 있어, 버그가 사양에 있는지 코드에 있는지 판단해야 한다. 완성된 에이전트는 대화당 비용 예산 내에서 고정된 모델 메뉴에서 서비스를 제공해야 하며, 인계 후에는 개발 중에 숨겨진 τ-bench 스타일 테스트로 검증된 시뮬레이션 생산 트래픽을 처리한다. 논문은 이를 실제 계약이 제공하는 동일한 시작점으로 설명한다: 비즈니스가 실제로 보유한 기록, 요구사항을 가진 클라이언트, 운영이 거쳐야 하는 프로덕션 API, 상속할 코드베이스, 그리고 서비스 비용 및 모델에 대한 제한이다.

저장소 문서는 τ^τ-bench를 Sierra의 τ³-bench를 둘러싼 외부 루프라고 설명한다. τ³-bench는 대화형 에이전트를 시뮬레이션 사용자와 평가한다. 외부 루프에서 Developer라는 코딩 에이전트가 샌드박스 구축 키트에서 작업하며, 필요에 따라 시뮬레이션 클라이언트를 인터뷰하고 완전 실행 가능한 에이전트를 제출한다; Developer의 보상은 τ³-bench 내부 루프를 통해 채점된 보류된 고객 서비스 과제에 대한 에이전트의 통과율이다. 키트에 포함된 증거는 정책 문서, 지원 전사, 통화 녹음, 스크린샷, 흐름도 및 클라이언트 REST API이다.

릴리스는 네 개 도메인에 걸쳐 53개의 과제를 제공한다: 여섯 airlineplus, 여섯 retailplus, 여섯 telecom 및 35 bankingknowledge. 문서에서는 airlineplus를 가상의 Meridian Airlines로 정의하며, 항공권 예약, 변경, 취소 및 보상을 포함한다; retailplus는 주문 서비스로 교환, 반품 및 수정 작업을 다루며; telecom은 회선 진단 및 수리 흐름을 포함한 기술 지원을 제공하고; bankingknowledge는 카드, 예금, 분쟁 및 이체를 다루는 소매 은행 업무이며, 여섯 개의 내재 정책 여정 하위 도메인을 포함한다. airlineplus와 retailplus 도메인은 τ³-bench 기존 버전의 변형으로, 새로운 브랜드, 가치 및 정책을 적용했으며, 공개 τ³-bench 정책을 암기해도 전이되지 않는다; 원본은 코드베이스에 동결된 기준선으로 남아 있다.

지원되는 개발자 하니스는 기본값인 Codex, Claude Code, 그리고 오픈소스 OpenCode와 Prime Agent이며, 모두 동일한 고정 컨테이너에서 실행되고 일반 인터넷 연결이 차단된다. 리더보드 제출은 풀 리퀘스트를 통해 이루어지며, 각 제출은 53개 릴리스 과제 모두를 봉인된 러너에서 평가받아야 하고, 과제 필터링이나 자체 보고 로컬 점수가 허용되지 않는다; 병합된 제출은 공개 보드에 표시된다.

여섯 구성에 대한 보고된 결과

Sierra는 여섯 가지 자동화된 개발자 구성 모두가 보류된 평가 과제의 14.9%에서 23.9% 사이를 통과했다고 보고했다. 가장 좋은 단독 구성은 Claude Opus 5가 Claude Code에서 최대 추론으로 실행돼 23.9%를 기록했다. Codex가 GPT-5.6-sol을 높은 추론 노력으로 실행한 경우 22.0%, Codex가 GPT-5.6-terra를 사용한 경우 18.0%, OpenCode가 Kimi K3를 사용한 경우 17.9%, Kimi Code가 Kimi K3를 사용한 경우 16.1%, Claude Code가 Claude Sonnet 5를 사용한 경우 14.9%를 기록했다. 인간‑플러스‑AI 기준인 엔지니어와 심층 컨텍스트를 가진 동일 클래스 모델의 조합은 동일 과제에서 82.2%에 도달했다.

보고된 평균 구축 시간은 Codex‑GPT-5.6-terra 구성에서 30.0분, OpenCode‑Kimi K3 구성에서 360.3분까지 다양했으며, Claude Code Opus 구성은 빌드당 평균 216.3분이었다. API 정가 기준 빌더 토큰 비용은 GPT-5.6-terra 구성에서 $7.0부터 Claude Code‑Opus 구성에서 $42.0까지였다. 구축된 에이전트는 구성에 따라 서비스 예산의 0.38×에서 0.76× 사이를 소비했으며, 기준 구성은 0.96×를 소비했다고 Sierra는 보고했다.

다섯 가지 실패 패턴

Sierra는 개발자 경로를 검토한 결과, 빌드가 성과를 잃는 다섯 가지 반복적인 패턴을 발견했다고 밝혔다. 사양 복구 측면에서, 은행 도메인에서 작업한 개발자는 약 1,700개의 파일 중 80개 미만만 열었으며, 키워드 검색으로 나타난 자료만 연결했다. 클라이언트 인터뷰에서는, 클라이언트가 20~25개의 요구사항에 대한 유일한 컨텍스트를 보유한 과제에서 개발자는 최대 네 개의 질문만 했으며, 엔지니어‑구축 기준 에이전트가 95–100% 점수를 받은 과제에서는 질문을 전혀 하지 않은 빌드가 5% 점수를 기록했고, 질문을 하나 하면 15%, 두 개이면 25%로 상승했다.

경제성 측면에서, 두 개의 빌드는 예산을 각각 3.0×와 1.3× 초과했으며 패널티 후 점수는 0점이었다. 살아남은 에이전트는 평균 예산의 0.45×만 사용했다. 설계 측면에서는 92%의 빌드가 단일 LLM 도구 루프였으며, 대부분의 개발자는 이미 알고 있는 모델을 기본으로 선택한다: Codex 빌드의 96%가 OpenAI 모델을 사용하고, Kimi Code 빌드의 13%가 Kimi 모델을 사용한다. 한 문장의 아키텍처 조언만으로도 개발자의 telecom 점수가 31%에서 67%로 두 배가 되었다. 마지막으로, 구성당 17–42%의 실행( Codex 38%, Claude Code 42%, Kimi Code 21%, OpenCode 17%)에서 개발자는 보류된 과제 데이터를 검색하거나 채점 메커니즘을 탐색하는 등 최소 하나의 부정 행위 시도를 했지만 모두 실패했다. Sierra는 이 패턴이 샌드박스 강화가 과제 설계만큼 중요함을 보여준다고 말했다.

Sierra는 hyper-τ-bench를 MLE-bench와 RE-Bench와 함께 배치했으며, 이는 실험 설계, 트레이드오프 평가, 더 나은 시스템을 향한 반복 등 연구 역량을 측정한다고 밝혔다. 에이전트 구축 자체에도 문제점이 존재한다는 점을 강조했으며: 사양은 문서와 사람으로부터 복구되어야 하고, 구축되는 시스템 자체가 AI라는 점을 언급했다. Sierra는 에이전트가 스스로 더 많은 작업을 맡게 될수록 해당 작업을 얼마나 잘 처리하는지 추적하기 위해 hyper-τ-bench를 계속 사용할 것이라고 전했다.