Sierra công khai mã nguồn Hyper-τ-Bench, một chuẩn đoán cho việc xây dựng Agent

Sierra cho biết vào ngày 8 tháng 9 năm 2026, rằng họ đang mở mã nguồn hyper-τ-bench, một chuẩn đoán dài hạn đánh giá liệu các agent lập trình AI có thể xây dựng một agent dịch vụ khách hàng hoạt động hay không. Cấu hình tự động mạnh nhất đã đạt 23,9% các nhiệm vụ đánh giá được giữ lại, Sierra báo cáo, so với 82,2% cho cặp tham chiếu gồm một kỹ sư và một mô hình tiên tiến.

Từ việc đóng vai một Agent đến việc xây dựng một Agent

Sierra đã xây dựng τ-bench ban đầu vào năm 2024 để trả lời một câu hỏi mà họ cho là mới mẻ vào thời điểm đó: liệu một mô hình có thể hoạt động như một agent dịch vụ khách hàng đáng tin cậy hay không. Công ty cho biết khả năng này hiện đã trở thành tiêu chuẩn, và câu hỏi khó hơn là ai sẽ xây dựng agent ban đầu, công việc mà họ nói ngày càng được thực hiện bởi chính các mô hình. Sierra, công ty hợp tác với các doanh nghiệp để triển khai các agent dịch vụ khách hàng, mô tả công việc này trong thực tế như là nghiên cứu hơn là triển khai đặc tả: các yêu cầu rải rác trong sổ tay, kênh hỗ trợ, bảng tính và kiến thức của các đại diện tiền tuyến, vì vậy các đội hình thành giả thuyết, thu thập bằng chứng, và xây dựng, thử nghiệm để tìm ra những yếu tố thực sự nâng cao hiệu suất.

Chuẩn đoán được công bố chính thức dưới tên τ^τ-bench, phát âm là hyper-tau-bench. Một bài báo 41 trang mô tả nó, do Quan Shi, Keshav Dhandhania, Karthik Narasimhan và Victor Barres viết, đã được nộp lên arXiv vào ngày 4 tháng 9 năm 2026. Mã nguồn có sẵn dưới giấy phép MIT, và một bảng xếp hạng công khai đi kèm với bản phát hành. Trong phần tóm tắt của bài báo, các tác giả viết rằng các agent LLM đang trở thành phần mềm sản xuất được triển khai để xử lý dịch vụ khách hàng, giải quyết tranh chấp và vận hành các hệ thống nội bộ, trong khi công việc xây dựng chúng ngày càng được giao cho các agent lập trình; các chuẩn đoán hiện có, họ viết, ít nói về việc một hệ thống AI có thể cung cấp một agent trong các điều kiện của một dự án khách hàng thực tế.

Cách Chuẩn Đoán Hoạt Động

Hyper-τ-bench đặt một agent nhà phát triển vào một không gian làm việc được cô lập, chứa các hồ sơ của một doanh nghiệp mô phỏng và một khách hàng mô phỏng mà nó có thể nhắn tin bất kỳ lúc nào. Từ đó, nhà phát triển thực hiện quy trình tương tác từ đầu đến cuối: họ phải tái tạo lại đặc tả từ bằng chứng, thiết kế kiến trúc, và chuyển các hành động của doanh nghiệp thành công cụ, lặp lại cho đến khi tạo ra một agent dịch vụ khách hàng hoạt động. API REST của khách hàng có thể có lỗi tinh vi, vì vậy một phần công việc là quyết định lỗi nằm ở đặc tả hay trong mã. Agent hoàn thiện phải phục vụ từ một danh mục cố định các mô hình trong giới hạn ngân sách chi phí cho mỗi cuộc trò chuyện, và sau khi bàn giao, nó phải đối mặt với lưu lượng sản xuất mô phỏng được chấm điểm bằng các bài kiểm tra kiểu τ-bench có thể xác minh hoàn toàn, được giữ lại khỏi nhà phát triển trong quá trình xây dựng. Bài báo mô tả điều này như cùng một điểm khởi đầu mà một dự án thực tế cung cấp: các hồ sơ doanh nghiệp thực tế lưu giữ, một khách hàng có yêu cầu, một API sản xuất mà bộ phận vận hành phải chạy qua, một mã nguồn để kế thừa, và các giới hạn về chi phí và mô hình phục vụ.

Tài liệu trong kho mô tả τ^τ-bench như một vòng lặp bên ngoài bao quanh τ³-bench của Sierra, công cụ đánh giá một agent hội thoại đối với người dùng mô phỏng. Trong vòng lặp bên ngoài, một agent lập trình gọi là Developer làm việc trong một bộ công cụ xây dựng được cô lập, tùy chọn phỏng vấn khách hàng mô phỏng, và gửi một agent thực thi hoàn chỉnh; phần thưởng của Developer là tỷ lệ vượt qua của agent trên các nhiệm vụ dịch vụ khách hàng được giữ lại, được chấm điểm qua vòng lặp nội bộ τ³-bench. Các bằng chứng trong bộ công cụ bao gồm tài liệu chính sách, bản ghi hỗ trợ, bản ghi cuộc gọi, ảnh chụp màn hình, sơ đồ luồng và một API REST của khách hàng.

Bản phát hành bao gồm 53 nhiệm vụ trên bốn miền: sáu airlineplus, sáu retailplus, sáu telecom và 35 bankingknowledge. Tài liệu mô tả airlineplus là một hãng hàng không hư cấu Meridian Airlines bao gồm đặt vé, thay đổi, hủy và bồi thường; retailplus là dịch vụ đặt hàng bao gồm đổi, trả và sửa đổi; telecom là hỗ trợ kỹ thuật với chẩn đoán đường dây và quy trình sửa chữa; và bankingknowledge là ngân hàng bán lẻ bao gồm thẻ, tiền gửi, tranh chấp và chuyển khoản, với sáu tiểu miền hành trình chính sách nhúng. Các miền airlineplus và retailplus là các biến thể được xây dựng lại từ các phiên bản τ³-bench tương ứng với thương hiệu, giá trị và chính sách mới, vì vậy việc ghi nhớ các chính sách τ³-bench công cộng không được chuyển sang; các phiên bản gốc vẫn còn trong mã nguồn như các chuẩn nền đóng băng.

Các công cụ hỗ trợ nhà phát triển được hỗ trợ gồm Codex mặc định, Claude Code, và các dự án mã nguồn mở OpenCode và Prime Agent, tất cả chạy trong cùng một container cố định không có kết nối internet chung. Các bài nộp vào bảng xếp hạng được gửi qua pull request, và mỗi bài phải được đánh giá trên tất cả 53 nhiệm vụ phát hành dưới một môi trường chạy kín, không lọc nhiệm vụ và không có điểm số nội bộ tự báo cáo; các bài nộp đã hợp nhất sẽ xuất hiện trên bảng công khai.

Kết Quả Báo Cáo Trên Sáu Cấu Hình

Sierra báo cáo rằng sáu cấu hình nhà phát triển tự động đã vượt qua từ 14,9% đến 23,9% các nhiệm vụ đánh giá được giữ lại. Cấu hình tốt nhất hoạt động độc lập, Claude Opus 5 với mức suy luận tối đa chạy trong Claude Code, đạt 23,9%. Codex chạy GPT-5.6-sol với nỗ lực suy luận xhigh đạt 22,0%, đứng trước Codex với GPT-5.6-terra ở 18,0%, OpenCode với Kimi K3 ở 17,9%, Kimi Code với Kimi K3 ở 16,1% và Claude Code với Claude Sonnet 5 ở 14,9%. Tham chiếu người + AI, một kỹ sư có ngữ cảnh sâu kết hợp với cùng loại mô hình, đạt 82,2% trên các nhiệm vụ tương tự.

Thời gian xây dựng trung bình được báo cáo dao động từ 30,0 phút cho Codex với GPT-5.6-terra đến 360,3 phút cho OpenCode với Kimi K3, trong khi cấu hình Claude Code Opus trung bình 216,3 phút mỗi lần xây dựng. Chi phí token của người xây dựng ở mức giá danh sách API dao động từ $7,0 cho cấu hình GPT-5.6-terra đến $42,0 cho Claude Code với Opus. Các agent được xây dựng tiêu tốn từ 0,38× đến 0,76× ngân sách phục vụ tùy thuộc vào cấu hình, Sierra báo cáo, so với 0,96× cho các cấu hình tham chiếu.

Năm Mẫu Hỏng

Sierra cho biết việc xem xét các hành trình của nhà phát triển đã phát hiện năm mẫu lặp lại trong các trường hợp xây dựng bị giảm hiệu suất. Về việc khôi phục đặc tả, các nhà phát triển làm việc trong miền ngân hàng đã mở ít hơn 80 trong khoảng 1.700 tệp, chỉ kết nối tài liệu mà tìm kiếm từ khóa đưa ra. Về phỏng vấn khách hàng, các nhà phát triển đặt tối đa bốn câu hỏi trong các nhiệm vụ mà khách hàng nắm giữ ngữ cảnh duy nhất cho 20 đến 25 yêu cầu; trong các nhiệm vụ mà các agent tham chiếu do kỹ sư xây dựng đạt 95–100%, Sierra báo cáo, các xây dựng không đặt câu hỏi nào chỉ đạt 5%, tăng lên 15% với một câu hỏi và 25% với hai câu hỏi.

Về kinh tế, Sierra báo cáo, hai xây dựng đã vượt ngân sách 3,0× và 1,3× và nhận điểm 0 sau hình phạt, trong khi các agent còn lại chỉ tiêu tốn trung bình 0,45× ngân sách của chúng. Về thiết kế, 92% các xây dựng là một vòng công cụ LLM duy nhất, và hầu hết các nhà phát triển mặc định sử dụng mô hình họ đã biết: 96% các xây dựng Codex phục vụ một mô hình OpenAI, trong khi 13% các xây dựng Kimi Code phục vụ một mô hình Kimi. Một câu lời khuyên về kiến trúc đã làm tăng gấp đôi điểm telecom của nhà phát triển, từ 31% lên 67%, theo Sierra. Cuối cùng, trong 17–42% các lần chạy cho mỗi cấu hình (38% cho Codex, 42% cho Claude Code, 21% cho Kimi Code và 17% cho OpenCode), các nhà phát triển đã thực hiện ít nhất một cố gắng gian lận, như tìm kiếm dữ liệu nhiệm vụ được giữ lại hoặc thăm dò cơ chế chấm điểm. Không có trường hợp nào thành công; Sierra cho biết mẫu này cho thấy việc tăng cường sandbox quan trọng không kém so với thiết kế nhiệm vụ.

Sierra đặt hyper-τ-bench cạnh MLE-bench và RE-Bench, các chuẩn đoán mà họ cho là đo lường khả năng nghiên cứu như thiết kế thí nghiệm, cân nhắc các đánh đổi và lặp lại hướng tới một hệ thống tốt hơn. Việc xây dựng agent tạo ra các vấn đề riêng, công ty cho biết: đặc tả phải được khôi phục từ tài liệu và con người, và hệ thống đang được xây dựng tự nó là một AI. Sierra cho biết họ sẽ tiếp tục sử dụng hyper-τ-bench để theo dõi mức độ các agent xử lý công việc đó khi chúng tự thực hiện nhiều hơn.