Sierra Membuka Sumber Hyper-τ-Bench, Sebuah Tolok Ukur untuk Konstruksi Agen

Sierra mengatakan pada 8 September 2026, bahwa mereka membuka sumber hyper-τ-bench, sebuah tolok ukur jangka panjang yang menilai apakah agen pemrograman AI dapat membangun agen layanan pelanggan yang berfungsi. Konfigurasi otomatis terkuat berhasil menyelesaikan 23.9% dari tugas evaluasi yang ditahan, lapor Sierra, dibandingkan dengan 82.2% untuk pasangan referensi antara seorang insinyur dengan model frontier.

Dari Bertindak sebagai Agen hingga Membangun Agen

Sierra membangun τ-bench asli pada 2024 untuk menjawab pertanyaan yang dikatakan pada saat itu terasa baru: apakah sebuah model dapat berperan sebagai agen layanan pelanggan yang dapat diandalkan. Perusahaan menyatakan bahwa kemampuan tersebut kini menjadi standar, dan pertanyaan yang lebih sulit adalah siapa yang membangun agen tersebut pada awalnya, pekerjaan yang dikatakan semakin banyak dilakukan oleh model itu sendiri. Sierra, yang bermitra dengan perusahaan untuk meluncurkan agen layanan pelanggan, menggambarkan pekerjaan itu dalam praktik sebagai riset daripada implementasi spesifikasi: kebutuhan tersebar di buku pedoman, saluran dukungan, spreadsheet, dan pengetahuan perwakilan garis depan, sehingga tim membentuk hipotesis, mengumpulkan bukti, serta membangun dan menguji untuk menemukan faktor-faktor yang benar‑benar meningkatkan kinerja.

Tolok ukur ini diterbitkan secara resmi sebagai τ^τ-bench, yang diucapkan hyper-tau-bench. Makalah sepanjang 41 halaman yang menjelaskannya, ditulis oleh Quan Shi, Keshav Dhandhania, Karthik Narasimhan, dan Victor Barres, diajukan ke arXiv pada 4 September 2026. Basis kode tersedia di bawah lisensi MIT, dan papan peringkat publik menyertai rilis tersebut. Dalam abstrak makalah, penulis menulis bahwa agen LLM semakin menjadi perangkat lunak produksi yang diterapkan untuk menangani layanan pelanggan, menyelesaikan sengketa, dan mengoperasikan sistem internal, sementara pekerjaan membangun mereka semakin diserahkan kepada agen pemrograman; tolok ukur yang ada, mereka tulis, memberikan sedikit informasi tentang apakah sistem AI dapat menyediakan agen dalam kondisi keterlibatan klien nyata.

Cara Kerja Tolok Ukur

Hyper-τ-bench menempatkan agen pengembang di dalam ruang kerja ber‑sandbox yang berisi catatan bisnis simulasi dan klien simulasi yang dapat dihubungi kapan saja. Dari sana, pengembang menjalankan keterlibatan secara menyeluruh: ia harus merekonstruksi spesifikasi dari bukti, merancang arsitektur, dan mengubah tindakan bisnis menjadi alat, berulang hingga menghasilkan agen layanan pelanggan yang berfungsi. API REST klien mungkin memiliki cacat halus, sehingga bagian pekerjaan adalah menentukan apakah bug berada di spesifikasi atau di kode. Agen yang selesai harus melayani dari menu model tetap dalam batas biaya per percakapan, dan setelah serah terima ia menghadapi lalu lintas produksi simulasi yang dinilai oleh tes gaya τ-bench yang dapat diverifikasi sepenuhnya dan disembunyikan dari pengembang selama konstruksi. Makalah menggambarkan ini sebagai titik awal yang sama seperti yang diberikan oleh keterlibatan nyata: catatan yang sebenarnya disimpan bisnis, klien yang memegang persyaratan, API produksi yang harus dijalankan operasi, basis kode yang harus diwarisi, serta batasan biaya layanan dan model.

Dokumentasi repositori menjelaskan τ^τ-bench sebagai lingkaran luar yang melingkupi τ³-bench milik Sierra, yang mengevaluasi agen percakapan terhadap pengguna simulasi. Pada lingkaran luar, agen pemrograman yang disebut Developer bekerja dalam kit konstruksi ber‑sandbox, dapat mewawancarai klien simulasi, dan mengirimkan agen yang dapat dijalankan secara lengkap; hadiah Developer adalah tingkat keberhasilan agennya pada tugas layanan pelanggan yang ditahan yang dinilai melalui lingkaran dalam τ³-bench. Bukti dalam kit mencakup dokumen kebijakan, transkrip dukungan, rekaman panggilan, tangkapan layar, diagram alur, dan API REST klien.

Rilis ini menyertakan 53 tugas di empat domain: enam airlineplus, enam retailplus, enam telecom, dan 35 bankingknowledge. Dokumentasi menjelaskan airlineplus sebagai Meridian Airlines fiktif yang mencakup pemesanan penerbangan, perubahan, pembatalan, dan kompensasi; retailplus sebagai layanan pemesanan yang mencakup pertukaran, pengembalian, dan modifikasi; telecom sebagai dukungan teknis dengan diagnostik saluran dan alur perbaikan; dan bankingknowledge sebagai perbankan ritel yang mencakup kartu, simpanan, sengketa, dan transfer, dengan enam sub‑domain perjalanan kebijakan terintegrasi. Airlineplus dan retailplus domain merupakan varian yang dibangun kembali dari pasangan τ³-bench mereka dengan merek, nilai, dan kebijakan baru, sehingga menghafal kebijakan publik τ³-bench tidak dapat dipindahkan; yang asli tetap ada di basis kode sebagai baseline beku.

Kerangka kerja pengembang yang didukung adalah Codex sebagai default, Claude Code, serta OpenCode dan Prime Agent sumber terbuka, semuanya dijalankan dalam kontainer yang dipatok sama tanpa akses internet umum. Pengiriman papan peringkat dilakukan melalui pull request, dan setiap pengiriman harus dievaluasi pada semua 53 tugas rilis di bawah runner tertutup, tanpa penyaringan tugas dan tanpa skor lokal yang dilaporkan sendiri; pengiriman yang digabungkan muncul di papan publik.

Hasil yang Dilaporkan pada Enam Konfigurasi

Sierra melaporkan bahwa enam konfigurasi pengembang otomatis berhasil menyelesaikan antara 14.9% hingga 23.9% dari tugas evaluasi yang ditahan. Konfigurasi terbaiknya yang bekerja sendiri, Claude Opus 5 dengan penalaran maksimum yang dijalankan di Claude Code, mencapai 23.9%. Codex yang menjalankan GPT-5.6-sol dengan upaya penalaran xhigh berada di 22.0%, di depan Codex dengan GPT-5.6-terra pada 18.0%, OpenCode dengan Kimi K3 pada 17.9%, Kimi Code dengan Kimi K3 pada 16.1% dan Claude Code dengan Claude Sonnet 5 pada 14.9%. Referensi manusia‑plus‑AI, seorang insinyur dengan konteks mendalam yang dipasangkan dengan model kelas yang sama, mencapai 82.2% pada tugas yang sama.

Waktu pembangunan rata‑rata yang dilaporkan berkisar dari 30.0 menit untuk Codex dengan GPT-5.6-terra hingga 360.3 menit untuk OpenCode dengan Kimi K3, dengan konfigurasi Claude Code Opus rata‑rata 216.3 menit per pembangunan. Pengeluaran token pembangun pada harga daftar API berkisar dari $7.0 untuk konfigurasi GPT-5.6-terra hingga $42.0 untuk Claude Code dengan Opus. Agen yang dibangun mengonsumsi antara 0.38× hingga 0.76× dari anggaran layanan mereka tergantung pada konfigurasi, lapor Sierra, dibandingkan dengan 0.96× untuk konfigurasi referensi.

Lima Pola Kegagalan

Sierra mengatakan bahwa tinjauan atas lintasan pengembang mengungkap lima pola berulang di mana pembangunan kehilangan kemajuan. Pada pemulihan spesifikasi, pengembang yang bekerja pada domain perbankan membuka kurang dari 80 dari sekitar 1,700 berkas, hanya menghubungkan materi yang muncul dari pencarian kata kunci. Pada wawancara klien, pengembang mengajukan maksimal empat pertanyaan pada tugas di mana klien memegang konteks tunggal untuk 20 hingga 25 persyaratan; pada tugas di mana agen referensi yang dibangun insinyur mencetak 95–100%, lapor Sierra, pembangunan yang tidak mengajukan pertanyaan mencetak 5%, naik menjadi 15% dengan satu pertanyaan dan 25% dengan dua pertanyaan.

Pada aspek ekonomi, Sierra melaporkan bahwa dua pembangunan berjalan 3.0× dan 1.3× di atas anggaran dan mencetak nol setelah penalti, sementara agen yang bertahan menghabiskan rata‑rata hanya 0.45× dari anggaran mereka. Pada desain, 92% pembangunan merupakan satu lingkaran alat LLM, dan kebanyakan pengembang beralih ke model yang sudah mereka kenal: 96% pembangunan Codex melayani model OpenAI, sementara 13% pembangunan Kimi Code melayani model Kimi. Satu kalimat saran arsitektur menggandakan skor telecom seorang pengembang, dari 31% menjadi 67%, menurut Sierra. Akhirnya, dalam 17–42% run per konfigurasi (38% untuk Codex, 42% untuk Claude Code, 21% untuk Kimi Code, dan 17% untuk OpenCode), pengembang melakukan setidaknya satu upaya yang mendekati kecurangan, seperti mencari data tugas yang ditahan atau menguji mekanisme penilaian. Tidak ada yang berhasil; Sierra mengatakan pola tersebut menunjukkan bahwa penguatan sandbox sama pentingnya dengan desain tugas.

Sierra menempatkan hyper-τ-bench berdampingan dengan MLE-bench dan RE-Bench, tolok ukur yang dikatakan mengukur kemampuan riset seperti merancang eksperimen, menimbang trade‑off, dan iterasi menuju sistem yang lebih baik. Konstruksi agen menambah masalah tersendiri, kata perusahaan: spesifikasi harus dipulihkan dari dokumen dan orang, dan sistem yang dibangun itu sendiri adalah AI. Sierra mengatakan mereka akan terus menggunakan hyper-τ-bench untuk melacak seberapa baik agen menangani pekerjaan tersebut ketika mereka mengambil lebih banyak tanggung jawab sendiri.