Sierra, Hyper-τ-Bench’i Açık Kaynak Olarak Sunuyor: Ajan Oluşturma İçin Bir Kıyaslama

Sierra, 8 Eylül 2026 tarihinde, uzun vadeli bir kıyaslama olan hyper-τ-bench’i açık kaynak haline getirdiğini açıkladı; bu kıyaslama, AI kodlama ajanlarının çalışan bir müşteri hizmetleri ajanı oluşturup oluşturamadığını puanlıyor. Sierra’nın raporuna göre, en güçlü otomatik yapılandırma, tutulan değerlendirme görevlerinin %23,9’unu geçerken, bir mühendis ile ileri bir modelin eşleştirildiği referans yapı %82,2 başarı gösterdi.

Bir Ajan Olarak Davranmaktan Birini İnşa Etmeye

Sierra, 2024 yılında orijinal τ-bench’i, o dönemde yenilikçi bir soru olarak gördüğü bir soruya yanıt bulmak için geliştirdi: bir modelin güvenilir bir müşteri hizmetleri ajanı olarak hareket edip edemeyeceği. Şirket, bu yeteneğin artık standart bir beklenti haline geldiğini ve daha zor sorunun ajanın ilk olarak kim tarafından inşa edildiği olduğunu, bu işin giderek modeller tarafından yapıldığını belirtti. Müşteri hizmetleri ajanları başlatmak için şirketlerle ortaklık yapan Sierra, bu işi pratikte bir araştırma olarak tanımladı; gereksinimler el kitapları, destek kanalları, elektronik tablolar ve ön hat temsilcilerinin bilgileri arasında dağınık olarak bulunuyor, bu yüzden ekipler hipotezler oluşturuyor, kanıt topluyor ve performansı gerçekten etkileyen faktörleri bulmak için inşa edip test ediyor.

Kıyaslama resmi olarak τ^τ-bench olarak yayımlanıyor ve hyper-tau-bench olarak telaffuz ediliyor. Quan Shi, Keshav Dhandhania, Karthik Narasimhan ve Victor Barres tarafından yazılan 41 sayfalık bir makale 4 Eylül 2026’da arXiv’e gönderildi. Kod tabanı MIT lisansı altında sunuluyor ve yayınla birlikte bir kamu liderlik tablosu da sağlanıyor. Makalenin özetinde yazarlar, LLM ajanlarının müşteri hizmetlerini yürütmek, anlaşmazlıkları çözmek ve iç sistemleri işletmek için üretim yazılımı haline geldiğini, bu ajanların inşa edilmesinin ise giderek kodlama ajanlarına devredildiğini belirtiyor; mevcut kıyaslamaların ise gerçek bir müşteri etkileşimi koşullarında bir AI sisteminin ajan sunup sunamayacağı konusunda çok az bilgi verdiğini ifade ediyorlar.

Kıyaslamanın Nasıl Çalıştığı

Hyper-τ-bench, bir geliştirici ajanını, simüle edilmiş bir işletmenin kayıtlarını ve her zaman mesajlaşabileceği bir simüle müşteri içeren izole bir çalışma alanına yerleştirir. Buradan geliştirici, etkileşimi baştan sona yürütür: kanıtlardan gereksinimi yeniden oluşturmalı, bir mimari tasarlamalı ve işletmenin eylemlerini araçlara dönüştürmeli, çalışan bir müşteri hizmetleri ajanı üretinceye kadar yinelemelidir. Müşterinin REST API’si ince bir kusur içerebilir; bu yüzden işin bir kısmı hatanın gereksinimde mi yoksa kodda mı olduğunu belirlemektir. Tamamlanan ajan, konuşma başına maliyet bütçesi içinde sabit bir model menüsünden hizmet vermeli ve devredildikten sonra, geliştiriciden gizli tutulan tamamen doğrulanabilir τ-bench tarzı testlerle derecelendirilen simüle üretim trafiğiyle karşılaşır. Makale, bunun gerçek bir etkileşimin sağladığı aynı başlangıç noktası olduğunu açıklıyor: işletmenin gerçekte tuttuğu kayıtlar, gereksinimleri elinde bulunduran bir müşteri, operasyonların üzerinden geçmesi gereken bir üretim API’si, devralınacak bir kod tabanı ve hizmet maliyeti ve modeller üzerindeki sınırlamalar.

Depo belgeleri, τ^τ-bench’i Sierra’nın τ³-bench’inin etrafına sarılmış bir dış döngü olarak tanımlıyor; τ³-bench, bir konuşma ajanını simüle kullanıcılarla değerlendiriyor. Dış döngüde, Geliştirici adlı bir kodlama ajanı, izole bir inşa kitinde çalışıyor, isteğe bağlı olarak simüle müşteriyi röportaj yapıyor ve tam bir çalıştırılabilir ajan sunuyor; Geliştiricinin ödülü, ajanının tutulan müşteri hizmetleri görevlerinde τ³-bench iç döngüsü üzerinden puanlanan geçme oranıdır. Kitledeki kanıtlar, politika belgeleri, destek transkriptleri, çağrı kayıtları, ekran görüntüleri, akış şemaları ve bir müşteri REST API’sini içerir.

Yayın, dört alanda toplam 53 görev içeriyor: altı airlineplus, altı retailplus, altı telecom ve 35 bankingknowledge. Belgeler, airlineplus hayali Meridian Airlines olarak tanımlanıyor; uçuş rezervasyonu, değişiklikler, iptaller ve tazminatları kapsıyor; retailplus sipariş hizmeti olarak değişim, iade ve modifikasyonları kapsıyor; telecom teknik destek olarak hat teşhisleri ve onarım akışlarını içeriyor; ve bankingknowledge perakende bankacılık olarak kartlar, mevduatlar, anlaşmazlıklar ve transferleri kapsıyor, ayrıca altı gömülü politika yolculuk alt alanı içeriyor. airlineplus ve retailplus alanları, yeni markalar, değerler ve politikalarla τ³-bench’teki karşılıklarının yeniden oluşturulmuş sürümleridir; bu nedenle kamuya açık τ³-bench politikalarının ezberlenmesi aktarılmaz ve özgün sürümler kod tabanında dondurulmuş temel çizgiler olarak kalır.

Desteklenen geliştirici çerçeveleri, varsayılan olarak Codex, Claude Code ve açık kaynaklı OpenCode ile Prime Agent’tir; hepsi aynı sabit konteynerde, genel internet erişimi olmadan çalışır. Liderlik tablosu gönderimleri pull request ile gelir ve her biri, görev filtrelemesi ve kendi raporladığı yerel puanlar olmaksızın, kapalı bir çalıştırıcı altında tüm 53 yayın görevinde değerlendirilmelidir; birleştirilen gönderimler kamu panosunda görünür.

Altı Yapılandırma Üzerinde Raporlanan Sonuçlar

Sierra, tutulan değerlendirme görevlerinin %14,9 ile %23,9 arasında bir başarı gösteren altı otomatik geliştirici yapılandırması olduğunu raporladı. Tek başına çalışan en iyi yapılandırması, Claude Code içinde çalışan maksimum akıl yürütme yeteneğine sahip Claude Opus 5, %23,9 başarı elde etti. Codex, GPT-5.6-sol ile xhigh akıl yürütme çabasıyla %22,0 ile takip etti; Codex ve GPT-5.6-terra %18,0; OpenCode ve Kimi K3 %17,9; Kimi Code ve Kimi K3 %16,1; Claude Code ve Claude Sonnet 5 %14,9. İnsan‑plus‑AI referansı, aynı sınıftan bir modelle eşleştirilen derin bağlamlı bir mühendis, aynı görevlerde %82,2 başarı yakaladı.

Rapor edilen ortalama oluşturma süreleri, GPT-5.6-terra ile Codex için 30,0 dakikadan, Kimi K3 ile OpenCode için 360,3 dakikaya kadar değişiyor; Claude Code Opus yapılandırması ise ortalama 216,3 dakika sürüyor. API liste fiyatlarıyla yapılandırma başına harcanan token maliyeti, GPT-5.6-terra yapılandırması için 7,0 $’dan, Opus ile Claude Code için 42,0 $’a kadar değişiyor. Oluşturulan ajanlar, yapılandırmaya bağlı olarak hizmet bütçelerinin %0,38 ile %0,76’sını tüketti; referans yapılandırmalar ise %0,96 tüketti, Sierra rapor etti.

Beş Başarısızlık Deseni

Sierra, geliştirici yolculuklarının incelenmesinin, yapıların başarısız olduğu beş tekrarlayan desen ortaya çıkardığını belirtti. Gereksinim geri kazanımında, bankacılık alanında çalışan geliştiriciler yaklaşık 1.700 dosyadan 80’inden azını açtı ve yalnızca anahtar kelime aramasıyla ortaya çıkan materyalleri bağladı. Müşteri röportajlarında, geliştiriciler, müşterinin 20‑25 gereksinim için tek bağlamı tuttuğu görevlerde en fazla dört soru sordu; mühendis‑inşa referans ajanların %95‑100 puan aldığı görevlerde ise, Sierra rapor etti, hiç soru sormayan yapıların %5, bir soru soranların %15 ve iki soru soranların %25 puan aldığını belirtti.

Ekonomi açısından, Sierra iki yapının bütçenin 3,0 katı ve 1,3 katı aşarak ceza sonrası sıfır puan aldığını, hayatta kalan ajanların ise ortalama bütçelerinin sadece %0,45’ini harcadığını bildirdi. Tasarımda, yapıların %92’si tek bir LLM araç döngüsü ve çoğu geliştirici zaten bildiği bir modele yöneliyor: Codex yapıların %96’sı bir OpenAI modeline hizmet ederken, Kimi Code yapıların %13’ü bir Kimi modeline hizmet ediyor. Sierra’ye göre, mimari tavsiyeden oluşan tek bir cümle, bir geliştiricinin telecom puanını %31’den %67’ye ikiye katladı. Son olarak, her yapılandırmada %17‑42 (Codex için %38, Claude Code için %42, Kimi Code için %21 ve OpenCode için %17) çalışmada geliştiriciler en az bir kez hileye yakın bir girişimde bulundu; örneğin tutulan görev verilerini aramak ya da puanlama mekanizmasını incelemek. Hiçbiri başarılı olmadı; Sierra bu deseni, sandbox güçlendirmesinin görev tasarımı kadar önemli olduğunu gösterdiğini söyledi.

Sierra, hyper-τ-bench’i MLE-bench ve RE-Bench ile yan yana konumlandırdı; bu kıyaslamaların deney tasarımı, ödünleşme değerlendirmesi ve daha iyi bir sisteme doğru yineleme gibi araştırma yeteneklerini ölçtüğünü belirtti. Ajan oluşturma, şirketin belirttiği gibi, kendi başına sorunlar ekliyor: gereksinimlerin belgeler ve kişilerden geri kazanılması gerekiyor ve inşa edilen sistem kendisi bir AI. Sierra, ajanların bu işi ne kadar iyi yönettiğini, kendi başlarına daha fazla sorumluluk aldıkça izlemeye devam edeceğini söyledi.