IBM Research: Öğrenilmiş Belleğin τ²-Bench Hizmet Karşılaştırmasında Zirvede Olduğunu Bildirdi

IBM Research, Hugging Face’te 20 Ekim 2026’da yayımlanan bir gönderide, bir ajanın kendi eğitim çalıştırmalarından otomatik olarak öğrenilen ve sistem istemine eklenen yönergelerin, hazır bir GPT-4.1 müşteri hizmetleri ajanının τ²-bench’in perakende alanında Pass^4 puanını %67,5’e çıkardığını bildirdi. Bu puan, ekibin 12 Ekim 2026 tarihli liderlik tablosu anlık görüntüsündeki tüm perakende sonuçlarının üzerindeydi.

Bu sonuç, laboratuvarın yazarların öğrenilmiş bir kılavuz olarak tanımladığı yapıyı oluşturma yöntemi ALTK-Evolve’dan elde edildi. Yöntem, bir ajanın eğitim görevlerindeki girişimlerini analiz ediyor ve başarılarıyla başarısızlıklarını kısa davranış kurallarına dönüştürmek için aynı modeli kullanıyor; bu kurallar müşterinin kimliğini doğrulama, bir işlemi teyit etme veya iadeyi ele alma gibi durumları kapsıyor. Gönderiye göre aynı model hem yönergeleri çıkarıyor hem de ajanın kendisine güç veriyor; süreçte ağırlık güncellemesi ya da insan eliyle etiketleme gerekmiyor. Ekip, bu yaklaşımı daha önce kodlama ajanlarında göstermişti; yeni çalışma ise yöntemi müşteri hizmetlerine uyguluyor. Gönderide, aralarında Ashwath Vaithinathan Aravindan, Vatche Isahagian ve Vinod Muthusamy’nin de bulunduğu on bir IBM Research yazarı listeleniyor.

Çalışma Nasıl Yürütüldü?

Sierra Research tarafından sürdürülen τ²-bench, müşteri hizmetleri ajanlarını farklı alanlarda değerlendirmeye yönelik bir simülasyon çerçevesidir. τ²-bench deposuna göre her alan, ajanın uyması gereken bir politikayı, bir araç kümesini ve bir değerlendirme görevi kümesini tanımlar; karşılaştırmanın temel makalesi ise çift kontrollü bir ortamı açıklar. IBM’in çalışmasında perakende ve havayolu alanları kullanılıyor. Her görevde ajan; LLM tarafından simüle edilen bir müşteri, alana özgü araçlar ve yazılı bir politika belgesiyle eşleştiriliyor. Bir görev ancak son veritabanı durumu beklenen sonuçla eşleştiğinde çözülmüş sayılıyor; gönderide bu, katı bir ikili ödül olarak tanımlanıyor.

Değerlendirmede, ajan modeli olarak gpt-4.1’i ve müşteri simülatörü modeli olarak gpt-5.5’i kullanan, iki aşamalı THINK→ACT döngüsüne sahip temel ReAct ajanının τ²-bench’in kendi uygulaması çalıştırıldı; her görev dört kez denendi. Yapılan tek değişiklik, alan politikasının ardından sistem istemine eklenen, öğrenilmiş yönergelerden oluşan yalın bir Markdown listesiydi. Yayımlanan örnekler arasında siparişle ilgili herhangi bir işlemden önce kullanıcının kimliğini doğrulama, veritabanını güncelleyen işlemlerden önce kullanıcının açık onayını alma, iadeleri kalem kalem açıklama, her adımda tek bir işlem yapma ve kullanıcı aramalarından önce birleştirilmiş ad tanıtıcılarını ayrıştırma yer alıyor.

Yönergeler, gpt-4.1 kullanılarak ajanın τ²-bench eğitim görevlerindeki izlerinden çıkarıldı ve ayrılmış test kümesine hiçbir değişiklik yapılmadan uygulandı. Her yönerge, çıkarıldığı farklı eğitim görevlerinin sayısı olan bir destek sayısıyla birlikte geliyor. Çalışmada üç yapılandırma karşılaştırılıyor: yönerge içermeyen temel yapılandırma; yalnızca destek sayısı en az üç olan yönergeleri tutan sup3 (perakendede 31, havayolunda 14 yönerge); ve tutulan tüm yönergeleri içeren lossless (perakendede 292, havayolunda 101 yönerge).

Perakende ve Havayolu Alanlarında Ayrılmış Test Kümesi Sonuçları

Çalışma, her görev için yapılan dört denemedeki iki ölçütü izliyor: yazarların yetenek ekseni olarak nitelendirdiği, ortalama başarı oranı olan Ortalama Doğruluk ve güvenilirlik ekseni olarak tanımladıkları, dört denemenin tamamında çözülen görevlerin yüzdesini gösteren Pass^4. Yazarlar ayrıca Pass^4’ün τ²-bench liderlik tablosunda raporlanan ölçüt olduğunu belirtiyor.

Ayrılmış perakende test kümesindeki 40 görevde IBM, temel ajanın ortalama doğrulukta %78,1, Pass^4’te ise %57,5 puan aldığını bildiriyor. sup3 çekirdeği sırasıyla %78,8 ve %60,0; lossless yapılandırması ise %82,5 ve %67,5 puan aldı. Bu sonuçlar, temel yapılandırmaya kıyasla sırasıyla 4,4 ve 10,0 yüzde puanlık artış olarak ifade ediliyor.

Ayrılmış havayolu test kümesindeki 20 görevde temel yapılandırma %57,5 doğruluk ve %35,0 Pass^4 puanı aldı. sup3 çekirdeği %60,0 doğruluk ve %45,0 Pass^4 puanına ulaşırken lossless yapılandırması %65,0 doğruluk ve %40,0 Pass^4 puanına ulaştı. İki alandaki sonuçlar, yönerge kümesinin büyüklüğü konusunda farklılık gösterdi: perakendede en büyük iyileşme eksiksiz lossless kümesiyle elde edilirken havayolunda en iyi Pass^4 sonucunu daha küçük sup3 çekirdeği verdi. IBM, destek sayısının sabit kodlanacak bir değer değil, her alan için ayarlanmaya değer bir parametre olduğunu belirtiyor.

Maliyet, Frontier Modelle Yeniden Çalıştırma ve Liderlik Tablosundaki Durum

Tam temel veri kümesindeki konuşma başına toplam LLM maliyeti, istem boyutuyla birlikte arttı: perakendede temel yapılandırmadaki 0,084 dolardan lossless yapılandırmada 0,139 dolara çıktı; bu artış %65 olarak ifade edildi. Havayolunda maliyet 0,081 dolardan 0,107 dolara yükseldi; bu da %32’lik bir artış olarak belirtildi. sup3 varyantlarının maliyeti ise sırasıyla 0,095 ve 0,097 dolardı. Hem temel yapılandırmada hem de yönergeli yapılandırmada çözülen eşleştirilmiş çalıştırmalarda, yönergeler kullanıldığında konuşmalar biraz kısaldı: lossless yapılandırmada perakende konuşmalarındaki asistan turu sayısı 10,59’dan 10,16’ya, havayolundaki ise 9,15’ten 8,82’ye düştü; hiçbir varyant konuşmaları uzatmadı. IBM, tur sayısının azalmasının müşteri açısından uçtan uca gecikmenin düşmesi anlamına geldiğini ve yönerge bloğu her çağrıda aynı olduğundan, ek girdi maliyetinin üretim ortamında istem önbelleğe alma yoluyla büyük ölçüde telafi edilebileceğini belirtiyor.

Ekip ayrıca havayolu alanını, hem ajan hem de yönerge çıkarma modeli olarak gpt-5.5’i kullanarak yeniden çalıştırdı ve yönergeleri bu ajanın kendi çalıştırmalarından yeniden çıkardı. Çıkarılan hiçbir yönergenin destek sayısı en az üçe ulaşmadığından, yüksek destekli çekirdek 103 yönerge içeren sup2 oldu; ayrıca 146 yönergeli bir lossless kümesi de kullanıldı. Aynı ayrılmış havayolu görevlerinde gpt-5.5 temel yapılandırması %72,5 doğruluk ve %55,0 Pass^4 puanı aldı; sup2 sırasıyla %80,0 ve %70,0’a, lossless ise %82,5 ve %70,0’a ulaştı. Bu sonuçlar, doğrulukta 10,0 puan ve Pass^4’te 15,0 puanlık artış olarak ifade ediliyor. IBM, lossless sonucunun yeniden çalıştırmalarda da aynen elde edildiğini bildiriyor.

Liderlik tablosu gönderimleri, eğitim ve test görevlerinin birlikte değerlendirildiği tam temel veri bölümü üzerinden puanlanır ve Pass^4 değeriyle raporlanır; bu nedenle sonuçlar yukarıdaki ayrılmış test verisi sonuçlarından farklıdır. IBM, 12 Ekim 2026 tarihli anlık görüntüsüne göre perakende ajanının %67,5 ile ilk sırada yer aldığını, sentetik τ²-bench perakende verileriyle ince ayar yapıldığını belirttiği RAFT-30B-A3B modelini (%61,4) 6,1 puan geride bıraktığını bildiriyor. Havayolu alanında ise gpt-5.5 ajanının %82,0 ile, %66–72 aralığında sıraladığı öncü modellerin önünde ilk sırada yer aldığını bildiriyor. gpt-4.1 sup3 varyantı %44 ile sekizinci sırada yer alarak akıl yürütme olmadan çalışan GPT-5.2’yi geride bıraktı ve Claude Sonnet 4.5 ile neredeyse aynı sonucu elde etti. IBM, bu yaklaşımın hazır ajanları ağırlık güncellemesi, insan anotasyonu veya test kümesine veri sızıntısı olmadan geliştirdiğini belirtiyor.

Perakende liderlik tablosu gönderimi, 14 Eylül 2026’da τ²-bench için bir çekme isteği olarak sunuldu. Gönderimde, dört deneme üzerinden 114 temel bölüm görevi için Pass^1 değerinin %81,14, Pass^4 değerinin ise %67,54 olduğu; tau2-bench v1.0.1’de konuşma başına ortalama maliyetin 0,1084 dolar olduğu bildirildi. Ayrıca yönergelerin, temel değerlendirme bölümünün de içerdiği bir perakende eğitim bölümünden öğrenildiği belirtildi. Havayolu liderlik tablosu gönderimi ise 21 Eylül 2026’da yapıldı; 50 görev genelinde Pass^1 değerinin %88,50, Pass^4 değerinin %82,00 olduğu ve konuşma başına ortalama maliyetin 0,1690 dolar olduğu bildirildi. Her iki gönderimde de değiştirilmiş istemler kullanıldığı açıklanıyor, gönderimlerin Doğrulanmamış olarak listeleneceği beklentisi belirtiliyor ve başvurular açık durumda.