IBM Research Melaporkan Memori Hasil Pembelajaran Ungguli Tolok Ukur Layanan τ²-Bench

Dalam unggahan di Hugging Face pada 20 Oktober 2026, IBM Research melaporkan bahwa panduan yang dipelajari secara otomatis dari proses pelatihan agen itu sendiri, lalu ditambahkan ke prompt sistemnya, meningkatkan skor agen layanan pelanggan GPT-4.1 standar menjadi 67.5% Pass^4 pada domain ritel τ²-bench, melampaui semua peserta ritel dalam cuplikan papan peringkat tim tersebut per 12 Oktober 2026.

Hasil ini diperoleh dengan ALTK-Evolve, metode laboratorium tersebut untuk menyusun apa yang disebut para penulis sebagai pedoman hasil pembelajaran. Metode ini menganalisis upaya agen dalam mengerjakan tugas pelatihan, lalu menggunakan model yang sama untuk merangkum keberhasilan dan kegagalan menjadi aturan perilaku singkat yang mencakup situasi seperti mengautentikasi pelanggan, mengonfirmasi transaksi, atau menangani pengembalian barang. Menurut unggahan tersebut, model yang sama digunakan untuk mengekstrak panduan sekaligus menjalankan agen, dan proses ini tidak memerlukan pembaruan bobot ataupun anotasi oleh manusia. Tim tersebut sebelumnya telah mendemonstrasikan pendekatan ini pada agen pemrograman; studi baru ini menerapkannya pada layanan pelanggan. Unggahan itu mencantumkan sebelas penulis dari IBM Research, termasuk Ashwath Vaithinathan Aravindan, Vatche Isahagian, dan Vinod Muthusamy.

Cara Studi Ini Dilaksanakan

τ²-bench, yang dikelola oleh Sierra Research, adalah kerangka simulasi untuk mengevaluasi agen layanan pelanggan di berbagai domain. Menurut repositori τ²-bench, setiap domain menetapkan kebijakan yang harus dipatuhi agen, seperangkat alat, dan serangkaian tugas evaluasi; makalah utama tolok ukur ini menjelaskan lingkungan kendali ganda. Studi IBM menggunakan domain ritel dan penerbangan. Setiap tugas memasangkan agen dengan pelanggan yang disimulasikan oleh LLM, alat khusus domain, dan dokumen kebijakan tertulis; tugas hanya dianggap selesai jika status akhir basis data sesuai dengan hasil yang diharapkan, yang menurut unggahan tersebut dinilai dengan imbalan biner yang ketat.

Evaluasi ini menjalankan implementasi agen ReAct dasar milik τ²-bench, dengan siklus THINK→ACT dua fase, menggunakan gpt-4.1 sebagai model agen dan gpt-5.5 sebagai model simulator pelanggan, serta empat percobaan untuk setiap tugas. Satu-satunya perubahan adalah penambahan daftar panduan hasil pembelajaran dalam format Markdown biasa ke prompt sistem, setelah kebijakan domain. Contoh yang dipublikasikan mencakup mengautentikasi pengguna sebelum tindakan apa pun terkait pesanan, meminta persetujuan eksplisit dari pengguna sebelum tindakan yang memperbarui basis data, memberikan rincian pengembalian dana per barang, melakukan satu tindakan pada setiap langkah, dan mengurai gabungan nama akun sebelum mencari pengguna.

Panduan diekstrak dari rangkaian tindakan agen pada tugas pelatihan τ²-bench menggunakan gpt-4.1, lalu diterapkan tanpa perubahan pada set pengujian yang tidak disertakan dalam pelatihan. Setiap panduan memiliki jumlah dukungan, yaitu jumlah tugas pelatihan berbeda yang menjadi sumber ekstraksinya. Studi ini membandingkan tiga konfigurasi: konfigurasi dasar tanpa panduan; sup3, yang hanya menyertakan panduan dengan jumlah dukungan minimal tiga (31 untuk ritel, 14 untuk penerbangan); dan lossless, yang menyertakan semua panduan yang dipertahankan (292 untuk ritel, 101 untuk penerbangan).

Hasil Pengujian pada Domain Ritel dan Penerbangan

Studi ini melacak dua metrik dalam empat percobaan untuk setiap tugas: Akurasi Rata-rata, yakni tingkat keberhasilan rata-rata yang disebut para penulis sebagai ukuran kemampuan, dan Pass^4, yakni persentase tugas yang berhasil diselesaikan dalam keempat percobaan, yang mereka jadikan ukuran keandalan dan disebut sebagai metrik yang dilaporkan pada papan peringkat τ²-bench.

Pada 40 tugas pengujian ritel yang tidak disertakan dalam pelatihan, IBM melaporkan bahwa agen konfigurasi dasar memperoleh akurasi rata-rata 78.1% dan Pass^4 sebesar 57.5%. Konfigurasi inti sup3 memperoleh 78.8% dan 60.0%, sedangkan konfigurasi lossless memperoleh 82.5% dan 67.5%; masing-masing dinyatakan sebagai peningkatan 4.4 dan 10.0 poin persentase dibandingkan konfigurasi dasar.

Pada 20 tugas pengujian penerbangan yang tidak disertakan dalam pelatihan, konfigurasi dasar memperoleh akurasi 57.5% dan Pass^4 sebesar 35.0%. Konfigurasi inti sup3 mencapai akurasi 60.0% dan Pass^4 sebesar 45.0%, sedangkan lossless mencapai akurasi 65.0% dan Pass^4 sebesar 40.0%. Kedua domain menunjukkan hasil berbeda terkait jumlah panduan: kinerja ritel paling meningkat dengan seluruh set lossless, sementara di domain penerbangan konfigurasi inti sup3 yang ringkas menghasilkan Pass^4 terbaik. IBM menyatakan bahwa jumlah dukungan merupakan parameter yang layak disesuaikan untuk setiap domain, bukan nilai yang ditetapkan secara permanen.

Biaya, Pengujian Ulang Model Terdepan, dan Status Papan Peringkat

Total biaya LLM per percakapan pada seluruh pembagian dasar meningkat seiring bertambahnya panjang prompt: di domain ritel, dari $0.084 pada konfigurasi dasar menjadi $0.139 dengan lossless, yang dinyatakan sebagai kenaikan 65%; dan di domain penerbangan, dari $0.081 menjadi $0.107, yang dinyatakan sebagai kenaikan 32%. Varian sup3 masing-masing berbiaya $0.095 dan $0.097. Dalam pengujian berpasangan yang berhasil diselesaikan dengan konfigurasi dasar maupun konfigurasi berpanduan, percakapan sedikit lebih singkat saat menggunakan panduan: di ritel, jumlah giliran asisten turun dari 10.59 menjadi 10.16 dengan lossless, sedangkan di penerbangan turun dari 9.15 menjadi 8.82; tidak ada varian yang membuat percakapan lebih panjang. IBM menyatakan bahwa lebih sedikit giliran berarti latensi menyeluruh yang lebih rendah bagi pelanggan, dan biaya tambahan untuk masukan sebagian besar dapat diimbangi dalam penggunaan produksi melalui caching prompt karena blok panduan sama pada setiap pemanggilan.

Tim tersebut juga menguji ulang domain penerbangan dengan gpt-5.5 sebagai model agen sekaligus model ekstraksi panduan, lalu mengekstrak ulang panduan dari proses agen itu sendiri. Tidak ada panduan hasil ekstraksi yang mencapai jumlah dukungan minimal tiga, sehingga konfigurasi inti dengan dukungan tinggi adalah sup2 yang terdiri atas 103 panduan, disertai set lossless yang berisi 146 panduan. Pada tugas pengujian penerbangan yang sama dan tidak disertakan dalam pelatihan, konfigurasi dasar gpt-5.5 memperoleh akurasi 72.5% dan Pass^4 sebesar 55.0%; sup2 mencapai 80.0% dan 70.0%; sedangkan lossless mencapai 82.5% dan 70.0%. Hasil tersebut dinyatakan sebagai peningkatan 10.0 poin akurasi dan 15.0 poin Pass^4. IBM melaporkan bahwa hasil lossless terulang persis dalam pengujian ulang.

Pengajuan ke papan peringkat dinilai berdasarkan seluruh split dasar, yang menggabungkan tugas pelatihan dan pengujian, dan dilaporkan pada Pass^4. Karena itu, angka-angka tersebut berbeda dari angka pada data uji terpisah di atas. Berdasarkan snapshot per 12 Oktober 2026, IBM melaporkan bahwa agennya untuk ritel menempati peringkat pertama dengan 67.5%, unggul dari RAFT-30B-A3B yang meraih 61.4%—model yang menurut IBM disetel halus menggunakan data ritel sintetis τ²-bench—dengan selisih 6.1 poin. Untuk bidang penerbangan, IBM melaporkan bahwa agen gpt-5.5 menempati peringkat pertama dengan 82.0%, melampaui entri model terdepan yang tercatat pada kisaran 66–72%. Sementara itu, varian gpt-4.1 sup3 menempati peringkat kedelapan dengan 44%, mengungguli GPT-5.2 yang dijalankan tanpa penalaran dan hampir menyamai Claude Sonnet 4.5. IBM menyatakan bahwa pendekatan ini meningkatkan kinerja agen siap pakai tanpa pembaruan bobot, anotasi manusia, atau kebocoran data uji.

Pengajuan ritel ke papan peringkat diajukan sebagai pull request τ²-bench pada 14 September 2026. Pengajuan ini melaporkan Pass^1 sebesar 81.14% hingga Pass^4 sebesar 67.54% untuk 114 tugas split dasar, dengan empat percobaan, dan biaya rata-rata $0.1084 per percakapan di tau2-bench v1.0.1. Pengajuan tersebut juga mencatat bahwa pedoman dipelajari dari split pelatihan ritel yang tercakup dalam split evaluasi dasar. Pengajuan penerbangan ke papan peringkat menyusul pada 21 September 2026, dengan laporan Pass^1 sebesar 88.50% hingga Pass^4 sebesar 82.00% untuk 50 tugas, dengan biaya rata-rata $0.1690 per percakapan. Kedua pengajuan mengungkapkan bahwa prompt telah dimodifikasi, menyatakan bahwa keduanya diperkirakan akan tercantum sebagai Unverified, dan masih terbuka.