IBM Research cho biết Bộ nhớ được học đứng đầu chuẩn đánh giá dịch vụ τ²-Bench

Trong bài đăng ngày 20 tháng 10 năm 2026 trên Hugging Face, IBM Research cho biết các hướng dẫn được tự động rút ra từ những lần chạy huấn luyện của chính tác tử rồi bổ sung vào lời nhắc hệ thống đã giúp một tác tử dịch vụ khách hàng GPT-4.1 mặc định đạt Pass^4 67,5% trong miền bán lẻ của τ²-bench, cao hơn mọi mục trong bảng xếp hạng bán lẻ tại thời điểm nhóm chụp lại bảng vào ngày 12 tháng 10 năm 2026.

Kết quả này đến từ ALTK-Evolve, phương pháp của phòng nghiên cứu nhằm xây dựng thứ mà các tác giả mô tả là một cẩm nang hành vi được học. Phương pháp này phân tích các lần thử của tác tử trên những tác vụ huấn luyện, rồi dùng chính mô hình đó để đúc kết thành công và thất bại thành các quy tắc hành vi ngắn, bao quát những tình huống như xác thực khách hàng, xác nhận giao dịch hoặc xử lý yêu cầu trả hàng. Theo bài đăng, cùng một mô hình đảm nhiệm cả việc trích xuất hướng dẫn lẫn vận hành chính tác tử; quy trình này không cần cập nhật trọng số hay gán nhãn thủ công. Trước đây, nhóm đã trình diễn phương pháp này trên các tác tử lập trình; nghiên cứu mới áp dụng phương pháp vào dịch vụ khách hàng. Bài đăng liệt kê mười một tác giả thuộc IBM Research, trong đó có Ashwath Vaithinathan Aravindan, Vatche Isahagian và Vinod Muthusamy.

Nghiên cứu được tiến hành như thế nào

τ²-bench, do Sierra Research duy trì, là một khung mô phỏng để đánh giá các tác tử dịch vụ khách hàng trong nhiều lĩnh vực. Theo kho mã τ²-bench, mỗi lĩnh vực quy định chính sách mà tác tử phải tuân theo, một bộ công cụ và một tập hợp tác vụ đánh giá; bài báo nền tảng của bộ chuẩn mô tả môi trường này là môi trường điều khiển kép. Nghiên cứu của IBM sử dụng các lĩnh vực bán lẻ và hàng không. Mỗi tác vụ kết hợp tác tử với một khách hàng được mô phỏng bằng mô hình ngôn ngữ lớn (LLM), các công cụ dành riêng cho lĩnh vực và một tài liệu chính sách bằng văn bản; tác vụ chỉ được tính là giải quyết thành công khi trạng thái cơ sở dữ liệu cuối cùng khớp với kết quả mong đợi. Bài đăng mô tả đây là cơ chế thưởng nhị phân nghiêm ngặt.

Đánh giá sử dụng cách triển khai riêng của τ²-bench cho một tác tử ReAct cơ bản với vòng lặp hai giai đoạn THINK→ACT, trong đó gpt-4.1 làm mô hình tác tử và gpt-5.5 làm mô hình mô phỏng khách hàng; mỗi tác vụ được thử nghiệm bốn lần. Thay đổi duy nhất là bổ sung vào lời nhắc hệ thống, sau phần chính sách của lĩnh vực, một danh sách hướng dẫn được học ở định dạng Markdown thuần. Các ví dụ được công bố gồm xác thực người dùng trước mọi thao tác liên quan đến đơn hàng, yêu cầu người dùng chấp thuận rõ ràng trước các thao tác cập nhật cơ sở dữ liệu, cung cấp bảng phân tích chi tiết khoản hoàn tiền, chỉ thực hiện một thao tác trong mỗi bước và phân tích các tên tài khoản kết hợp trước khi tra cứu người dùng.

Các hướng dẫn được trích xuất từ chuỗi hành động của tác tử trên những tác vụ huấn luyện của τ²-bench bằng gpt-4.1, rồi được áp dụng nguyên trạng trên tập kiểm tra giữ lại. Mỗi hướng dẫn có kèm số tác vụ hỗ trợ, tức số tác vụ huấn luyện riêng biệt mà từ đó hướng dẫn được trích xuất. Nghiên cứu so sánh ba cấu hình: cấu hình cơ sở không có hướng dẫn; sup3, chỉ giữ các hướng dẫn có số tác vụ hỗ trợ từ ba trở lên (31 hướng dẫn trong lĩnh vực bán lẻ, 14 trong lĩnh vực hàng không); và lossless, giữ lại mọi hướng dẫn được trích xuất (292 trong lĩnh vực bán lẻ, 101 trong lĩnh vực hàng không).

Kết quả trên tập kiểm tra giữ lại trong lĩnh vực bán lẻ và hàng không

Nghiên cứu theo dõi hai chỉ số qua bốn lần thử cho mỗi tác vụ: Độ chính xác trung bình (Mean Accuracy), tức tỷ lệ thành công trung bình mà các tác giả xem là thước đo năng lực; và Pass^4, tỷ lệ phần trăm tác vụ được giải quyết thành công trong cả bốn lần thử, được xem là thước đo độ tin cậy và là chỉ số mà bảng xếp hạng τ²-bench công bố.

Trong 40 tác vụ kiểm tra bán lẻ được giữ lại, IBM báo cáo tác tử cơ sở đạt độ chính xác trung bình 78,1% và Pass^4 57,5%. Lõi sup3 đạt lần lượt 78,8% và 60,0%, còn cấu hình lossless đạt 82,5% và 67,5%; mức tăng so với cấu hình cơ sở lần lượt là 4,4 và 10,0 điểm phần trăm.

Trong 20 tác vụ kiểm tra hàng không được giữ lại, cấu hình cơ sở đạt độ chính xác 57,5% và Pass^4 35,0%. Lõi sup3 đạt độ chính xác 60,0% và Pass^4 45,0%, trong khi lossless đạt độ chính xác 65,0% và Pass^4 40,0%. Hai lĩnh vực cho kết quả khác nhau về mức độ mở rộng bộ hướng dẫn: bán lẻ cải thiện nhiều nhất với toàn bộ tập lossless, còn trong lĩnh vực hàng không, lõi sup3 gọn hơn cho Pass^4 tốt nhất. IBM cho biết số tác vụ hỗ trợ là một tham số nên tinh chỉnh theo từng lĩnh vực, thay vì ấn định cứng một giá trị.

Chi phí, thử nghiệm lại với mô hình tiên tiến và tình trạng trên bảng xếp hạng

Tổng chi phí LLM cho mỗi cuộc hội thoại trên toàn bộ tập cơ sở tăng theo độ dài lời nhắc: trong lĩnh vực bán lẻ, chi phí tăng từ 0,084 USD ở cấu hình cơ sở lên 0,139 USD với lossless, tương đương mức tăng 65%; trong lĩnh vực hàng không, chi phí tăng từ 0,081 USD lên 0,107 USD, tương đương 32%. Các biến thể sup3 có chi phí lần lượt là 0,095 USD và 0,097 USD. Trong những lượt chạy được đối chiếu mà tác vụ được giải quyết thành công ở cả cấu hình cơ sở lẫn cấu hình có hướng dẫn, số lượt phản hồi của trợ lý trong mỗi cuộc hội thoại giảm nhẹ: ở cấu hình lossless, lĩnh vực bán lẻ giảm từ 10,59 xuống 10,16 lượt, còn lĩnh vực hàng không giảm từ 9,15 xuống 8,82 lượt; không biến thể nào làm số lượt tăng lên. IBM cho biết ít lượt hơn đồng nghĩa với độ trễ đầu cuối thấp hơn cho khách hàng, đồng thời chi phí đầu vào tăng thêm phần lớn có thể được bù lại trong môi trường sản xuất nhờ lưu bộ nhớ đệm lời nhắc, vì khối hướng dẫn giống hệt nhau trong mọi lần gọi.

Nhóm cũng chạy lại thử nghiệm trong lĩnh vực hàng không với gpt-5.5 làm cả mô hình tác tử lẫn mô hình trích xuất hướng dẫn, đồng thời khai thác lại hướng dẫn từ chính các lần chạy của tác tử đó. Không hướng dẫn nào được trích xuất đạt số tác vụ hỗ trợ từ ba trở lên, vì vậy lõi có số tác vụ hỗ trợ cao là sup2, gồm 103 hướng dẫn; bên cạnh đó là tập lossless gồm 146 hướng dẫn. Trên cùng các tác vụ kiểm tra hàng không được giữ lại, cấu hình cơ sở dùng gpt-5.5 đạt độ chính xác 72,5% và Pass^4 55,0%; sup2 đạt lần lượt 80,0% và 70,0%; còn lossless đạt 82,5% và 70,0%, tương ứng mức tăng 10,0 điểm phần trăm về độ chính xác và 15,0 điểm phần trăm về Pass^4. IBM cho biết kết quả lossless được tái lập chính xác qua các lần chạy lại.

Các bài gửi lên bảng xếp hạng được chấm điểm trên toàn bộ phân vùng cơ sở, gộp cả tác vụ huấn luyện và kiểm thử, và kết quả được báo cáo theo Pass^4; vì vậy, các con số này khác với số liệu trên tập giữ lại ở trên. Dựa trên ảnh chụp bảng xếp hạng ngày 12 tháng 10 năm 2026, IBM cho biết tác tử bán lẻ của họ đứng đầu với 67.5%, cao hơn mức 61.4% của RAFT-30B-A3B—mô hình mà IBM xác định là đã được tinh chỉnh trên dữ liệu bán lẻ tổng hợp của τ²-bench—6.1 điểm. Trong lĩnh vực hàng không, IBM cho biết tác tử gpt-5.5 đứng đầu với 82.0%, vượt các mô hình tiên tiến mà họ liệt kê ở mức 66–72%; trong khi đó, biến thể gpt-4.1 sup3 xếp thứ tám với 44%, cao hơn GPT-5.2 khi chạy mà không bật chế độ suy luận và gần ngang bằng Claude Sonnet 4.5. IBM khẳng định phương pháp này cải thiện các tác tử có sẵn mà không cần cập nhật trọng số, chú thích dữ liệu thủ công hoặc làm rò rỉ tập kiểm thử.

Bài gửi lên bảng xếp hạng lĩnh vực bán lẻ được nộp dưới dạng yêu cầu kéo cho τ²-bench vào ngày 14 tháng 9 năm 2026, báo cáo Pass^1 đạt 81.14% đến Pass^4 đạt 67.54% trên 114 tác vụ thuộc phân vùng cơ sở, với bốn lượt thử và chi phí trung bình là $0.1084 cho mỗi cuộc hội thoại trên tau2-bench v1.0.1; bài gửi cũng lưu ý rằng các hướng dẫn được học từ một phân vùng huấn luyện bán lẻ nằm trong phân vùng đánh giá cơ sở. Bài gửi lên bảng xếp hạng lĩnh vực hàng không tiếp theo vào ngày 21 tháng 9 năm 2026, báo cáo Pass^1 đạt 88.50% đến Pass^4 đạt 82.00% trên 50 tác vụ, với chi phí trung bình là $0.1690 cho mỗi cuộc hội thoại. Cả hai bài gửi đều công khai rằng các prompt đã được sửa đổi, cho biết họ dự kiến bài sẽ được xếp vào trạng thái Chưa xác minh và hiện vẫn đang mở.