IBM Research รายงานว่า Learned Memory ขึ้นนำในการทดสอบบริการของ τ²-Bench

ในโพสต์บน Hugging Face เมื่อวันที่ 20 ตุลาคม 2026 IBM Research รายงานว่า การนำแนวทางที่เอเจนต์เรียนรู้โดยอัตโนมัติจากการฝึกของตัวเองไปต่อท้าย system prompt ช่วยให้เอเจนต์บริการลูกค้า GPT-4.1 แบบมาตรฐานทำคะแนน Pass^4 ได้ 67.5% ในโดเมนค้าปลีกของ τ²-bench ซึ่งสูงกว่าทุกรายการในลีดเดอร์บอร์ดค้าปลีกฉบับที่ทีมบันทึกไว้เมื่อวันที่ 12 ตุลาคม 2026

ผลลัพธ์นี้มาจาก ALTK-Evolve ซึ่งเป็นวิธีการของห้องปฏิบัติการในการสร้างสิ่งที่ผู้เขียนเรียกว่าแนวทางปฏิบัติที่เรียนรู้ได้ วิธีนี้วิเคราะห์ความพยายามของเอเจนต์ในงานฝึก แล้วใช้โมเดลเดียวกันกลั่นกรองทั้งความสำเร็จและความล้มเหลวให้เป็นกฎพฤติกรรมสั้น ๆ ครอบคลุมสถานการณ์ต่าง ๆ เช่น การยืนยันตัวตนลูกค้า การยืนยันธุรกรรม หรือการจัดการการคืนสินค้า ตามโพสต์ระบุว่า โมเดลเดียวกันนี้ทำหน้าที่ทั้งดึงแนวทางปฏิบัติและขับเคลื่อนเอเจนต์เอง โดยกระบวนการนี้ไม่ต้องปรับค่าน้ำหนักโมเดลหรือใช้คำอธิบายประกอบจากมนุษย์ ก่อนหน้านี้ทีมเคยสาธิตแนวทางนี้กับเอเจนต์เขียนโค้ด ส่วนการศึกษาครั้งใหม่นำมาใช้กับงานบริการลูกค้า ในโพสต์ระบุชื่อผู้เขียนจาก IBM Research 11 คน ซึ่งรวมถึง Ashwath Vaithinathan Aravindan, Vatche Isahagian และ Vinod Muthusamy

การดำเนินการศึกษา

τ²-bench ซึ่งดูแลโดย Sierra Research เป็นกรอบจำลองสำหรับประเมินเอเจนต์บริการลูกค้าในหลายโดเมน ตามคลัง τ²-bench แต่ละโดเมนจะกำหนดนโยบายที่เอเจนต์ต้องปฏิบัติตาม ชุดเครื่องมือ และชุดงานประเมินผล ขณะที่เอกสารหลักของเบนช์มาร์กอธิบายสภาพแวดล้อมแบบควบคุมสองทาง การศึกษาของ IBM ใช้โดเมนค้าปลีกและสายการบิน ในแต่ละงาน เอเจนต์จะทำงานร่วมกับลูกค้าที่จำลองด้วย LLM เครื่องมือเฉพาะโดเมน และเอกสารนโยบายที่เป็นลายลักษณ์อักษร โดยจะนับว่างานสำเร็จก็ต่อเมื่อสถานะสุดท้ายของฐานข้อมูลตรงกับผลลัพธ์ที่คาดไว้ ซึ่งโพสต์ระบุว่าเป็นการให้รางวัลแบบไบนารีอย่างเข้มงวด

การประเมินใช้การติดตั้งใช้งานเอเจนต์ ReAct พื้นฐานของ τ²-bench เอง โดยมีวงจร THINK→ACT สองช่วง ใช้ gpt-4.1 เป็นโมเดลเอเจนต์ และ gpt-5.5 เป็นโมเดลจำลองลูกค้า โดยทดลองงานละ 4 ครั้ง การปรับเปลี่ยนเพียงอย่างเดียวคือเพิ่มรายการแนวทางปฏิบัติที่เรียนรู้มาในรูปแบบ markdown ธรรมดาต่อท้าย system prompt หลังนโยบายของโดเมน ตัวอย่างที่เผยแพร่ ได้แก่ การยืนยันตัวตนผู้ใช้ก่อนดำเนินการใด ๆ ที่เกี่ยวกับคำสั่งซื้อ การขออนุมัติอย่างชัดเจนจากผู้ใช้ก่อนดำเนินการที่ปรับปรุงฐานข้อมูล การแจกแจงรายละเอียดการคืนเงิน การดำเนินการหนึ่งอย่างต่อหนึ่งขั้นตอน และการแยกวิเคราะห์ชื่อที่รวมหลายส่วนก่อนค้นหาผู้ใช้

ดึงแนวทางปฏิบัติเหล่านี้จากลำดับการดำเนินงานของเอเจนต์ในงานฝึกของ τ²-bench โดยใช้ gpt-4.1 แล้วนำไปใช้โดยไม่เปลี่ยนแปลงกับชุดทดสอบที่กันไว้ แต่ละแนวทางปฏิบัติมีจำนวนงานสนับสนุนกำกับ ซึ่งหมายถึงจำนวนงานฝึกที่แตกต่างกันซึ่งใช้ดึงแนวทางนั้นออกมา การศึกษาเปรียบเทียบการตั้งค่า 3 แบบ ได้แก่ ค่าฐานที่ไม่มีแนวทางปฏิบัติ, sup3 ซึ่งเก็บเฉพาะแนวทางปฏิบัติที่มีจำนวนงานสนับสนุนอย่างน้อย 3 งาน (31 รายการในค้าปลีก และ 14 รายการในสายการบิน) และ lossless ซึ่งเก็บแนวทางปฏิบัติทั้งหมดที่คัดไว้ (292 รายการในค้าปลีก และ 101 รายการในสายการบิน)

ผลการทดสอบกับชุดข้อมูลที่กันไว้ในโดเมนค้าปลีกและสายการบิน

การศึกษาติดตามตัวชี้วัด 2 รายการจากการทดลองงานละ 4 ครั้ง ได้แก่ Mean Accuracy ซึ่งเป็นอัตราความสำเร็จเฉลี่ย และผู้เขียนมองว่าเป็นแกนด้านความสามารถ กับ Pass^4 ซึ่งเป็นเปอร์เซ็นต์ของงานที่สำเร็จครบทั้ง 4 ครั้ง โดยมองว่าเป็นแกนด้านความน่าเชื่อถือ และระบุว่าเป็นตัวชี้วัดที่ลีดเดอร์บอร์ด τ²-bench รายงาน

จากงานทดสอบค้าปลีก 40 งานที่กันไว้ IBM รายงานว่าเอเจนต์ค่าฐานทำ Mean Accuracy ได้ 78.1% และ Pass^4 ได้ 57.5% ส่วนชุดหลัก sup3 ทำได้ 78.8% และ 60.0% ขณะที่การตั้งค่า lossless ทำได้ 82.5% และ 67.5% โดยระบุว่าเพิ่มขึ้นจากค่าฐาน 4.4 และ 10.0 จุดเปอร์เซ็นต์ตามลำดับ

จากงานทดสอบสายการบิน 20 งานที่กันไว้ ค่าฐานทำ Accuracy ได้ 57.5% และ Pass^4 ได้ 35.0% ชุดหลัก sup3 ทำ Accuracy ได้ 60.0% และ Pass^4 ได้ 45.0% ส่วน lossless ทำ Accuracy ได้ 65.0% และ Pass^4 ได้ 40.0% ผลของสองโดเมนแตกต่างกันในแง่ระดับการใช้แนวทางปฏิบัติ โดยค้าปลีกพัฒนาขึ้นมากที่สุดเมื่อใช้ชุด lossless ทั้งหมด ขณะที่ในสายการบิน ชุดหลัก sup3 แบบกระชับให้ผล Pass^4 ดีที่สุด IBM ระบุว่าจำนวนงานสนับสนุนเป็นค่าที่ควรปรับให้เหมาะกับแต่ละโดเมน ไม่ใช่ค่าที่ควรกำหนดตายตัว

ต้นทุน การทดสอบ Frontier ซ้ำ และสถานะบนลีดเดอร์บอร์ด

ต้นทุน LLM รวมต่อบทสนทนาในชุดข้อมูลฐานเต็มเพิ่มขึ้นตามขนาดพรอมป์ต์ โดยในค้าปลีกเพิ่มจาก $0.084 ที่ค่าฐานเป็น $0.139 เมื่อใช้ lossless ซึ่งระบุว่าเพิ่มขึ้น 65% และในสายการบินเพิ่มจาก $0.081 เป็น $0.107 หรือเพิ่มขึ้น 32% ตามที่ระบุ ส่วนการตั้งค่า sup3 มีต้นทุน $0.095 และ $0.097 ตามลำดับ ในรอบการทดลองที่จับคู่กันและแก้โจทย์ได้ทั้งในการตั้งค่าฐานและการตั้งค่าที่มีแนวทางปฏิบัติ บทสนทนาสั้นลงเล็กน้อยเมื่อใช้แนวทางปฏิบัติ โดยในค้าปลีก จำนวนรอบการตอบของเอเจนต์ลดจาก 10.59 เป็น 10.16 เมื่อใช้ lossless และในสายการบินลดจาก 9.15 เป็น 8.82 โดยไม่มีการตั้งค่าใดทำให้บทสนทนายาวขึ้น IBM ระบุว่าจำนวนรอบที่ลดลงหมายถึงลูกค้าได้รับบริการโดยมีเวลาแฝงตั้งแต่ต้นจนจบต่ำลง และต้นทุนอินพุตที่เพิ่มขึ้นสามารถชดเชยคืนได้เป็นส่วนใหญ่ในการใช้งานจริงผ่านการแคชพรอมป์ต์ เพราะบล็อกแนวทางปฏิบัติเหมือนกันทุกครั้งที่เรียกใช้

ทีมยังทดสอบโดเมนสายการบินซ้ำ โดยใช้ gpt-5.5 เป็นทั้งเอเจนต์และโมเดลดึงแนวทางปฏิบัติ แล้วขุดหาแนวทางปฏิบัติใหม่จากการทำงานของเอเจนต์นั้นเอง ไม่มีแนวทางปฏิบัติที่ดึงออกมาได้รายการใดมีจำนวนงานสนับสนุนถึง 3 งาน ดังนั้นชุดหลักที่มีจำนวนงานสนับสนุนสูงจึงเป็น sup2 ซึ่งมี 103 แนวทางปฏิบัติ พร้อมกับชุด lossless ที่มี 146 รายการ ในงานสายการบินชุดทดสอบที่กันไว้ชุดเดิม ค่าฐานของ gpt-5.5 ทำ Accuracy ได้ 72.5% และ Pass^4 ได้ 55.0% ส่วน sup2 ทำได้ 80.0% และ 70.0% ขณะที่ lossless ทำได้ 82.5% และ 70.0% โดยระบุว่าเพิ่มขึ้น 10.0 จุดในด้าน Accuracy และ 15.0 จุดในด้าน Pass^4 IBM รายงานว่าผลลัพธ์ของ lossless ทำซ้ำได้ตรงกันทุกประการในการทดสอบซ้ำ

การส่งผลงานขึ้นตารางจัดอันดับจะประเมินจากชุดข้อมูลฐานทั้งหมด ซึ่งรวมงานฝึกและงานทดสอบเข้าด้วยกัน และรายงานผลที่ Pass^4 ดังนั้นตัวเลขเหล่านี้จึงแตกต่างจากตัวเลขของชุดทดสอบที่กันไว้ข้างต้น เมื่อเทียบกับภาพรวม ณ วันที่ 12 ตุลาคม 2026 IBM รายงานว่าเอเจนต์สำหรับงานค้าปลีกของบริษัทอยู่อันดับหนึ่งที่ 67.5% นำหน้า RAFT-30B-A3B ซึ่งทำได้ 61.4% โดย IBM ระบุว่าโมเดลดังกล่าวได้รับการปรับแต่งเพิ่มเติมด้วยข้อมูลค้าปลีกสังเคราะห์จาก τ²-bench และระบุว่ามีคะแนนนำ 6.1 จุด สำหรับงานสายการบิน IBM รายงานว่าเอเจนต์ gpt-5.5 อยู่อันดับหนึ่งที่ 82.0% สูงกว่าผลงานจากโมเดลชั้นนำที่บริษัทระบุไว้ที่ 66–72% ขณะที่รุ่น gpt-4.1 sup3 อยู่ในอันดับที่แปดด้วยคะแนน 44% นำหน้า GPT-5.2 ที่ทำงานโดยไม่มีการให้เหตุผล และทำคะแนนได้ใกล้เคียงกับ Claude Sonnet 4.5 IBM ระบุว่าแนวทางนี้ช่วยปรับปรุงเอเจนต์สำเร็จรูปได้โดยไม่ต้องอัปเดตค่าน้ำหนัก ไม่ต้องใช้คำกำกับข้อมูลจากมนุษย์ และไม่ทำให้ข้อมูลจากชุดทดสอบรั่วไหล

การส่งผลงานด้านค้าปลีกขึ้นตารางจัดอันดับถูกยื่นเป็นคำขอรวมการเปลี่ยนแปลง (pull request) ใน τ²-bench เมื่อวันที่ 14 กันยายน 2026 โดยรายงานค่า Pass^1 ที่ 81.14% ไปจนถึง Pass^4 ที่ 67.54% จากงานในชุดข้อมูลฐาน 114 งาน ซึ่งทดสอบงานละสี่ครั้ง โดยมีต้นทุนเฉลี่ย 0.1084 ดอลลาร์ต่อการสนทนาบน tau2-bench v1.0.1 และระบุว่าแนวทางดังกล่าวเรียนรู้จากชุดข้อมูลฝึกค้าปลีก ซึ่งเป็นส่วนหนึ่งของชุดประเมินฐาน การส่งผลงานด้านสายการบินขึ้นตารางจัดอันดับตามมาเมื่อวันที่ 21 กันยายน 2026 โดยรายงานค่า Pass^1 ที่ 88.50% ไปจนถึง Pass^4 ที่ 82.00% จากงาน 50 งาน และมีต้นทุนเฉลี่ย 0.1690 ดอลลาร์ต่อการสนทนา การส่งผลงานทั้งสองรายการเปิดเผยว่ามีการปรับแก้พรอมป์ต์ ระบุว่าคาดว่าจะได้รับสถานะ Unverified และยังเปิดให้ตรวจสอบอยู่