Ai2 เปิดตัว StateBench เพื่อวัดความสามารถในการติดตามสถานะในบริบทยาว

Allen Institute for AI (Ai2) เปิดตัว StateBench เมื่อวันที่ 3 พฤศจิกายน 2026 พร้อมเผยแพร่ชุดทดสอบมาตรฐาน 4 ระดับ ชุดข้อมูล และโค้ดสำหรับทดสอบว่าโมเดลภาษาสามารถติดตามตัวแปรที่เปลี่ยนแปลงไปในเอกสารขนาดยาวได้หรือไม่ Ai2 รายงานว่าโมเดลแนวหน้าทั้ง 4 รุ่นที่นำมาทดสอบทำงานล้มเหลวเมื่อเจอรูปแบบการติดตามสถานะที่ยากขึ้นและอินพุตมีความยาวมากขึ้น

บทความวิจัยที่ Jackson Petty, William Merrill และ Ashish Sabharwal เขียนประกอบงานนี้ ชี้ว่างานดังกล่าวเป็นการตอบโจทย์ช่องว่างด้านการวัดผล การทดสอบที่มีอยู่มักเน้นปัญหาคำ S₅ ซึ่งเป็นโจทย์ยากที่ต้องติดตามการสลับตำแหน่งต่อเนื่องระหว่างวัตถุ 5 ชิ้น ขณะที่รูปแบบที่ง่ายกว่าอาจสะท้อนงานที่ใช้จริงได้มากกว่า และอาจเผยให้เห็นความแตกต่างระหว่างสถาปัตยกรรมต่าง ๆ ได้ตั้งแต่แรก StateBench แบ่งการติดตามสถานะตามประเภทของการอัปเดตที่โมเดลต้องติดตาม

การอัปเดตสถานะ 4 ระดับ

ในระดับแรก งานแบบ r-trivial ใช้การกำหนดค่าที่เปลี่ยนแปลงไม่ได้ โมเดลจึงเพียงต้องดึงค่าดั้งเดิมของตัวแปรกลับมา งานแบบ aperiodic อนุญาตให้กำหนดค่าใหม่โดยตรง ทำให้ใช้ค่าที่กำหนดล่าสุดได้ ส่วนงานแบบ soluble เพิ่มการอัปเดตที่อ้างอิงตัวเอง เช่น x = x + 5ซึ่งกำหนดให้ต้องส่งต่อการเปลี่ยนแปลงแต่ละครั้งไปยังขั้นถัดไป งานแบบ general finite เพิ่มการกำหนดค่าโดยอ้างอิงตัวแปรอื่น รวมถึงการสลับค่า ซึ่งทำให้ตัวแปรต่าง ๆ มีความเกี่ยวเนื่องกัน

หมวดหมู่เหล่านี้ยังมีพื้นฐานเชิงรูปแบบในทฤษฎี Krohn–Rhodes ซึ่งเป็นกรอบพีชคณิตที่แยกปัญหาการติดตามสถานะจำกัดออกเป็นการดำเนินการพื้นฐาน เพื่อให้เปรียบเทียบกันได้อย่างมีการควบคุม นักวิจัยสร้างรูปแบบอื่น ๆ จากลำดับ general finite ชุดเดียว โดยคงจำนวนตัวแปร จำนวนค่าที่แตกต่างกัน และตำแหน่งการกำหนดค่าไว้เท่าเดิม แล้วเปลี่ยนเฉพาะการดำเนินการอัปเดต ชุดประเมินผลครอบคลุมการกำหนดค่าตั้งแต่ 8 ถึง 64,000 รายการ และแต่ละลำดับจับคู่สถานะสุดท้ายที่ถูกต้องหนึ่งสถานะกับตัวเลือกที่ไม่ถูกต้อง 4 รายการ สำหรับการทดสอบแบบสร้างคำตอบหรือแบบปรนัย นอกจากนี้ยังแสดงโจทย์ในรูปแบบข้อความหลายชนิด รวมถึงโค้ดจำนวนเต็มและเซลล์สเปรดชีต เพื่อทดสอบว่าการนำเสนอภายนอกส่งผลต่อผลลัพธ์หรือไม่

โมเดลที่ผ่านการฝึกล่วงหน้าประสบปัญหาเมื่อความเกี่ยวเนื่องเพิ่มขึ้น

การประเมินโมเดลแบบเปิดของ Ai2 ครอบคลุม Olmo 3 ซึ่งเป็นทรานส์ฟอร์เมอร์ขนาด 7 พันล้านพารามิเตอร์ และ Olmo Hybrid ซึ่งเพิ่มเลเยอร์ Gated DeltaNet เข้ามา รวมถึงระบบขนาดเล็กกว่าที่ฝึกด้วยข้อมูลชุดเดียวกัน ระหว่างการฝึก ไม่มีโมเดลใดพบกับบริบทที่ยาวเกิน 64,000 โทเค็น และโมเดลส่วนใหญ่ได้รับการทดสอบด้วยบริบทที่ยาวกว่าระดับดังกล่าว Ai2 รายงานว่าเกือบทั้งหมดทำงานได้ดีในงานแบบ r-trivial แต่ความแม่นยำลดลงในงานแบบ aperiodic เมื่ออินพุตยาวขึ้น และยังทำได้เพียงระดับสุ่มในงานแบบ general finite

รูปแบบการนำเสนอทำให้ผลลัพธ์เปลี่ยนไป โดย Ai2 ระบุว่าโมเดลไฮบริดขนาดเล็กและโมเดล Gated DeltaNet ทำคะแนนได้เกือบเต็มในโจทย์ r-trivial รูปแบบหนึ่ง แต่ทำได้เพียงระดับสุ่มเมื่อโจทย์ที่เทียบเท่ากันปรากฏเป็นการแก้ไขสเปรดชีต ความแตกต่างนี้หมายความว่าผลลัพธ์ที่ดีในรูปแบบหนึ่งไม่ได้แสดงให้เห็นเสมอไปว่าโมเดลมีความสามารถทั่วไปในการติดตามสถานะ

การทดสอบโมเดลปิดให้ Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol และ GPT-6 Luna สร้างค่าสุดท้ายของตัวแปรทุกตัว Ai2 รายงานว่าโมเดลทั้ง 4 ทำได้ดีในโจทย์แบบ r-trivial และ aperiodic แต่ผลลัพธ์ลดลงอย่างมากในโจทย์แบบ soluble และ general finite เมื่ออินพุตยาวขึ้น โดยความแม่นยำในกรณี general finite ที่ยาวที่สุดอยู่ที่ 13% หรือต่ำกว่า

การฝึกโดยตรงช่วยแยกผลของสถาปัตยกรรมออกจากการฝึกล่วงหน้า

เพื่อพิจารณาว่าความล้มเหลวเหล่านี้เกิดจากสถาปัตยกรรมหรือการฝึกล่วงหน้า นักวิจัยฝึกโมเดล 6 รุ่นที่มีพารามิเตอร์ 275 ล้านตัวตั้งแต่เริ่มต้น ได้แก่ ทรานส์ฟอร์เมอร์ 2 รูปแบบ โมเดลไฮบริด 2 รุ่น และ Gated DeltaNet 2 รูปแบบที่มีข้อจำกัดในการอัปเดตหน่วยความจำต่างกัน ลำดับที่ใช้ฝึกมีการกำหนดค่าไม่เกิน 256 รายการ ส่วนการทดสอบขยายไปถึง 250 เท่าของความยาวสูงสุดดังกล่าว

Ai2 รายงานว่าโมเดล Gated DeltaNet และโมเดลไฮบริดสามารถทำงานทั่วไปได้เกือบสมบูรณ์แบบในงานแบบ r-trivial, aperiodic และ soluble ตลอดจนถึงลำดับที่ยาวที่สุดที่นำมาทดสอบ ทรานส์ฟอร์เมอร์เรียนรู้ระดับที่ง่ายกว่าได้ แต่ประสิทธิภาพลดลงเมื่อเกินขอบเขตข้อมูลที่ใช้ฝึก และไม่เคยเรียนรู้งานแบบ general finite ได้เลย แม้จะทดสอบภายในขอบเขตข้อมูลที่ใช้ฝึกก็ตาม สำหรับงานแบบ general finite โมเดล Gated DeltaNet รูปแบบที่อนุญาตให้ค่าไอเกนเป็นบวกและลบยังคงทำได้เกือบสมบูรณ์แบบจนถึงความยาวประมาณ 10 เท่าของความยาวสูงสุดที่ใช้ฝึก ขณะที่รูปแบบที่ค่าไอเกนไม่เป็นลบมีประสิทธิภาพลดลงทันทีเมื่อเกินขีดจำกัดการฝึก

นักวิจัยตีความความแตกต่างนี้ว่าเป็นหลักฐานว่าการฝึกล่วงหน้าช่วยอธิบายความล้มเหลวของโมเดลแบบเกิดซ้ำและแบบไฮบริดที่ผ่านการฝึกล่วงหน้าได้ ขณะที่การที่ทรานส์ฟอร์เมอร์ยังคงล้มเหลวในระดับที่ยากที่สุดแม้ผ่านการฝึกแบบเจาะจงแล้ว ชี้ให้เห็นถึงข้อจำกัดด้านสถาปัตยกรรม

ทรัพยากรสาธารณะและข้อจำกัดที่ยังเหลืออยู่

ชุดข้อมูลที่เผยแพร่มีรายการ 68,000 แถว รวมขนาด 1.05 GB การกำหนดค่าแบบมาตรฐานประกอบด้วยร่องรอยการดำเนินการและสถานะสุดท้ายที่ไม่ขึ้นกับตัวจัดรูปแบบ ส่วนระเบียนที่ผ่านการจัดรูปแบบจะเพิ่มพรอมป์ต์ คำตอบที่สร้างขึ้น ตัวเลือกที่ไม่ถูกต้อง ป้ายกำกับความซับซ้อน และข้อมูลเมตาสำหรับการสร้าง ฟิลด์ความยาวโทเค็นและการแบ่งชั้นข้อมูลช่วยให้เลือกตัวอย่างตามความยาวของพรอมป์ต์ได้

คลังโค้ดนี้เผยแพร่ภายใต้สัญญาอนุญาต Apache-2.0 ใช้สร้างกลุ่มงานจากร่องรอยมาตรฐาน และสามารถบังคับให้ชุดฝึกกับชุดทดสอบไม่มีข้อมูลที่มีความหมายทับซ้อนกันได้ รองรับทั้งการประเมินผลและการสร้างข้อมูลฝึก โดยยังคงความสัมพันธ์แบบควบคุมระหว่างระดับความยากไว้

บทความยังนำเสนอข้อพิสูจน์ว่า Gated DeltaNet แบบความแม่นยำคงที่ซึ่งมีค่าเฉพาะที่ไม่เป็นลบ สามารถแก้โจทย์ที่ไม่เป็นคาบได้ทั้งหมด และโจทย์ที่เป็นคาบบางประเภท ซึ่งรวมถึงโจทย์พาริตีที่ต้องตรวจจับว่าอินพุตหนึ่งเกิดซ้ำเป็นจำนวนครั้งคู่หรือคี่ แม้ว่าวิธีสร้างโจทย์พาริตีนี้จะอาศัยการปัดเศษก็ตาม ตำแหน่งที่แน่ชัดของรูปแบบนี้ในลำดับชั้นยังไม่เป็นที่ยุติ เช่นเดียวกับความสามารถในการแก้โจทย์ที่แก้ได้ทุกโจทย์ รวมถึงผลของความแม่นยำเชิงตัวเลขและการเพิ่มชั้นแอตเทนชัน

StateBench ยังตั้งสมมติฐานว่ามีตัวแปรจำนวนคงที่ จึงยังจำลองบทสนทนาหรือเอกสารที่มีบุคคลและวัตถุใหม่ปรากฏขึ้นตามเวลาไม่ได้

จุดแตกต่างสำคัญที่เกณฑ์ทดสอบนี้มุ่งวัดคือ การรับอินพุตที่ยาวกับการรักษาสถานะภายในอินพุตนั้นไว้ งานทดสอบที่ควบคุมเงื่อนไขช่วยให้วัดความแตกต่างนี้ได้ในสถาปัตยกรรมหลายรูปแบบ แต่การออกแบบที่กำหนดจำนวนตัวแปรตายตัวหมายความว่า แม้ได้คะแนนเต็ม ก็ยังไม่อาจยืนยันได้ว่าระบบจะติดตามข้อมูลได้อย่างน่าเชื่อถือเมื่อมีเอนทิตีใหม่ปรากฏขึ้นในเอกสารหรือบทสนทนา