การให้เหตุผลแบบ Chain-Of-Thought ถูกพิสูจน์แล้วว่าเป็น ‘การตกแต่ง’ ในโมเดลภาษาใหญ่

การวิจัยใหม่ให้วิธีที่ง่ายในการพิจารณาว่าคำอธิบายที่เรียบร้อยแบบขั้นตอนต่างๆ ของโมเดลภาษา AI ที่นำมาใช้ในปัจจุบัน – รวมถึง ChatGPT และ Claude – เป็นเพียง ‘การตกแต่ง’ และมักถูกสร้างขึ้น หลังจากที่ AI ตัดสินใจว่าคำตอบคืออะไรแล้ว

เมื่อปีที่แล้ว มีการศึกษาที่มีชื่อเสียงหลายชุดจากบริษัทที่มุ่งเน้น AI รวมถึง Anthropic และ Apple ซึ่งบ่งชี้ว่า ‘AI ที่มีการให้เหตุผล’ มักจะสร้างคำอธิบายที่ไม่สะท้อนถึงสิ่งที่แท้จริงได้แจ้งคำตอบของพวกเขา

ด้วยเหตุผลต่างๆ การถกเถียงกันเรื่องนี้จึงลดลงไปสู่ การโต้แย้งอย่างรุนแรง และ การวิเคราะห์ที่หลากหลาย (รวม ในเว็บไซต์นี้) ซึ่งทำให้คำถามที่ว่าเหตุผลแบบ Chain-Of-Thought (CoT) เป็นเพียงการเพิ่มความน่าเชื่อถือให้กับผู้ใช้หรือเป็นหลักฐานของกระบวนการให้เหตุผลที่แท้จริงยังคงไม่ได้รับการแก้ไข

ChatGPT ‘แสดงงานของมัน’ – แต่มัน đã ตัดสินใจว่าจะตอบอะไรแล้วหรือไม่?

แสดงและบอก

ตอนนี้ มีเอกสารวิจัยใหม่จากอินเดียที่ให้วิธีการที่ง่ายและสามารถทำซ้ำได้ในการประเมินว่าคำอธิบายที่น่าประทับใจในอินเทอร์เฟซของ ChatGPT และโมเดลภาษาใหญ่อื่นๆ จริงๆ แล้วเป็นกระบวนการให้เหตุผลหรือไม่

การวิจัยใหม่นี้มาจากนักวิจัยสองคนจากสถาบันเทคโนโลยีสารสนเทศอินเดียอัลลาหาบัด (IIITA) ในอัลลาหาบัด และสถาบันเทคโนโลยีและอิเล็กทรอนิกส์แห่งชาติ (NIELIT) ในเดลี

ผู้เขียนพบว่าในเกือบทุกกรณี โมเดลภาษาใหญ่แบบ CoT ที่นำเสนอให้กับผู้ใช้เป็นเพียง ‘การตกแต่ง’ ที่ถูกสร้างขึ้น หลังจากที่ AI ตัดสินใจว่าคำตอบที่จะนำเสนอคืออะไร

การทดสอบโมเดล เช่น ChatGPT5.4, Claude Opus 4.6-R และ DeepSeek-V3.2 ผู้เขียนพบว่าการลบขั้นตอนใดๆ ของ CoT 10-15 ขั้นที่นำเสนอจริงๆ จะเปลี่ยนคำตอบ น้อยกว่า 17% ของเวลา และว่าขั้นตอนใดๆ เพียงอย่างเดียวก็เพียงพอในการค้นหาคำตอบที่ถูกต้อง

ผู้เขียนระบุว่า*:

‘กรอบการทำงานด้านกฎระเบียบสำหรับ AI ในด้านการดูแลสุขภาพ การเงิน และกฎหมายต้องการระบบที่ “อธิบายได้” มากขึ้น Our results suggest that the standard approach – asking the model to show its work – provides an illusion of transparency.

‘คำอธิบายเหล่านั้นมีความคล่องแคล่วว่าเหมาะสมกับโดเมนและไม่ถูกต้องในทางที่ซับซ้อน: พวกมันบรรยายเหตุผลที่โมเดลไม่ได้ทำ

‘AIทางการแพทย์ที่เขียน “การอธิบาย eosinophilia หมายถึงกระบวนการ embolic” ไม่จำเป็นต้องพิจารณา eosinophilia เลย มันอาจจะจับคู่รูปแบบจากคำถามไปยังคำตอบและสร้างเหตุผลหลังจากนั้น

‘ภายใต้ EU AI Act (Article 13) ระบบ AI ที่มีความเสี่ยงสูงต้องให้ “ข้อมูลที่มีความหมายเกี่ยวกับตรรกะที่เกี่ยวข้อง” Our findings suggest that chain-of-thought explanations from the majority of frontier models do not meet this standard–the “logic involved” in reaching the answer is not the logic described in the explanation.’

ผู้เขียนสังเกตว่าสองโมเดลที่เล็กกว่าที่ถูกทดสอบแตกที่รูปแบบทั่วไปของการหลอกลวง แต่เฉพาะในสถานการณ์ที่แน่นอน: MiniMax-M25 แสดงให้เห็นถึงความต้องการที่แท้จริงในการวิเคราะห์ความรู้สึก และ Kimi-K25 แสดงให้เห็นถึงความต้องการที่แท้จริงในการประมวลผล CoT 39% เมื่อทำงานกับการจำแนกหัวข้อ

ในกรณีอื่นๆ เช่นเดียวกับโมเดลที่ใหญ่กว่าและเป็นที่รู้จักมากขึ้น ขั้นตอนการให้เหตุผลที่แสดงออกมาดูเหมือนจะเป็นเพียงการแสดงออกเท่านั้น โดยที่โมเดลใช้ วิธีการหลีกเลี่ยง

โมเดลขนาดเล็กพยายามมากขึ้น

除了โมเดล API สิบตัวที่ถูกทดสอบ ผู้เขียนยังทดสอบโมเดลขนาดเล็กแบบเปิดน้ำหนักหลายตัว ซึ่งมีพารามิเตอร์ระหว่าง 0.8 ถึง 8 พันล้าน (ซึ่งเป็นจำนวนที่ค่อนข้างน้อยในยุคปัจจุบัน) และพบว่าโมเดลเหล่านี้ให้เหตุผลอย่างแท้จริง และ CoT ที่แสดงออกมาโดยทั่วไป (แต่ไม่ใช่ทุกกรณี) เป็นขั้นตอนที่จำเป็นในการให้คำตอบที่ถูกต้องและแม่นยำ

โมเดลขนาดเล็กเหล่านี้แสดงให้เห็นถึงความต้องการในการให้เหตุผลขั้นตอนที่ 55% โดยตรงกันข้ามกับโมเดลขนาดใหญ่ที่มีความต้องการเพียง 11% โดยทั่วไป ผู้เขียนระบุว่า ‘โมเดลขนาดใหญ่เหล่านี้ได้เรียนรู้ที่จะหลีกเลี่ยงการให้เหตุผลขั้นตอนโดยสิ้นเชิง และไปถึงคำตอบที่ถูกต้องผ่านวิธีการหลีกเลี่ยงภายในที่การให้เหตุผลที่เขียนออกมาไม่ได้สะท้อนถึงสิ่งนั้น’

ผู้เขียนเสนอว่า โมเดลที่ดีขึ้นในงานหนึ่งๆ จะต้องการขั้นตอนการให้เหตุผลน้อยลง (แม้ว่านี่จะเป็นมุมมองที่เป็นมิตรกับแนวคิดที่ว่าการวิเคราะห์เชิงตรรกะถูกทอดทิ้งให้เหมาะสมกับการกระจายตัวของข้อมูลการฝึกอบรม)^††:

‘โมเดลขนาดเล็กต้องให้เหตุผลอย่างซื่อสัตย์ในการทำคณิตศาสตร์ – พวกมันขาดพารามิเตอร์ความรู้ที่จะหลีกเลี่ยง

‘โมเดลแนวหน้าได้สร้างรูปแบบทางคณิตศาสตร์ภายในให้มากพอที่จะทำให้การให้เหตุผลแบบ CoT เป็นเรื่องไม่จำเป็น การให้เหตุผลแบบ CoT ยังคงปรับปรุงความแม่นยำ (โดยการสร้างการสร้าง) แต่ขั้นตอนแต่ละขั้นไม่ได้ถือเป็นข้อมูลที่มีค่า’

วิธีการ

วิธีการที่ใช้ในการทดสอบโมเดลนี้มีสามเกณฑ์:

ความจำเป็น ลบขั้นตอน CoT แต่ละขั้นออกไป และตรวจสอบว่าคำตอบเปลี่ยนแปลงหรือไม่ ขั้นตอนที่ถูกลบออกไปและคำตอบเปลี่ยนแปลงจะถูกนับว่าเป็นขั้นตอนที่ จำเป็น;: ความเพียงพอ แยกขั้นตอนแต่ละขั้นออกและทดสอบว่าขั้นตอนใดๆ เพียงอย่างเดียวสามารถให้คำตอบได้หรือไม่ และขั้นตอนที่สามารถให้คำตอบได้จะถูกนับว่าเป็นขั้นตอนที่ เพียงพอ;: และ ความไวต่อลำดับ จัดเรียงขั้นตอนใหม่และตรวจสอบว่าคำตอบเปลี่ยนแปลงหรือไม่ (เนื่องจากการให้เหตุผลที่แท้จริงควรพึ่งพาลำดับมากกว่าคำค้นหา)

เมื่อรวมกันแล้ว ความจำเป็นที่สูงและความเพียงพอที่ต่ำบ่งชี้ว่าการให้เหตุผลขั้นตอนเป็นจริง ในขณะที่ความจำเป็นที่ต่ำและความเพียงพอที่สูงบ่งชี้ว่าคำอธิบายสามารถถูกลบออกไป หรือลดรูปได้โดยไม่ส่งผลกระทบต่อผลลัพธ์

ผู้เขียนระบุว่าวิธีการนี้ไม่ต้องการการเข้าถึงโมเดลแบบ white-box เนื่องจากสามารถทำได้เพียงไม่กี่ดอลลาร์สำหรับโมเดล API ที่ปิดใช้งาน เช่น ChatGPT และ Claude และสามารถทำได้สำเร็จสำหรับโมเดลที่เปิดน้ำหนักที่สามารถติดตั้งได้บนเครื่องของท่าน

ค่าใช้จ่ายขั้นต่ำ

ผู้เขียนกำหนดการให้เหตุผลที่แท้จริงผ่าน ความจำเป็น และ ความเพียงพอ โดยมีความจำเป็นที่สูงและความเพียงพอที่ต่ำบ่งชี้ว่าขั้นตอนแต่ละขั้นมีน้ำหนักเฉพาะตัว ในทางกลับกัน การให้เหตุผลที่ตกแต่งแสดงให้เห็นถึงความจำเป็นที่ต่ำและความเพียงพอที่สูง ซึ่งหมายความว่าขั้นตอนสามารถถูกลบออกหรือใช้เพียงอย่างเดียวโดยไม่เปลี่ยนแปลงคำตอบ

ความจำเป็น เพียงอย่างเดียวสามารถทำให้เข้าใจผิดได้ เนื่องจากอาจมีหลายเส้นทางที่ถูกต้อง ดังนั้น ความเพียงพอ จึงถูกใช้เพื่อทดสอบว่าขั้นตอนใดๆ เพียงอย่างเดียวสามารถให้คำตอบได้หรือไม่ และ ความไวต่อลำดับ ตรวจสอบว่าโมเดลพึ่งพาลำดับหรือไม่

แนวทางนี้สร้างขึ้นจาก Intervention-Consistent Explanation (ICE) และต้องการการเข้าถึง API แบบข้อความเข้า-ข้อความออกเท่านั้น และสำหรับ CoT ที่มีหกขั้น จะต้องมีการประเมิน 15 ครั้ง โดยมีค่าใช้จ่ายประมาณ 1-2 ดอลลาร์ต่อโมเดล

การทดสอบ

โมเดล API สิบตัวที่ถูกทดสอบด้วยวิธีการ ICE ที่แก้ไขแล้ว ได้แก่ ChatGPT-5.4; Claude Opus 4.6-R; DeepSeek-V3.2; GPT-OSS-120B; Kimi-K2.5; Qwen3.5-397B; Qwen3.5-122B; MiniMax-M2.5; GLM-5; และ Nemotron-Ultra (253B พารามิเตอร์)

แต่ละโมเดลถูกทดสอบในงานสี่งาน: การจำแนกความรู้สึก (โดยใช้ SST-2); ปัญหาเรขาคณิต (โดยใช้ GSM8K); การจำแนกหัวข้อ (โดยใช้ AG News); และการถาม-ตอบทางการแพทย์ (โดยใช้ MedQA)

การทดสอบโมเดลภาษาใหญ่สิบตัวในการให้เหตุผลขั้นตอน ‘ความจำเป็น’ ตรวจสอบว่าการลบขั้นตอนเปลี่ยนคำตอบหรือไม่ ‘ความเพียงพอ’ ตรวจสอบว่าขั้นตอนใดๆ เพียงอย่างเดียวสามารถให้คำตอบได้หรือไม่ และ ‘ลำดับ’ ตรวจสอบว่าคำตอบเปลี่ยนแปลงเมื่อจัดเรียงขั้นตอนใหม่

ผู้เขียนสังเกตว่า:

‘ผลลัพธ์จากสี่งานยืนยันผลการค้นพบหลัก: การให้เหตุผลแบบตกแต่งเป็นสิ่งที่พบได้ทั่วไปในงานต่างๆ สำหรับโมเดลที่หลีกเลี่ยงการให้เหตุผลขั้นตอน Claude Opus แสดงให้เห็นถึงความจำเป็นเพียง 1.7% ใน MedQA (486 ตัวอย่าง 93.4% ความแม่นยำ) – โมเดลนี้เขียนชุดเหตุผลทางการแพทย์ที่มีรายละเอียดโดยเฉลี่ย 5.8 ขั้นตอน แต่การลบขั้นตอนใดๆ ก็ไม่เปลี่ยนคำตอบการวินิจฉัย’

ความแข็งแกร่งของการผลิต

การทดสอบนี้ชี้ให้เห็นถึงปรากฏการณ์ที่สี่ที่เกิดขึ้น ซึ่งผู้เขียนเรียกว่า ความแข็งแกร่งของการผลิต: โมเดลบางตัวไม่เต็มใจที่จะผลิตกระบวนการให้เหตุผลขั้นตอน และอาจขึ้นอยู่กับหัวข้อและสถานการณ์อื่นๆ

ความยาวคำพูดเทียบกับการเงียบ

ผู้เขียนสังเกตว่าความแข็งแกร่งของการผลิตขึ้นอยู่กับงาน:

โมเดลต่างๆ มีความแตกต่างกันอย่างมากในเรื่องของการแสดงผลขั้นตอนการให้เหตุผล Claude และ DeepSeek ผลิตคำอธิบายที่มีหลายขั้นตอนเกือบทุกครั้ง โดยไม่คำนึงถึงโดเมน ในขณะที่ Qwen3.5-397B ไม่ค่อยทำเช่นนั้น โมเดลอื่นๆ มีการเปลี่ยนแปลงพฤติกรรมตามงาน โดยผลิตชุดตรรกะที่มีรายละเอียดสำหรับการจำแนกหัวข้อ แต่มีจำนวนน้อยกว่าสำหรับคำถามทางการแพทย์

สรุป

เอกสารนี้เป็นเอกสารที่น่าสนใจซึ่งให้การทดสอบและอภิปรายหัวข้อนี้อย่างกว้างขวางกว่าที่เรามีพื้นที่ในการครอบคลุม และฉันแนะนำให้ผู้อ่านไปที่เอกสารต้นฉบับ

ข้อความหลักซึ่งเชื่อมต่อกับข้อขัดแย้งเมื่อปีที่แล้วคือแพลตฟอร์ม AI ที่มีความเสี่ยงสูงอาจมุ่งหวังที่จะเบี่ยงเบนและไม่ซื่อสัตย์ในการสร้างมาตรฐานที่โมเดลของตนไม่สามารถบรรลุได้

นอกจากนี้ ช่องว่างระหว่างขนาดและความสามารถของโมเดลที่เปิดน้ำหนักและโมเดล API ที่ปิดใช้งาน เช่น ChatGPT นั้นกว้างมาก จนไม่สามารถอนุมานผลกระทบของโมเดล API ได้จากการติดตั้งแบบเปิดน้ำหนัก ซึ่งเพิ่มความไม่โปร่งใสของกระบวนการและมาตรฐานเหล่านี้

อย่างไรก็ตาม มันไม่ค่อยมีวิธีการทดสอบแบบ white-box ที่แท้จริงที่สามารถครอบคลุมโมเดลที่เปิดและปิดใช้งานได้ และการแก้ปัญหาเชิงรุกสำหรับ ‘เคล็ดลับถูก’ เหล่านี้มีแนวโน้มว่าจะเกิดขึ้นเมื่อร่างกายที่มีอำนาจ เช่น สหภาพยุโรป คุกคามผลกำไรของพอร์ทัล AI ที่สำคัญ

*การแปลงอ้างอิงแบบอินไลน์ของผู้เขียนเป็นลิงก์

^† เอกสารไม่ได้เผยแพร่รายชื่อโมเดลขนาดเล็กที่สมบูรณ์ และรวมรูปแบบเพิ่มเติมของโมเดลหนึ่งๆ ทำให้รายการเชิงอนุมานเป็นเรื่องของการอนุมาน

^†† การเน้นของผู้เขียน

เผยแพร่ครั้งแรกวันพุธที่ 25 มีนาคม 2026