มุมมองของ Anderson
การเปลี่ยนจาก Claude Fable ไปใช้รุ่นที่ด้อยกว่าแทบไม่กระทบประสิทธิภาพการทำงานของนักพัฒนาในช่วงที่ถูกแบน

ประเด็นสำคัญการเข้าถึง Claude Fable 5 ที่ได้คะแนนสูงขึ้นเพิ่มอัตราการรวมโค้ดเพียง 1.4 เปอร์เซ็นต์
ดูเพิ่มเติม
- การเข้าถึง Claude Fable 5 ที่ได้คะแนนสูงขึ้นเพิ่มอัตราการรวมโค้ดเพียง 1.4 เปอร์เซ็นต์
- การอัปเกรด Claude ห้าครั้งไม่ก่อให้เกิดผลประโยชน์ที่มีนัยสำคัญในพูลรีเควสต์ที่ถูกรวมหรือการเปลี่ยนแปลงที่เสร็จสมบูรณ์รายสัปดาห์
- คะแนนการทดสอบมาตรฐานมีความหมายน้อยมากเมื่องานที่นักพัฒนามอบหมายอยู่ในขีดความสามารถของโมเดลรุ่นเก่าอยู่แล้ว
เป็นเรื่องยากมากที่จะประเมินอย่างแม่นยำว่าโมเดล AI รุ่นใหม่มีประสิทธิภาพดีขึ้นกว่ารุ่นก่อนหรือไม่ หรือแม้แต่จะนิยามว่าอะไรคือการเพิ่มประสิทธิภาพการทำงาน เพราะผลิตภัณฑ์รุ่นใหม่อาจทำได้ดีขึ้นในด้านหนึ่ง แต่ประสิทธิภาพลดลงในอีกด้านหนึ่ง เช่นเดียวกับซอฟต์แวร์และเฟรมเวิร์กทั่วไป บางครั้งนี่เป็นการแลกเปลี่ยนที่ผู้ใช้เลือกโดยสมัครใจ แต่บางครั้งก็เป็น “ผลกระทบข้างเคียง”
ทั้งนี้ตั้งอยู่บนสมมติฐานว่า “เล่นกันอย่างยุติธรรม” มีหลายกรณีที่นักพัฒนาปรับแต่งซอฟต์แวร์ให้ทำคะแนนได้ดีขึ้นในการทดสอบมาตรฐาน บางครั้งถึงขั้นทำให้ซอฟต์แวร์รู้ตัวว่ากำลังถูกทดสอบ แล้วเปลี่ยนวิธีทำงานชั่วคราวเพื่อให้ได้คะแนนดีขึ้น โมเดล AI ก็สามารถรู้ตัวได้เมื่อกำลังถูกประเมิน และแสดงพฤติกรรมแตกต่างออกไป แม้ไม่ได้ถูกออกแบบมาให้ทำเช่นนั้นโดยเจตนาก็ตาม
เพื่อหาเกณฑ์วัดที่มีความหมายและตรงไปตรงมามากขึ้น นักพัฒนามักกำหนดมาตรวัดอย่างไม่เป็นทางการขึ้นเอง เช่น โจทย์ทดสอบนกกระทุงขี่จักรยานเชิงคุณภาพของ Simon Wilson ซึ่งให้โมเดลภาพและภาษา (VLM) สร้างภาพสิ่งที่ไม่มีอยู่ในข้อมูลฝึก* โดยมักทำได้ไม่ดีนัก แม้ว่าในปี 2026 ผลงานจะดีขึ้นบ้างแล้วก็ตาม:

เกณฑ์วัดของ Simon Wilson ให้ VLM จินตนาการภาพนกกระทุงกำลังขี่จักรยาน ช่วงหลังมานี้ AI ทำโจทย์นี้ได้ดีขึ้นมากเมื่อเทียบกับผลงานชวนขบขันเมื่อราว 18 เดือนก่อน อย่างไรก็ตาม บางคนเสนอว่าสาเหตุอาจเป็นเพราะตอนนี้โจทย์ดังกล่าวถูกรวมไว้ในข้อมูลฝึกแล้ว แหล่งที่มา
อย่างไรก็ตาม การทดสอบมาตรฐานวัดได้เฉพาะทักษะที่ออกแบบมาเพื่อทดสอบเท่านั้น และแม้ผลลัพธ์จะเชื่อถือได้ ก็ยังไม่ชัดเจนว่าทักษะเหล่านั้นมีความสำคัญต่อการใช้งานในชีวิตประจำวันมากน้อยเพียงใด หรือคะแนนที่สูงขึ้นจะทำให้ทำงานเสร็จได้มากขึ้นหรือไม่
สำหรับโมเดลเขียนโค้ด เราสามารถตรวจสอบเรื่องนี้ได้ด้วยการดูว่าผลงานของนักพัฒนาเปลี่ยนแปลงอย่างไรเมื่อเปลี่ยนจากโมเดลหนึ่งไปใช้อีกโมเดลหนึ่ง
ลงมือทำ [the Same] ด้วยสิ่งที่น้อยกว่า
ในเดือนมิถุนายนปีนี้ การแบนเป็นเวลา 19 วันของทำเนียบขาวซึ่งห้ามใช้Claude Fable เปิดโอกาสให้นักวิจัยได้สภาพแวดล้อมสำหรับการทดสอบที่ชัดเจนผิดปกติ เนื่องจากนักพัฒนาที่ส่งคำขอรวมโค้ด (PR) ไปยัง GitHub เปลี่ยนไปใช้ Claude รุ่นที่มีประสิทธิภาพน้อยกว่า เนื่องจาก Claude ทุกรุ่นร่วมลงนามใน PR และข้อมูลดังกล่าวค้นหาได้ผ่าน GitHub API จึงเป็นข้อมูลที่เข้าถึงได้โดยเสรี
โอกาสนี้ถูกนำไปใช้ในงานศึกษาใหม่จาก Harvard University ซึ่งติดตามผลงานของผู้ใช้ Fable 5 จำนวน 297 คนก่อน ระหว่าง และหลังการแบน แล้วเปรียบเทียบกับนักพัฒนา 8,908 คนที่ยังใช้โมเดลรุ่นเก่าอย่างOpus 4.8ต่อไป
ก่อนหน้านี้ Fable 5 ได้คะแนนในการทดสอบเขียนโค้ด SWE-Bench Pro สูงกว่า Opus 4.8เกือบ 11 คะแนน อย่างไรก็ตาม ในการศึกษาของ Harvard การเข้าถึง Fable 5 สัมพันธ์กับสัดส่วนการเปลี่ยนแปลงโค้ดที่ส่งแล้วได้รับการยอมรับเข้าโครงการบน GitHub ภายในเจ็ดวัน ซึ่งเพิ่มขึ้นเพียง 1.4 จุดเปอร์เซ็นต์ บทความวิจัยระบุว่าความแตกต่างนี้แทบไม่ต่างจากความคลาดเคลื่อนในการปัดเศษ และการวิเคราะห์ในวงกว้างยังไม่พบว่าการอัปเกรดไปใช้โมเดล AI รุ่นใหม่อื่น ๆ ช่วยเพิ่มผลิตภาพอย่างมีนัยสำคัญ:
“ผลการศึกษาแสดงให้เห็นว่าการเข้าถึง Fable 5 เปลี่ยนอัตราการรวมโค้ดเพียง 1.4 จุดเปอร์เซ็นต์ และการเปลี่ยนแปลงดังกล่าวไม่มีนัยสำคัญทางสถิติ[significant] นอกจากนี้ เรายังวิเคราะห์การอัปเกรดโมเดล 5 รุ่นจากทั้งหมด 8 รุ่นในปี 2026 และพบว่าอัตราการรวมโค้ดไม่ได้เพิ่มขึ้นหลังการอัปเกรดเหล่านั้น[either]
“เช่นเดียวกัน นักพัฒนาก็ไม่ได้รวมคำขอเปลี่ยนแปลงโค้ดได้มากขึ้นต่อสัปดาห์ ผลการศึกษาเหล่านี้แสดงให้เห็นว่าคะแนนที่ดีขึ้นในการทดสอบมาตรฐานเขียนโค้ดในปัจจุบันไม่ได้แปรเป็นงานที่เสร็จสมบูรณ์มากขึ้นจริง ๆ”
จากการอัปเกรด 5 ครั้งในปี 2026 ซึ่งเกี่ยวข้องกับนักพัฒนา 1,208 คนและการเปลี่ยนแปลงโค้ดที่เสนอมากกว่า 15,000 รายการ ไม่พบการพัฒนาอย่างมีนัยสำคัญทางสถิติทั้งในอัตราการรวมโค้ดที่ส่งเข้ามา หรือจำนวนการเปลี่ยนแปลงที่ทำสำเร็จในแต่ละสัปดาห์
แม้บทความวิจัยจะยอมรับว่าการรวมโค้ดบน GitHub เป็นตัวชี้วัดผลิตภาพที่ไม่สมบูรณ์แบบ แต่การแบนครั้งนี้เปิดโอกาสที่หาได้ยากยิ่งให้ประเมินผลของการเปลี่ยนโมเดลภายใต้สภาพการทำงานจริง ในบริบทของภาคธุรกิจที่ได้รับความสนใจอย่างล้นหลามทั่วโลก แต่ดำเนินงานภายใต้ความไม่โปร่งใสขององค์กรในระดับสูงสุดเท่าที่จะเป็นไปได้
งานวิจัยใหม่†ซึ่งยอมรับถึงความยากในการกำหนดเกณฑ์เชิงประจักษ์ในกรณีเช่นนี้ ระบุว่า:
“ผู้ที่เริ่มใช้โมเดลใหม่ก่อนอาจมีประสบการณ์มากกว่า ดังนั้นเมื่อเราเปรียบเทียบผลิตภาพระหว่างนักพัฒนา เราจึงบอกไม่ได้ว่าความแตกต่างเกิดจากโมเดลหรือจากผู้ใช้ แม้เราจะสังเกตคนกลุ่มเดิม เราก็ไม่รู้ว่าพวกเขามอบหมายงานแบบเดียวกันให้โมเดลต่าง ๆ หรือไม่
‘ตัวอย่างเช่น บางคนอาจใช้ Fable 5 กับงานที่ยากที่สุด แล้วเปลี่ยนไปใช้โมเดลระดับรองลงมาสำหรับงานที่ง่ายกว่า หากพวกเขามอบงานที่ยากกว่าให้โมเดลที่มีความสามารถสูงสุด โมเดลนั้นก็อาจดูเหมือนมีผลิตภาพต่ำกว่าในแทบทุกตัวชี้วัดที่เราเลือก เพราะงานที่ยากกว่าใช้เวลานานกว่าและมีโอกาสถูกรวมเข้ากับโครงการน้อยกว่า’
บทความยังโต้แย้งว่า งานศึกษาก่อนหน้านี้มีอคติจากการที่การเปลี่ยนแปลงโค้ดส่วนใหญ่มาจากโครงการเพียงไม่กี่โครงการ ซึ่งแต่ละโครงการมีกฎเกณฑ์การยอมรับผลงานที่ส่งเข้ามาแตกต่างกัน และความแตกต่างเหล่านี้ทำให้ยากต่อการระบุว่าการเพิ่มขึ้นของผลิตภาพเกิดจากการเปลี่ยนไปใช้โมเดลรุ่นใหม่จริงหรือไม่
วิธีการศึกษา
สำหรับการทดลองหลัก†† คำขอผสานโค้ด (PR) บน GitHub ของนักพัฒนา 297 คน ซึ่งงานศึกษาระบุว่าเป็นผู้ใช้ Fable 5 ถูกแบ่งออกเป็น 4 ช่วง ได้แก่ ก่อนเปิดตัวโมเดลในวันที่ 9 มิถุนายน ช่วงที่เปิดให้ใช้งานเป็นเวลา 3 วัน ตลอดช่วงระงับการใช้งาน 19 วัน และหลังจากคืนสิทธิ์การเข้าถึงในวันที่ 1 กรกฎาคม
อัตราการผสาน PR ของนักพัฒนากลุ่มนี้ถูกนำไปเปรียบเทียบกับนักพัฒนา 8,908 คน ซึ่งระบุว่าใช้โมเดลรุ่นเก่ากว่าอย่าง Opus 4.8 เพื่อแยกผลที่เกี่ยวข้องกับช่วงระงับการใช้งานออกจากความผันผวนในกิจกรรมบน GitHub โดยรวม
การเปรียบเทียบนี้ตั้งอยู่บนสมมติฐานว่า หากไม่มีการระงับการใช้งาน ทั้งสองกลุ่มจะมีการเปลี่ยนแปลงของอัตราการผสาน PR ในลักษณะคล้ายกัน โดยนำการเปลี่ยนแปลงดังกล่าวของทั้งสองกลุ่มมาเปรียบเทียบ และใช้การวิเคราะห์ทางสถิติควบคุมความแตกต่างระหว่างนักพัฒนาแต่ละคน รวมถึงความผันผวนในแต่ละวัน:

ลำดับเวลาการอัปเกรดโมเดล Claude และการระงับการใช้งาน Fable 5 แผงด้านบนแสดงการอัปเกรด Opus และ Sonnet 8 ครั้ง โดยวงกลมทึบระบุ 5 ครั้งที่นำมาศึกษาในงานวิจัยวงกว้าง แผงด้านล่างแสดง 4 ช่วงเวลาที่ใช้ประเมินว่าช่วงระงับการใช้งานส่งผลต่ออัตราการผสาน PR อย่างไร โดยใช้ช่วงที่ระงับการใช้งานเป็นช่วงอ้างอิง เส้นสีม่วงแสดงช่วงที่ Fable 5 เปิดให้ใช้งานหรือถูกระงับการใช้งาน แถบสีเทาแสดงช่วงที่มีการระงับ และส่วนแรเงาลายตารางแสดงวันที่ไม่นำมาคำนวณทันทีหลังระงับหรือคืนสิทธิ์การเข้าถึง แหล่งที่มา
ในส่วนของข้อมูล ทีมวิจัยระบุ PR สาธารณะบน GitHub ที่สร้างด้วย Claude Code ผ่าน GitHub Search API โดยใช้ข้อความแจ้ง “Generated with Claude Code” ซึ่งระบบใส่ไว้ในคำอธิบาย PR โดยอัตโนมัติ หากมีการคัดลอกชื่อโมเดลที่ใช้จากประวัติการคอมมิตโค้ดมาไว้ในคำอธิบาย PR ด้วย ก็จะสามารถระบุเวอร์ชันของ Claude ที่ใช้ได้
รวบรวม PR ที่ส่งในช่วงใกล้กับการระงับการใช้งาน Fable 5 และการอัปเกรด Claude ในเวลาต่อมา ตั้งแต่เดือนพฤศจิกายน 2025 ถึงเดือนตุลาคม 2026 โดยเผื่อเวลาอย่างน้อย 4 สัปดาห์ให้ PR ล่าสุดถูกรวมเข้ากับโครงการ
นักพัฒนา 297 คนที่ใช้ Fable 5 ในช่วงสั้น ๆ ที่เปิดให้ใช้งานได้รับเลือกเป็นกลุ่มศึกษาหลัก ส่วนกลุ่มควบคุมประกอบด้วยนักพัฒนา 8,908 คนที่ใช้ Opus 4.8 และไม่มีประวัติการใช้ Fable 5
ตัวชี้วัดหลักด้านผลิตภาพคือ สัดส่วนของการเปลี่ยนแปลงโค้ดที่ส่งเข้ามาแล้วได้รับการยอมรับเข้าสู่โครงการบน GitHub ภายใน 7 วัน ซึ่งทำให้สามารถเปรียบเทียบอัตราการส่งผลงานที่ประสบความสำเร็จระหว่างช่วงก่อน ระหว่าง และหลังการระงับการใช้งานได้ นอกจากนี้ ยังมีการตรวจสอบ PR ที่ถูกรวมภายในหนึ่งชั่วโมง PR ที่ถูกปิดโดยไม่ได้รวมเข้ากับโครงการ จำนวนความคิดเห็นที่ได้รับ การเปลี่ยนแปลงที่ถูกย้อนกลับในภายหลัง และกรณีที่ไม่ผ่านการตรวจสอบอัตโนมัติของ GitHub
ผลการทดสอบ
การสูญเสียและการคืนสิทธิ์เข้าถึง Fable 5 ในเวลาต่อมาส่งผลต่อผลิตภาพของนักพัฒนาเพียงเล็กน้อยจนแทบวัดไม่ได้ โดยการเข้าถึงโมเดลรุ่นใหม่สัมพันธ์กับสัดส่วน PR ที่ถูกรวมภายใน 7 วันเพิ่มขึ้นเพียง 1.4 จุดเปอร์เซ็นต์ ซึ่งถือว่า “ไม่มีนัยสำคัญทางสถิติ”:

เปรียบเทียบการใช้ Fable 5 และอัตราการผสาน PR ก่อน ระหว่าง และหลังการระงับการใช้งาน ด้านซ้าย: สัดส่วน PR ที่สร้างโดยใช้ Fable 5 ด้านขวา: การเปลี่ยนแปลงของอัตราการผสานภายใน 7 วันเมื่อเทียบกับวันที่ 22–28 มิถุนายน โดยจุดแสดงค่าประมาณ และเส้นแนวนอนแสดงช่วงความเชื่อมั่น 95% แถวที่มีแรเงาระบุช่วงที่ Fable 5 เปิดให้ใช้งาน แม้การใช้โมเดลจะเปลี่ยนแปลงอย่างมาก แต่พบว่าอัตราการผสานเปลี่ยนแปลงเพียงเล็กน้อย
นอกจากนี้ ในการอัปเกรดโมเดล Claude 5 ครั้ง ซึ่งเกี่ยวข้องกับนักพัฒนา 1,208 คนและการส่งโค้ดมากกว่า 15,000 รายการ ไม่พบว่าสัดส่วนโค้ดที่ได้รับการยอมรับเข้าสู่โครงการบน GitHub เพิ่มขึ้น อันที่จริง อัตราดังกล่าวลดลงเล็กน้อย โดยลดลงประมาณ 0.9 จุดเปอร์เซ็นต์
นอกจากนี้ ยังพบว่านักพัฒนาที่ใช้โมเดลรุ่นใหม่ทำงานที่ได้รับการยอมรับเสร็จเพิ่มขึ้นเพียง 2.4% ต่อสัปดาห์ ซึ่งเป็นความแตกต่างที่น้อยเกินกว่าจะสรุปได้อย่างน่าเชื่อถือว่ามีการพัฒนาขึ้น แม้คะแนนการทดสอบมาตรฐานจะเพิ่มขึ้น 5 ถึง 18 คะแนน ก็ไม่พบว่าประสิทธิภาพการทำงานเพิ่มขึ้นอย่างมีนัยสำคัญ
นอกจากนี้ ยังพบว่าโมเดลรุ่นใหม่ไม่ได้ทำงานได้ดีกว่าในการตรวจสอบโค้ดอัตโนมัติของ GitHub โดยอัตราความล้มเหลวยังคงแทบไม่เปลี่ยนแปลง
บทความสรุปว่า:
‘เราตั้งสมมติฐานว่า เหตุผลหลักที่ผลการทดสอบมาตรฐานของ Fable 5 ดีขึ้น แต่ไม่ได้ส่งผลให้ประสิทธิภาพการทำงานจริงเพิ่มขึ้น เป็นเพราะงานที่นักพัฒนามอบหมายให้เอเจนต์ทำอยู่ในขอบเขตที่โมเดลรุ่นเก่าก็ทำได้อยู่แล้ว’
และกล่าวต่อว่า:
‘ผลการศึกษาของเรานำหลักฐานจากการทำงานจริงมาเสริมคำเตือนจากงานวิจัยก่อนหน้า นั่นคือ คะแนนการทดสอบมาตรฐานแทบไม่มีความหมายต่อผู้ที่กำลังเลือกโมเดล หากไม่มีหลักฐานว่าคะแนนนั้นใช้วัดงานที่นำโมเดลไปใช้ทำได้จริง [describe].
‘หากหน่วยงานกำกับดูแลและผู้ซื้อใช้คะแนนการทดสอบมาตรฐานของโมเดลเป็นเกณฑ์ตัดสินว่าโมเดลมีความสามารถสูงขึ้นเพียงใด [score] ความแตกต่างที่พวกเขาใช้ประกอบการตัดสินใจมีแนวโน้มว่าจะไม่ปรากฏให้เห็นในประสิทธิภาพการทำงานของผู้ใช้’
บทสรุป
การมีตัวชี้วัดที่สม่ำเสมอเมื่อเทียบปีต่อปีเป็นข้อกำหนดเบื้องต้นสำหรับมิติทางธุรกิจของระบบอุตสาหกรรมมาอย่างยาวนาน แต่การจำลองตัวชี้วัดเหล่านี้ให้ได้ผลที่ถูกต้องและสอดคล้องกับสภาพการใช้งานจริงนั้นทำได้ยากเป็นพิเศษในแวดวง AI สาเหตุส่วนหนึ่งคือความรวดเร็วที่ “ข้อมูลทดสอบ” ซึ่งใช้กำหนดผลการทดสอบมาตรฐาน ถูกนำไปรวมไว้ในข้อมูลฝึกของโมเดลรุ่นถัดไป จนใช้ทดสอบไม่ได้อีกต่อไป เพียงเท่านี้ก็แทบทำให้แนวทางการทดสอบมาตรฐานขององค์กรใช้การไม่ได้ รวมถึงการทดสอบทางวิทยาศาสตร์ที่ต้องอาศัยความสม่ำเสมอ ซึ่งนักวิจัยจำเป็นต้องทำลายตัวชี้วัดที่เคยกำหนดไว้ เพราะตัวชี้วัดเหล่านั้นอาจไม่มีความหมายอีกต่อไปแล้ว
ที่จริงแล้ว ตลอด 10 ปีที่ผ่านมา เป็นเรื่องน่าทึ่งที่ได้เห็นบทความวิจัยด้านคอมพิวเตอร์วิทัศน์จำนวนมากยังคงยึดตามมาตรฐานที่ล้าสมัยไปนานแล้ว เช่น ImageNet เพียงเพราะมาตรฐานเหล่านี้มีประวัติความเป็นมายาวนานมาก
ผลการศึกษานี้ทำให้นักพัฒนาดูดีไม่น้อย โดยแสดงให้เห็นว่าพวกเขาปรับตัวได้และยืดหยุ่น พร้อมใช้ระบบใดก็ตามที่มีให้ใช้งานและทำงานอยู่จริง ข้อเท็จจริงที่ว่าพวกเขาทำงานได้เร็วใกล้เคียงกัน ไม่ว่าจะใช้ AI รุ่นล่าสุดหรือรุ่นก่อนหน้า บ่งชี้ว่าพวกเขาปรับการทำงานให้เหมาะกับระยะเวลาและกำหนดส่ง โดยไม่ขึ้นกับเครื่องมือที่มีอยู่
* ดังที่ผู้แสดงความคิดเห็นคนหนึ่งบน Hacker News ชี้ให้เห็นเมื่อไม่นานมานี้ เรื่องนี้อาจไม่เป็นความจริงอีกต่อไปแล้ว เพราะข้อมูล “Pelican on Bicycle” ถูกนำไปรวมไว้ในข้อมูลฝึกแล้ว ทำให้การทดสอบนี้ใช้ไม่ได้
† ชื่อเรื่องคือ “โมเดลเขียนโค้ดที่ได้คะแนนสูงขึ้นไม่ได้ทำงานเสร็จมากขึ้น”
††การศึกษานี้ตั้งคำถามอื่นอีกสองข้อ แต่ฉันเห็นว่าคำถามเหล่านั้นไม่ได้เกี่ยวข้องกับประเด็นนี้มากนัก และไม่มีนัยสำคัญเทียบเท่ากับคำถามหลัก จึงไม่ได้รายงานไว้ในที่นี้ โปรดดูรายละเอียดเพิ่มเติมในไฟล์ PDF ต้นฉบับ
เผยแพร่ครั้งแรก วันพุธที่ 18 พฤศจิกายน 2026












