ความล้มเหลวของ LLMs ในคณิตศาสตร์และวิธีแก้ปัญหา

คณิตศาสตร์มักเป็นความท้าทายที่สำคัญสำหรับโมเดล AI การทำความเข้าใจคณิตศาสตร์ đòi hỏiทักษะการให้เหตุผลที่ซับซ้อน และสำหรับ AI การทำเช่นนี้ไม่ใช่เรื่องง่าย ซึ่งสร้างปัญหาใหญ่เมื่อพิจารณาถึงความสำคัญของทักษะคณิตศาสตร์สำหรับการประสบความสำเร็จในด้านอาชีพ ส่วนบุคคล และการศึกษา

尽管มีความสามารถที่น่าประทับใจ แต่โมเดลภาษาขนาดใหญ่ (LLMs) มักจะต้องเผชิญกับความท้าทายในการแก้ปัญหาคณิตศาสตร์ที่ซับซ้อน เช่นเรขาคณิต ที่ต้องการทักษะการให้เหตุผลขั้นสูง ซึ่งนำเราไปสู่คำถามที่สำคัญ: ทักษะคณิตศาสตร์ของโมเดล AI มาจากการให้เหตุผลที่แท้จริงหรือการเรียกคืนข้อมูลการฝึกอบรมเท่านั้น?

ผลการวิจัยล่าสุดจาก Apple แสดงให้เห็นว่าแม้เมื่อมุ่งเน้นไปที่ปัญหาคณิตศาสตร์ระดับประถมศึกษา โมเดลที่ซับซ้อนที่สุดก็ไม่ได้ถูกขับเคลื่อนด้วย “การให้เหตุผล” เท่านั้น

การวิจัยและพัฒนาทีมที่ MathGPT.ai ได้ให้แสงสว่างใหม่ในพื้นที่ของพีชคณิตถึงคณิตวิเคราะห์ระดับวิทยาลัยที่ต้องการการปรับปรุง

ข้อมูลนี้ได้สำรวจว่าความแตกต่างในบริบทและภาษาffect การทำงานของโมเดล LLMs รวมถึงโมเดล o1-preview และ o1-mini ของ OpenAI ผลการวิจัยพบว่าแนวโน้มที่น่าห่วงใย: ความแม่นยำลดลงอย่างต่อเนื่องเมื่อปัญหาเปลี่ยนแปลงไปจากคำถามเดิมที่มีอยู่ในข้อมูลการฝึกอบรมของ LLMs โดยมีการทำงานลดลงอย่างรวดเร็วในมาตรฐานคณิตศาสตร์ที่ท้าทายมากกว่าระดับประถมศึกษา

ปัญหาการเรียกคืนและการให้เหตุผล

การสอบสวนนี้มุ่งเน้นไปที่สามปัจจัยหลัก:

1. การใช้มาตรฐานคณิตศาสตร์ที่ท้าทายมากกว่าระดับประถมศึกษา
2. การสำรวจ “1-shot prompt” ที่มีความใกล้ชิดสูงกับปัญหาในการทดสอบ
3. การนำ策略 “best of n” ไปใช้สำหรับการพยายาม n ครั้งในการแก้ปัญหาเดียวกัน – โดยพื้นฐานแล้วเป็นการลงคะแนนเสียงส่วนใหญ่เพื่อกำจัดความผิดปกติทางสถิติในขณะอนุมาน

ผลลัพธ์เป็นทั้งน่าสนใจและน่าห่วงใย เมื่อขยายขอบเขตของการเปลี่ยนแปลงปัญหา จะพบว่าประสิทธิภาพของโมเดล AI ลดลงอย่างต่อเนื่องเมื่อปัญหาเรขาคณิตที่ซับซ้อนขึ้น

ความท้าทายของชุดข้อมูล MATH

ชุดข้อมูล MATH ได้ถูกนำมาใช้ ซึ่งเป็นที่รู้จักในเรื่องปัญหาที่ท้าทายระดับมัธยมศึกษา โดยไม่เหมือนกับชุดข้อมูล Grade School Math 8K ซึ่งมี 8,500 ปัญหาในระดับประถมศึกษาที่มีความหลากหลายทางภาษา ชุดข้อมูล MATH นำเสนอปัญหาในระดับมัธยมศึกษาที่ท้าทายกว่าเพื่อทดสอบประสิทธิภาพของโมเดลในระดับความยากต่างๆ ตั้งแต่พีชคณิตจนถึงทฤษฎีจำนวน การเลือกชุดข้อมูลนี้ทำให้ MathGPT.ai สามารถตรวจสอบประสิทธิภาพของโมเดลได้ดีขึ้นในระดับความยากต่างๆ

ในการทดสอบ เมื่อค่าจำนวนและคำตอบสุดท้ายยังคงไม่เปลี่ยนแปลง เราได้เปลี่ยนแปลงภาษา ตัวแปร และบริบทของปัญหา ตัวอย่างเช่น ปัญหา “การเดินสุนัข” อาจถูกเปลี่ยนเป็นปัญหา “เครื่องล้างจาน” วิธีนี้ช่วยลดความซับซ้อนของชุดข้อมูล MATH ในขณะเดียวกันก็ทดสอบทักษะการให้เหตุผลของโมเดล

ผลลัพธ์ที่เปิดเผย

ผลลัพธ์เป็นที่น่าประทับใจ แม้แต่โมเดลที่ทันสมัยที่สุดก็ยังต้องดิ้นรนเมื่อเผชิญกับการเปลี่ยนแปลงของปัญหา ที่พวกมันอาจพบในข้อมูลการฝึกอบรม ตัวอย่างเช่น โมเดล o1-mini ของ OpenAI มีความแม่นยำลดลงจาก 93.66% ในคำถามเดิมเป็น 88.54% ในการเปลี่ยนแปลงที่ท้าทายที่สุด โมเดล o1-preview มีการลดลงในลักษณะเดียวกัน โดยลดลงจาก 91.22% เป็น 82.93% – การลดลงอย่างรวดเร็วที่เน้นย้ำถึงช่องว่างที่สำคัญในความแข็งแกร่งของพวกมัน

ผลการวิจัยนี้สอดคล้องกับและเสริมสร้างผลการวิจัยก่อนหน้าของ Apple โดยแสดงให้เห็นว่าข้อจำกัดของ AI ในการให้เหตุผลทางคณิตศาสตร์จะชัดเจนมากขึ้นเมื่อปัญหาเพิ่มความซับซ้อนและต้องการความเข้าใจที่ลึกซึ้งยิ่งขึ้นมากกว่าการรู้จำรูปแบบ

เส้นทางไปข้างหน้า

เมื่อเรายังคงผลักดันขอบเขตของการให้เหตุผลของ LLMs มันเป็นเรื่องสำคัญที่จะต้องรับรู้ถึงศักยภาพที่น่าประทับใจและข้อจำกัดในปัจจุบันของมัน การวิจัยใหม่เน้นย้ำถึงความจำเป็นในการสร้างสรรค์นวัตกรรมในการพัฒนาโมเดล AI ที่สามารถพัฒนาทักษะการแก้ปัญหาได้อย่างมีประสิทธิภาพและครอบคลุม

สิ่งนี้เกิดขึ้นในเวลาที่สำคัญ โดยเฉพาะอย่างยิ่งในระดับการศึกษาที่สูงขึ้น ซึ่ง AI ถูกนำมาใช้มากขึ้นในฐานะเครื่องมือช่วยเหลือครูในห้องเรียน ในขณะที่โรงเรียนยังคงพบกับอัตราการล้มเหลวที่สูงในหมู่นักเรียนคณิตศาสตร์ที่ไม่ได้รับการเตรียมการสำหรับหลักสูตร

การบรรลุความสามารถในการให้เหตุผลเหมือนมนุษย์หรือความฉลาดทั่วไปใน AI đòi hỏiไม่เพียงแต่ความก้าวหน้าทางเทคโนโลยีเท่านั้น แต่ยังรวมถึงความเข้าใจที่ละเอียดถี่ถ้วนเกี่ยวกับวิธีการข้ามช่องว่างระหว่างการเรียกคืนและการให้เหตุผลที่แท้จริง

หากเราสามารถประสบความสำเร็จบนเส้นทางนี้ได้ ฉันมั่นใจว่าเราสามารถเปลี่ยนแปลงชีวิตของนักเรียนและผู้เชี่ยวชาญหลายล้านคนเพื่อทำให้พวกเขาเดินไปบนเส้นทางใหม่ทั้งหมด