จากการสอบคณิตศาสตร์ไปสู่การให้เหตุผลของเครื่องจักร: การต่อสู้ล่าสุดของ AI

เมื่อเร็วๆ นี้ ปัญญาประดิษฐ์ (AI) ได้ทำสถิติใหม่ในหนึ่งในการแข่งขันคณิตศาสตร์ที่ยากที่สุดในโลก ซึ่งก็คือ การแข่งขันคณิตศาสตร์โอลิมปิกระหว่างประเทศ (IMO) ระบบ Gemini Deep Think ของ Google DeepMind และโมเดล OpenAI ที่เป็นการทดลองสามารถแก้ปัญหา 5 ใน 6 ปัญหาได้ และได้คะแนน 35 จาก 42 คะแนน ซึ่งเป็นเกณฑ์สำหรับเหรียญทอง การทดสอบของ DeepMind ได้รับการประเมินอย่างเป็นทางการโดยผู้ทำการทดสอบ IMO ในขณะที่ผู้ชนะเหรียญทอง IMO ในอดีตได้ตรวจสอบผลลัพธ์ของ OpenAI ภายใต้ข้อจำกัดเวลาและเครื่องมือที่เหมือนกันกับผู้เข้าแข่งขันมนุษย์ ทั้งสองระบบสร้างหลักฐานที่มีรายละเอียดและภาษาที่เป็นธรรมชาติ ซึ่งแสดงถึงความก้าวหน้าที่น่าประทับใจในด้านการให้เหตุผลทางคณิตศาสตร์ของ AI

尽管 AI ได้แสดงผลลัพธ์ที่ดีในการแข่งขันและมาตรฐานต่างๆ แต่ก็ยังคงดิ้นรนในการทำงานที่ต้องใช้ความคิดสร้างสรรค์ การคิดอย่างเป็นนามธรรม และการวิเคราะห์เชิงตรรกะอย่างลึกซึ้ง ระบบเหล่านี้สามารถจัดการปัญหาได้ดี แต่บ่อยครั้งล้มเหลวในการทำงานที่ไม่คุ้นเคยหรือซับซ้อนซึ่งต้องใช้ข้อคิดเห็นใหม่ๆ การจำกัดดังกล่าวเน้นย้ำถึงข้อจำกัดในปัจจุบันของความสามารถในการให้เหตุผลของ AI และระบุพื้นที่สำคัญสำหรับการวิจัยในอนาคต

จากเครื่องคิดเลขพื้นฐานไปสู่ผู้แข่งขันทางคณิตศาสตร์ของ AI

AI ในด้านคณิตศาสตร์เริ่มต้นด้วยเครื่องมือที่ใช้กฎพื้นฐาน ตัวคำนวณดิจิตอลในยุคแรกๆ มีความสามารถในการทำการคำนวณพื้นฐานเท่านั้น ต่อมา ซอฟต์แวร์อย่าง Wolfram Alpha และระบบแก้สมการเชิงสัญลักษณ์ทำให้สามารถคำนวณพีชคณิตและแคลคูลัสได้โดยอัตโนมัติ ระบบเหล่านี้ยึดตามกฎที่เข้มงวดและให้คำตอบที่ถูกต้อง แต่ไม่สามารถอธิบายเหตุผลในการคำนวณด้วยภาษาที่เป็นธรรมชาติ

โมเดลภาษาขนาดใหญ่ (LLM) เปลี่ยนแนวทางนี้ โมเดลเหล่านี้ไม่เหมือนกับระบบสัญลักษณ์ LLM เรียนรู้จากชุดข้อมูลขนาดใหญ่ ในตอนแรก ทักษะทางคณิตศาสตร์ของพวกมันถูกจำกัด พวกมันบ่อยครั้งล้มเหลวในการแก้ปัญหาแบบคำพูดพื้นฐาน การฝึกอบรมที่ค่อยเป็นค่อยไปทำให้ประสิทธิภาพดีขึ้น การฝึกอบรมบนชุดข้อมูล เช่น GSM8K และ MATH ช่วยให้พวกมันสามารถแก้ปัญหาได้แบบทีละขั้นตอน นอกจากนี้ การกระตุ้นความคิด ส่งเสริมการให้เหตุผลทั้งหมดแทนการให้คำตอบสั้นๆ

ในปี 2023 และ 2024 โมเดล AI ที่ดีที่สุดเทียบเท่ากับคะแนนของมนุษย์ในมาตรฐานคณิตศาสตร์หลายรายการ พวกมันสามารถอธิบายวิธีแก้ปัญหาหลายขั้นตอนและแก้ปัญหาแบบโอลิมปิกระดับฝึกหัด ในปี 2025 AI ถึงระดับสำคัญ ระบบทดลองจาก Google DeepMind และ OpenAI ได้รับคะแนนระดับเหรียญทองใน IMO แต่ละระบบ AI แก้ปัญหา 5 ใน 6 ปัญหาโดยใช้เวลาและเครื่องมือเหมือนกับผู้เข้าแข่งขันมนุษย์ นี่เป็นครั้งแรกที่ AI ถึงระดับของนักคณิตศาสตร์หนุ่มๆ ที่ดีที่สุดในระดับการให้คะแนนอย่างเป็นทางการของ IMO

ทำไม AI ยังคงดิ้นรนในการให้เหตุผลทางคณิตศาสตร์

AI แสดงผลลัพธ์ที่แข็งแกร่งในงานคณิตศาสตร์หลายอย่าง แต่ความสามารถในการให้เหตุผลอย่างลึกซึ้งยังคงถูกจำกัด ส่วนต่อไปนี้จะสำรวจปัจจัยที่อยู่เบื้องหลังข้อจำกัดเหล่านี้

การประเมินเกินจริงจากมาตรฐานทั่วไป

แม้จะมีผลลัพธ์ที่แข็งแกร่งในงานคณิตศาสตร์และมาตรฐาน AI ยังคงดิ้นรนในการให้เหตุผลอย่างลึกซึ้ง มาตรการที่ได้รับความนิยมหลายอย่างให้มุมมองที่乐观เกินไปเกี่ยวกับความสามารถของ AI สิ่งนี้เกิดขึ้นเพราะชุดปัญหาหลายครั้งใช้คำถามซ้ำหรือคล้ายกับงานที่โมเดลได้รับการฝึกอบรม ดังนั้น AI จึงสามารถทำงานได้ดีโดยการรับรู้รูปแบบที่คุ้นเคย แต่ไม่มีการให้เหตุผลที่แท้จริงเกี่ยวกับปัญหาใหม่ๆ

มาตรฐาน FrontierMath

เพื่อทดสอบ AI อย่างเข้มงวด นักวิจัยได้แนะนำ FrontierMath ในปี 2024 มาตรฐานนี้ประกอบด้วยปัญหาหลายร้อยปัญหาที่สร้างขึ้นโดยนักคณิตศาสตร์ผู้เชี่ยวชาญ รวมถึงผู้ชนะเหรียญทอง IMO และผู้ชนะรางวัลฟิลด์ ปัญหาเหล่านี้ครอบคลุมหัวข้อที่ซับซ้อน รวมถึงทฤษฎีจำนวน การวิเคราะห์เชิงฟังก์ชัน จเรumatik และทฤษฎีหมวดหมู่ FrontierMath หลีกเลี่ยงการปนเปื้อนของข้อมูล ซึ่งหมายความว่า AI ไม่สามารถตอบได้โดยการระลึกถึงคำตอบเท่านั้น แม้แต่ระบบที่ทันสมัยที่สุดก็สามารถแก้ปัญหา น้อยกว่า 2% ของปัญหาเหล่านี้ สิ่งนี้บ่งชี้ถึงการลดลงอย่างมากเมื่อเทียบกับมาตรฐานเก่า ซึ่งเน้นย้ำถึงช่องว่างระหว่างความสำเร็จที่ผิวเผินและความเข้าใจที่แท้จริง

RIMO และความท้าทายแบบโอลิมปิก

RIMO เป็นอีกมาตรฐานหนึ่งที่ทดสอบ AI ในคณิตศาสตร์แบบโอลิมปิก มาตรฐานนี้ประกอบด้วยปัญหาหลายปัญหา ที่ต้องใช้การให้เหตุผลและหลักฐานที่แม่นยำ

RIMO มีสองส่วน ส่วนหนึ่งมุ่งเน้นไปที่คำถามที่ต้องมีการให้เหตุผลและได้รับการประเมินจากผู้เชี่ยวชาญ ในขณะที่ส่วนอื่นใช้ปัญหาโดยมีคำตอบตัวเลขที่ไม่ซ้ำกันสำหรับการให้คะแนนอัตโนมัติ ทั้งสองรูปแบบต้องการความแม่นยำทางตรรกะ

โมเดล AI ที่ทำงานได้ดีในมาตรฐาน เช่น GSM8K บ่อยครั้งดิ้นรนใน RIMO พวกมันสร้างหลักฐานที่ยาวและดูเหมือนถูกต้อง แต่มีข้อผิดพลาดที่ซ่อนอยู่ สิ่งนี้เน้นย้ำถึงข้อจำกัดหลักๆ ที่ AI สามารถสร้างการให้เหตุผลที่ดูเหมือนจะถูกต้อง แต่ไม่มีพื้นฐานตรรกะที่มั่นคง

ปัญหาแบบปกติเทียบกับปัญหาในการให้เหตุผล

ความแตกต่างระหว่างปัญหาแบบปกติและปัญหาในการให้เหตุผลช่วยอธิบายความท้าทายของ AI ในคณิตศาสตร์ ปัญหาแบบปกติตามรูปแบบหรือแบบจำลองที่คุ้นเคย ปัญหาหลายปัญหาหรือการออกกำลังกายพีชคณิตสามารถแก้ได้ด้วยการรับรู้รูปแบบ AI ทำงานได้ดีในงานเหล่านี้ โดยมักจะเทียบหรือเหนือความแม่นยำของมนุษย์

ปัญหาในการให้เหตุผลต้องใช้มากกว่าการรับรู้รูปแบบ พวกมันต้องการความคิดสร้างสรรค์ การคิดอย่างเป็นนามธรรม และการวางแผนแบบยืดหยุ่น หลักฐานแบบโอลิมปิกต้องทดสอบความสามารถในการสร้างความคิดใหม่ๆ แทนที่จะทำซ้ำวิธีแก้ปัญหา AI สามารถสร้างข้อความที่คล้ายกับหลักฐาน แต่ผู้ตรวจสอบผู้เชี่ยวชาญมักพบช่องว่างในตรรกะ ขั้นตอนสำคัญอาจหายไปหรือมีเหตุผลที่ไม่แข็งแกร่ง และบางคำกล่าวไม่มีหลักฐาน สิ่งเหล่านี้บ่งชี้ว่า AI ยังไม่ได้ครอบงำการให้เหตุผลทางคณิตศาสตร์ที่แท้จริง

ข้อจำกัดของโมเดล AI ปัจจุบัน

โมเดล AI ปัจจุบันมีข้อจำกัดเพิ่มเติม โมเดลภาษาขนาดใหญ่คาดการณ์คำถัดไปในลำดับโดยไม่ต้องปฏิบัติตามกฎสัญลักษณ์หรือคณิตศาสตร์อย่างเข้มงวด สิ่งนี้อาจนำไปสู่ข้อผิดพลาด เช่น ข้อผิดพลาดทางพีชคณิต AI ยัง “หลอกลวง” โดยการสร้างคำตอบที่ไม่ถูกต้องด้วยความมั่นใจ ในด้านการศึกษาหรือการวิจัย ข้อผิดพลาดเหล่านี้อาจทำให้ผู้ใช้หลงเชื่อหรือแพร่กระจายความรู้ที่ผิด

ปัญหาในการประเมินและให้คะแนน

วิธีการประเมินยังเพิ่มความอ่อนแอเหล่านี้ ตัวอย่างเช่น มาตรฐานหลายมาตรฐานตรวจสอบเฉพาะคำตอบสุดท้ายและไม่สนใจกระบวนการให้เหตุผล ด้วยเหตุนี้ จึงส่งเสริมให้ใช้ทางลัดและขัดขวางการแก้ปัญหาอย่างระมัดระวังและทีละขั้นตอน ทำให้โมเดลอาจให้คำตอบที่ไม่ถูกต้องแทนการแสดงตรรกะที่เชื่อถือได้

ผลกระทบในโลกแห่งความเป็นจริงของข้อจำกัดในการให้เหตุผลของ AI

AI ได้แสดงผลลัพธ์ที่แข็งแกร่งในงานคณิตศาสตร์และมาตรฐาน แต่ความสำเร็จเหล่านี้ไม่ได้สะท้อนถึงภาพรวมทั้งหมด ความอ่อนแอในการให้เหตุผลของ AI สร้างความท้าทายร้ายแรงเมื่อนำไปใช้ในบริบทของโลกแห่งความเป็นจริง

ในด้านการศึกษา ระบบการให้คำแนะนำ AI ให้คำอธิบายและปัญหาแบบฝึกหัดเพื่อสนับสนุนนักเรียน อย่างไรก็ตาม การให้เหตุผลที่มีข้อบกพร่องสามารถทำให้นักเรียนหลงเชื่อได้ นักเรียนอาจใช้ความคิดที่ไม่ถูกต้อง และครูต้องใช้เวลาเพิ่มเติมในการตรวจสอบและแก้ไขผลลัพธ์ของ AI สิ่งนี้ลดความมีประโยชน์ของ AI ในฐานะเครื่องมือสอน

ในด้านการวิจัย ความแม่นยำในการให้เหตุผลเป็นสิ่งจำเป็น แม้แต่ข้อผิดพลาดเล็กๆ น้อยๆ ก็สามารถทำลายการทดลอง เสียทรัพยากร และนำไปสู่ข้อสรุปที่ผิด ความผิดพลาดเหล่านี้ลดความเชื่อมั่นใน AI ในฐานะเครื่องมือวิจัยและชะลอความก้าวหน้าในการทำงานทางวิทยาศาสตร์

ในด้านการแพทย์ ทั้งความแม่นยำและความชัดเจนเป็นสิ่งสำคัญ ระบบ AI ที่ใช้ในการวินิจฉัยหรือการรักษาต้องอธิบายการตัดสินใจของตนอย่างถูกต้อง หากคำอธิบายไม่สมบูรณ์หรือทำให้เข้าใจผิด แพทย์และผู้ป่วยอาจสูญเสียความเชื่อมั่นในตัวกันและกัน สิ่งนี้อาจนำไปสู่การตัดสินใจทางการแพทย์ที่ไม่ดีและผลที่ตามมาที่รุนแรง

ในด้านกฎหมายและไฟแนนซ์ ข้อผิดพลาดในการให้เหตุผลสามารถทำให้เกิดข้อพิพาททางกฎหมายหรือขาดทุนทางการเงิน มืออาชีพในด้านเหล่านี้ต้องการระบบ AI ที่ยึดตามกฎและตรรกะที่สม่ำเสมอเพื่อให้แน่ใจถึงความยุติธรรมและความน่าเชื่อถือ

ในที่สุด ความเชื่อมั่นใน AI ก็เสี่ยงต่อการถูกทำลายในวงกว้าง การรายงานความสำเร็จของ AI ในการแข่งขันสร้างความคาดหวังที่ AI ได้เอาชนะความท้าทายในการให้เหตุผล เมื่อ AI ล้มเหลวในภายหลังในการแก้ปัญหาเชิงซ้อน ความเชื่อมั่นของสาธารณชนจะลดลง สิ่งนี้จำกัดการนำ AI ไปใช้ในพื้นที่ที่ AI ยังคงสามารถให้คุณค่าได้ ด้วยเหตุนี้ จึงจำเป็นต้องสื่อสารความสามารถและข้อจำกัดของ AI อย่างชัดเจน

กลยุทธ์ในการปรับปรุงความสามารถในการให้เหตุผลของ AI

นักวิจัยกำลังสำรวจแนวทางต่างๆ เพื่อแก้ไขความท้าทายในการให้เหตุผลของ AI หนึ่งในทิศทางที่สำคัญคือ AI ที่รวมสัญลักษณ์และประสาท ซึ่งรวมเครือข่ายประสาทเทียมเข้ากับระบบการให้เหตุผลแบบสัญลักษณ์ โมเดลประสาทเทียมมีประสิทธิภาพในการประมวลผลและสร้างภาษาที่เป็นธรรมชาติ ในขณะที่ระบบการให้เหตุผลแบบสัญลักษณ์ใช้กฎตรรกะและพีชคณิตอย่างเข้มงวด การรวมกันของทั้งสองช่วยให้แน่ใจถึงความถูกต้องในงานที่ซับซ้อน เช่น พีชคณิตและตรรกะ ลดข้อผิดพลาดที่เกิดขึ้นในโมเดลทางสถิติ

อีกแนวทางหนึ่งคือการตรวจสอบขั้นตอน AI สร้างหลักฐานทีละขั้นตอน และระบบตรวจสอบแยกต่างหากตรวจสอบแต่ละขั้นตอนสำหรับความสอดคล้อง กระบวนการนี้ลดการให้เหตุผลที่ผิดและ “หลอกลวง” ทำให้ผลลัพธ์ของ AI มีความน่าเชื่อถือมากขึ้นในงานที่ต้องการหลักฐานอย่างเข้มงวด

มาตรฐานที่ท้าทาย เช่น FrontierMath และ RIMO มีบทบาทสำคัญในการสนับสนุนการให้เหตุผลของ AI มาตรฐานเหล่านี้รวมปัญหาใหม่ที่ป้องกันการระลึกถึงและต้องการการให้เหตุผลที่แท้จริง การใช้มาตรฐานเหล่านี้ในการฝึกอบรมและประเมินกระตุ้นให้โมเดลไปไกลกว่าการรับรู้รูปแบบและเข้าใจลึกซึ้งยิ่งขึ้น

การใช้เครื่องมือภายนอกยังสนับสนุนการให้เหตุผลของ AI ระบบบางระบบเชื่อมต่อกับระบบแคลคูลัสคอมพิวเตอร์เพื่อการคำนวณและจัดการที่แม่นยำ สิ่งนี้ลดข้อผิดพลาดทางคณิตศาสตร์และเพิ่มความแม่นยำในการแก้ปัญหาหลายขั้นตอน

การเรียนรู้แบบเสริมกำลัง เป็นอีกกลยุทธ์ที่มีประสิทธิภาพ โดยการให้รางวัลสำหรับขั้นตอนการให้เหตุผลที่ถูกต้องระหว่างกลาง แทนที่จะให้รางวัลเฉพาะคำตอบสุดท้าย วิธีนี้ช่วยให้โมเดลเน้นไปที่กระบวนการตรรกะและความน่าเชื่อถือ

การทำงานร่วมกันระหว่างมนุษย์และ AI ก็มีความสำคัญในการเอาชนะข้อจำกัด AI สามารถสร้างเลมมาหรือร่างการให้เหตุผลได้ ในขณะที่มนุษย์ตรวจสอบและปรับปรุงผลลัพธ์ ในด้านการศึกษา AI อาจให้ปัญหาแบบฝึกหัดและคำแนะนำ แต่ครูจะรับรองความถูกต้องและบริบท ในด้านการวิจัย การแพทย์ และกฎหมาย ผู้เชี่ยวชาญจะตรวจสอบผลลัพธ์ของ AI อย่างมีวิจารณญาณก่อนตัดสินใจ การผสมผสานความเร็วของ AI และการตัดสินใจของมนุษย์เสริมสร้างความน่าเชื่อถือ

นักพัฒนายังต้องปรับปรุงพротоколการประเมิน สิ่งนี้รวมถึงการทดสอบกับชุดข้อมูลที่ไม่ได้เผยแพร่ ปัญหาแบบก้าวร้าว และวิธีการให้คะแนนที่ประเมินขั้นตอนการให้เหตุผลนอกเหนือจากคำตอบสุดท้าย การประเมินเหล่านี้ส่งเสริมการให้เหตุผลอย่างระมัดระวังและละเอียด

สรุป

ความก้าวหน้าของ AI ในคณิตศาสตร์สะท้อนถึงทั้งความสำเร็จทางประวัติศาสตร์และความท้าทายที่ยังไม่ได้รับการแก้ไข ตั้งแต่เครื่องคิดเลขพื้นฐานไปจนถึงโมเดลภาษาขนาดใหญ่สมัยใหม่ AI ได้พัฒนาเป็นระบบที่สามารถทำงานได้ในระดับเดียวกับผู้เข้าแข่งขันที่ดีที่สุดในระดับนานาชาติ แต่ความสำเร็จเหล่านี้ไม่ได้หมายความว่า AI ได้ครอบงำการให้เหตุผลทางคณิตศาสตร์

มาตรฐานที่เข้มงวด เช่น FrontierMath และ RIMO เปิดเผยความอ่อนแออย่างต่อเนื่องในด้านความคิดสร้างสรรค์ การคิดอย่างเป็นนามธรรม และความแม่นยำทางตรรกะ ช่องว่างเหล่านี้ทำให้เกิดความกังวลอย่างจริงจังเมื่อ AI ถูกนำไปใช้ในด้านการศึกษา การวิจัย การแพทย์ กฎหมาย หรือการเงิน ซึ่งความแม่นยำและความเชื่อมั่นเป็นสิ่งจำเป็น ในการก้าวไปข้างหน้า การรวมตรรกะเชิงสัญลักษณ์ การตรวจสอบขั้นตอน การทำงานร่วมกันระหว่างมนุษย์ และวิธีการประเมินที่มีประสิทธิภาพมากขึ้น จะเป็นสิ่งจำเป็นสำหรับ AI เพื่อให้ได้การให้เหตุผลที่เชื่อถือได้ และแก้ไขปัญหาโลกแห่งความเป็นจริงที่ซับซ้อนได้อย่างมีประสิทธิภาพ