การวิจัยเผย LLMs ใช้เหตุผลอย่างง่ายเมื่อความซับซ้อนเพิ่มขึ้น

ทีมนักวิจัย ตีพิมพ์ผลการศึกษา เมื่อวันที่ 20 พฤศจิกายน โดยวิเคราะห์ข้อมูลการให้เหตุผลมากกว่า 192,000 รายการจาก โมเดลภาษาขนาดใหญ่ (LLMs) โดยพบว่าระบบ AI นั้นพึ่งพาแนวทางเชิงกลและเชิงเส้นมากกว่ากระบวนการคิดเชิงสังยุคที่มนุษย์ใช้

ทีมวิจัยได้ตรวจสอบ 18 โมเดลที่แตกต่างกันในการทำงานด้านข้อความ ภาพ และเสียง โดยเปรียบเทียบกับ 54 การคิดออกเสียงของมนุษย์ที่รวบรวมขึ้นเพื่อการศึกษา โดยการวิเคราะห์กำหนดขึ้นเป็นระบบการจำแนกประเภทขององค์ประกอบทาง认知 28 ประเภทที่ครอบคลุมถึงการจำกัดทางคำนวณ การควบคุมด้าน认知 ความรู้และการดำเนินการ—โดยให้กรอบในการประเมินไม่เพียงแต่ผลลัพธ์ที่ถูกต้อง แต่ยังรวมถึงกระบวนการให้เหตุผลที่นำไปสู่ผลลัพธ์ดังกล่าว

ความแตกต่างพื้นฐานในโครงสร้างการให้เหตุผล

การให้เหตุผลของมนุษย์แสดงให้เห็นถึงการรวมกันเชิงสังยุคและการควบคุมด้าน认知—ความสามารถในการสะท้อนและควบคุมกระบวนการคิดของตนเอง มนุษย์สามารถจัดระเบียบข้อมูลให้อยู่ในรูปแบบที่ซับซ้อนและติดตามความก้าวหน้าผ่านปัญหาเชิงซับซ้อน

โมเดล LLMs ส่วนใหญ่ใช้การเชื่อมโยงเชิงเส้น โดยการเคลื่อนที่ไปทีละขั้นตอนผ่านปัญหาโดยไม่มีการจัดระเบียบเชิงสังยุคหรือการสะท้อนกลับเหมือนกับการให้เหตุผลของมนุษย์ ความแตกต่างนี้จะเห็นได้ชัดเจนเมื่อปัญหาไม่มีโครงสร้างที่ชัดเจนหรือไม่แน่นอน ซึ่งความสามารถในการปรับตัวของมนุษย์จะเหนือกว่าแนวทางของ AI

การศึกษาพบว่าโมเดลภาษามีส่วนประกอบเชิงพฤติกรรมที่เกี่ยวข้องกับการให้เหตุผลที่ประสบความสำเร็จ แต่ไม่สามารถใช้งานได้โดยไม่ต้องมีการกระตุ้น การทำงานแตกต่างกันอย่างมากตามประเภทของปัญหา โดยการให้เหตุผลในสถานการณ์ที่ยากลำบากแสดงให้เห็นถึงการเปลี่ยนแปลงที่สูงสุด โดยโมเดลขนาดเล็กมีปัญหาอย่างมาก ในขณะที่การให้เหตุผลเชิงตรรกะแสดงให้เห็นถึงผลลัพธ์ที่ดี โดยโมเดลขนาดใหญ่โดยทั่วไปจะทำงานได้ดีกว่าโมเดลขนาดเล็ก โมเดลแสดงให้เห็นถึงจุดอ่อนที่ไม่คาดคิด โดยสามารถทำงานได้ดีในงานที่ซับซ้อน แต่ล้มเหลวในงานที่ง่ายกว่า

การปรับปรุงประสิทธิภาพผ่านการให้เหตุผลที่ได้รับการชี้นำ

ทีมวิจัยได้พัฒนาเครื่องมือชี้นำการให้เหตุผลในขณะการทดสอบ ซึ่งช่วยให้โครงสร้างการให้เหตุผลที่ประสบความสำเร็จโดยอัตโนมัติ โดยแสดงให้เห็นถึงการปรับปรุงประสิทธิภาพสูงสุดถึง 66.7% ในปัญหาที่ซับซ้อน เมื่อโมเดลได้รับการกระตุ้นให้ใช้แนวทางการให้เหตุผลที่คล้ายกับมนุษย์มากขึ้น ซึ่งบ่งชี้ว่า LLMs มีความสามารถที่ซ่อนอยู่สำหรับการให้เหตุผลที่ซับซ้อนมากขึ้น แต่ต้องการการชี้นำอย่างชัดเจนเพื่อใช้งานได้อย่างมีประสิทธิภาพ

ช่องว่างระหว่างการให้เหตุผลของมนุษย์และ AI จะกว้างขึ้นเมื่อความซับซ้อนของงานเพิ่มขึ้น ในขณะที่โมเดลสามารถจัดการปัญหาเชิงเส้นได้ด้วยการเชื่อมโยงเชิงเส้นเพียงอย่างเดียว แต่จะพบปัญหาเมื่อต้องใช้กลยุทธ์ที่ซับซ้อนและติดตามผลลัพธ์แบบเรียกซ้ำซึ่งมนุษย์ใช้เมื่อเผชิญกับความท้าทายที่ไม่แน่นอนหรือซับซ้อน

ชุดข้อมูลที่เผยแพร่สาธารณะให้ฐานมาตรฐานสำหรับการวิจัยในอนาคตที่เปรียบเทียบระหว่างความฉลาดของมนุษย์และ AI โดยการทำแผนที่องค์ประกอบทาง认知 28 ประเภท กรอบการทำงานนี้ช่วยให้นักวิจัยสามารถระบุจุดที่การให้เหตุผลของ AI ล้มเหลวได้อย่างแม่นยำ แทนที่จะวัดแค่คะแนนความถูกต้อง

ผลกระทบต่อการพัฒนา AI

ผลการวิจัยเน้นย้ำถึงข้อจำกัดพื้นฐานในระบบ AI ปัจจุบัน—ช่องว่างระหว่างความสามารถในการคำนวณและความซับซ้อนของการให้เหตุผลที่แท้จริง โมเดลที่ได้รับการฝึกอบรมจากชุดข้อมูลขนาดใหญ่สามารถหาคำตอบที่ถูกต้องได้ แต่ขาดการคิดเชิงสังยุคและเชิงกลที่มนุษย์ใช้ในการแก้ปัญหา

การวิจัยนี้เสริมสร้างความกังวลที่เพิ่มขึ้นเกี่ยวกับ ข้อจำกัดของการให้เหตุผล AI ที่พบในหลายโดเมน การปรับปรุงประสิทธิภาพจากแนวทางการให้เหตุผลที่ได้รับการชี้นำบ่งชี้ว่ากลยุทธ์การกระตุ้นที่ดีขึ้นและการปรับปรุงโครงสร้างอาจช่วยให้โมเดลเข้าถึงความสามารถในการให้เหตุผลที่ซ่อนอยู่ได้อย่างมีประสิทธิภาพมากขึ้น

สิ่งที่สำคัญที่สุดของการศึกษานี้อาจเป็นระบบการจำแนกประเภทขององค์ประกอบทาง认知ที่มีรายละเอียด ซึ่งให้เป้าหมายที่ชัดเจนสำหรับการปรับปรุงแก่นักวิจัยและนักพัฒนา โดยไม่ต้องรักษาการให้เหตุผลเป็นความสามารถที่เป็นเนื้อเดียวกัน กรอบการทำงานนี้แบ่งการให้เหตุผลออกเป็นส่วนประกอบที่วัดผลได้ ซึ่งสามารถแก้ไขได้โดยการปรับเปลี่ยนการฝึกอบรมหรือเทคนิคการกระตุ้น