Test-Time Scaling: ส่วนผสมลับแห่งรุ่นใหม่ของโมเดลการให้เหตุผลระดับ PhD

สาขาหนึ่งของปัญญาประดิษฐ์ได้มาถึงจุดที่การเพิ่มขนาดของโมเดลหรือการเพิ่มปริมาณข้อมูลไม่ใช่วิธีที่ดีที่สุดในการทำให้โมเดลมีความฉลาดมากขึ้น ในช่วงไม่กี่ปีที่ผ่านมา เราเชื่อว่าหากเราสร้างโครงข่ายประสาทเทียมที่ใหญ่ขึ้นและให้ข้อมูลอินเทอร์เน็ตมากขึ้น โมเดลเหล่านั้นจะกลายเป็นโมเดลที่ฉลาดขึ้น วิธีการนี้ซึ่งเรียกว่า กฎการปรับขนาด (scaling laws) ทำงานได้ดีมาก ทำให้เราได้รับโมเดลที่สามารถเขียนบทกวี, แปลภาษา และผ่านการสอบบาร์เอ็กซาม์ แต่โมเดลเหล่านี้มักจะดิ้นรนในการแก้ปัญหาที่ต้องใช้ตรรกะลึกซึ้ง คณิตศาสตร์ที่ซับซ้อน และปัญหาทางวิทยาศาสตร์ที่ต้องใช้การให้เหตุผลหลายขั้นตอน พวกมันเก่งในการจับคู่รูปแบบ แต่ล้มเหลวในการแก้ปัญหาที่ต้องใช้การให้เหตุผลหลายขั้นตอน

เมื่อเร็วๆ นี้ มีการเปลี่ยนแปลงแนวโน้มใหม่ที่เปลี่ยนแปลงวิธีการคิดเกี่ยวกับความสามารถของ AI แนวโน้มนี้เรียกว่า การปรับขนาดในขณะทดสอบ (test-time scaling) แทนที่จะเน้นไปที่สิ่งที่โมเดลเรียนรู้ในช่วงการฝึกอบรม นักวิจัยกำลังเน้นไปที่สิ่งที่โมเดล “คิด” เมื่อมันกำลังตอบคำถาม การเปลี่ยนแปลงนี้คือ ส่วนผสมลับแห่งรุ่นใหม่ของโมเดลการให้เหตุผล เช่น ซีรีส์ o1 ของ OpenAI ซึ่งสามารถทำงานได้ในระดับเดียวกับนักศึกษาระดับ PhD ในสาขาวิชาที่ยาก เช่น ฟิสิกส์ เคมี และชีววิทยา

การเปลี่ยนแปลงจากการจัดขนาดการฝึกอบรมไปสู่การจัดขนาดการอนุมาน

เพื่อเข้าใจว่าทำไมการเปลี่ยนแปลงนี้จึงสำคัญ เราต้องดูว่า AI ถูกสร้างขึ้นอย่างไรจนถึงตอนนี้ ตามประเพณี “ความฉลาด” ของโมเดลจะถูกกำหนดโดยการฝึกอบรม ซึ่งหมายถึงการลงทุนหลายเดือนและหลายล้านดอลลาร์เพื่อฝึกโมเดลด้วยข้อมูลจำนวนมากผ่าน GPU หลายพันเครื่อง เมื่อการฝึกอบรมเสร็จสิ้น โมเดลจะถูก “แช่แข็ง” เมื่อคุณถามคำถาม มันจะตอบคำถามนั้นเกือบจะทันทีโดยอาศัยรูปแบบที่มันเรียนรู้ไว้แล้ว นี่คือสิ่งที่เรียกว่า การอนุมาน (inference) หรือ การทดสอบ

ปัญหากับวิธีการแบบดั้งเดิมคือโมเดลมีโอกาสเพียงครั้งเดียวในการตอบคำถามให้ถูกต้อง มันประมวลผลคำถามและสร้างโทเค็นต่อไปเรื่อยๆ โดยไม่มีทาง “คิด” หรือ “ตรวจสอบ” ตรรกะของมันเองก่อนที่จะตอบ การปรับขนาดในขณะทดสอบเปลี่ยนแปลงพลวัตนี้ มันทำให้โมเดลสามารถใช้พลังการประมวลผลมากขึ้นในช่วงการอนุมาน

การกำหนดแนวคิดเรื่องการปรับขนาดในขณะทดสอบ

การปรับขนาดในขณะทดสอบ หมายถึงเทคนิคที่ทำให้โมเดล AI สามารถใช้ทรัพยากรการประมวลผลเพิ่มเติมเพื่อประมวลผลคำขอในขณะส่งมอบ ในคำอื่นๆ มันหมายถึงการให้ “เวลาในการคิด” มากขึ้นแก่โมเดล นี่ไม่ใช่เรื่องของการทำให้โมเดลใหญ่ขึ้น แต่เป็นการทำให้โมเดล “คิด” มากขึ้น เมื่อโมเดลใช้การปรับขนาดในขณะทดสอบ มันไม่ได้เพียงแต่ตอบคำถามแรกที่เกิดขึ้นเท่านั้น แต่อาจจะสำรวจเส้นทางต่างๆ ตรวจสอบข้อผิดพลาดในตรรกะของมันเอง และปรับปรุงคำตอบก่อนที่ผู้ใช้จะเห็นมัน

กลไกของกระบวนการให้เหตุผล

มีหลายวิธีที่นักวิจัยบรรลุการปรับขนาดในขณะทดสอบ วิธีการที่พบบ่อยที่สุดหนึ่งวิธีคือ การกระตุ้น Chain of Thought (CoT) แต่ในโมเดลใหม่ๆ วิธีการนี้ถูกสร้างเข้าไปในระบบโดยตรง ไม่ใช่สิ่งที่ผู้ใช้ต้องขอ โมเดลถูกฝึกให้แบ่งปัญหาออกเป็นขั้นตอนที่เล็กและตรรกะ เมื่อทำเช่นนี้ โมเดลสามารถตรวจสอบส่วนต่างๆ ของคำตอบก่อนที่จะไปยังขั้นตอนถัดไป

ทำไมการให้เหตุผลระดับ PhD ต้องการมากกว่าความจำ

สิ่งนี้มีความสำคัญมากเพราะการให้เหตุผลระดับสูงในวิทยาศาสตร์และคณิตศาสตร์ไม่สามารถแก้ไขได้ด้วยความจำเพียงอย่างเดียว ในการสอบ PhD ในฟิสิกส์ คุณไม่สามารถตอบซ้ำข้อเท็จจริงที่คุณอ่านในหนังสือได้ คุณต้องใช้หลักการซับซ้อนกับสถานการณ์ใหม่และไม่เหมือนใคร โมเดลมาตรฐานมักจะ “หลอกลวง” ในสถานการณ์เหล่านี้เพราะพวกมันพยายามคาดการณ์คำถัดไปตามความน่าจะเป็นมากกว่าตรรกะ

การแลกเปลี่ยนระหว่างประสิทธิภาพและต้นทุนการประมวลผล

แม้ว่าการปรับขนาดในขณะทดสอบจะมีพลัง แต่ก็มีค่าใช้จ่ายที่สำคัญ ในวิธีการแบบดั้งเดิม ส่วนแพงที่สุดของ AI คือการฝึกอบรม เมื่อโมเดลถูกใช้งาน ค่าใช้จ่ายจะลดลงและประมวลผลได้เร็วขึ้น แต่ด้วยการปรับขนาดในขณะทดสอบ ค่าใช้จ่ายจะเปลี่ยนไปที่คำขอของผู้ใช้

ผลกระทบต่ออนาคตของปัญญาประดิษฐ์

การเพิ่มขึ้นของการปรับขนาดในขณะทดสอบชี้ให้เห็นว่าเราอาจจะเข้าสู่ยุคใหม่ของการพัฒนา AI มาหลายปีที่ผ่านมา มีความกังวลว่าเราจะหมดข้อมูลคุณภาพสูงของมนุษย์ที่จะฝึกโมเดล หากโมเดลเรียนรู้จากสิ่งที่มนุษย์เขียนไว้เท่านั้น พวกมันอาจจะถึงขีดจำกัด

สรุป

การปรับขนาดในขณะทดสอบเป็นกุญแจสำคัญในการบรรลุความสามารถ AI ที่ขั้นสูง โดยการทำให้โมเดลสามารถใช้ทรัพยากรการประมวลผลมากขึ้นในขณะอนุมาน เราได้ปลดล็อกระดับการทำงานที่คิดว่าจะมาถึงในอนาคต โมเดลเหล่านี้เริ่มแสดงตรรกะที่รู้สึกใกล้เคียงกับมนุษย์มากกว่าการจับคู่รูปแบบแบบง่ายๆ ในอดีต

เมื่อเราเดินหน้าต่อไป ท้าทายจะอยู่ที่การปรับปรุงเทคนิคเหล่านี้ เราต้องทำให้การให้เหตุผลเร็วขึ้นและเข้าถึงได้ง่ายขึ้น ในขณะเดียวกันก็หาสมดุลที่ถูกต้องระหว่าง “การคิดเร็ว” และ “การคิดช้า” ส่วนผสมลับไม่ใช่ขนาดของโมเดลหรือปริมาณข้อมูลที่มันเห็นอีกต่อไป ส่วนผสมลับอยู่ที่ว่าโมเดลใช้เวลาในการคิดอย่างไร สำหรับทุกคนที่ติดตามความก้าวหน้าของ AI มันชัดเจนว่าจุดสนใจได้เปลี่ยนไป การแข่งขันไม่ใช่แค่เรื่องของใครมีโมเดลที่ใหญ่ที่สุด แต่เป็นใครมีโมเดลที่ให้เหตุผลได้ดีที่สุด การเปลี่ยนแปลงนี้มีแนวโน้มที่จะกำหนดความก้าวหน้าในอุตสาหกรรมนี้ใน thập kỷหน้า