ความแม่นยำลดลงเมื่อภาษาใหญ่โตในโมเดลภาษาขนาดใหญ่

การวิจัยใหม่พบว่าการบังคับให้โมเดลภาษาขนาดใหญ่ให้คำตอบที่สั้นลงอย่างมีนัยสำคัญจะช่วยปรับปรุงความแม่นยำและคุณภาพของคำตอบ

ใครก็ตามที่เคยพยายามหยุดให้แชทบอท ‘พูดมาก’ จะรู้จักข้อสรุปของการวิจัยใหม่นี้: การบังคับให้ AI ให้คำตอบที่สั้นลงจะทำให้คำตอบมีความแม่นยำมากขึ้น

การวิจัยเพื่อตรวจสอบสาเหตุของปัญหาที่ทำให้โมเดล AI ขนาดใหญ่ทำงานได้ไม่ดีในบางกรณี (ที่เรียกว่า การปรับขนาดผกผัน) พบว่าการบังคับให้โมเดลภาษาขนาดใหญ่ 31 รุ่นให้คำตอบที่สั้นลงสามารถปรับปรุงความแม่นยำของคำตอบได้มากถึง 26.3%:

‘ผลการวิจัยให้หลักฐานเชิงสาเหตุ: การจำกัดความยาวคำตอบช่วยปรับปรุงความแม่นยำของโมเดลขนาดใหญ่โดย 26.3 เปอร์เซ็นต์ และลดช่องว่างการปรับขนาดผกผันลง 67% (จาก 44.2% เป็น 14.8%, การทดสอบ t จับคู่: t = 7.80, p < 0.0001)'

การพูดมากเกินไปเป็นข้อร้องเรียนที่พบบ่อยในหมู่ผู้ใช้ปลายทาง ไม่ใช่เฉพาะผู้ที่ใช้โมเดลเชิงพาณิชย์ เช่น ChatGPT ซึ่งฟอรัมสนับสนุน มีหัวข้อ นี้ บ่อยครั้ง

โดเมนที่ได้รับผลกระทบมากที่สุดจากการแก้ไขปัญหาการพูดมากเกินไปคือ คณิตศาสตร์ โดยที่ AI ที่ทดสอบถูกจำกัดให้ตอบคำตอบภายใน 50 คำหรือน้อยกว่า สำหรับ การอ่านเพื่อความเข้าใจ โมเดลเหล่านี้ถูกจำกัดให้ตอบคำตอบภายใน 10 คำ

การวิจัยนี้กำหนดให้ AI มีแนวโน้มที่จะพูดมากเกินไปเป็น การคิดมากเกินไป ซึ่งสารหลักไม่เพียงแต่ถูกบดบังด้วยคำพูดมากเกินไป แต่ยังถูกทำลายโดยคำพูดมากเกินไปอีกด้วย โมเดลที่เล็กกว่านั้นจะไม่ต้องการการแก้ไขปัญหานี้หรือจะไม่ทำงาน

การวิจัยสรุปว่าไม่มีอะไร ทางสถาปัตยกรรม ที่ต้องแก้ไขเพื่อใช้คำตอบที่สั้นลงอย่างเป็นระบบ แต่ในการใช้งานจริง คำตอบที่สั้นลงอาจต้องถูกกำหนดซ้ำๆ ในเซสชันของผู้ใช้ ในขณะที่ระบบที่ใช้คำตอบที่สั้นลงโดยอัตโนมัติอาจต้องถูกนำไปใช้บนแพลตฟอร์ม เช่น ChatGPT

ลมพายุ

ไม่มีอะไรที่อธิบายได้ว่าทำไมโมเดลขนาดใหญ่จึงมีแนวโน้มที่จะพูดมากเกินไป เนื่องจากสิ่งนี้ส่งผลกระทบต่อโมเดลที่เปิดกว้างเช่นกัน การวิจัยนี้ชี้ให้เห็นว่าโปรโตคอลและแนวปฏิบัติทั่วไปในการเรียนรู้แบบเสริมจากข้อมูลของมนุษย์ (RLHF) อาจให้คำอธิบายได้*:

‘ต้นกำเนิดที่เป็นไปได้คือการฝึกอบรม RLHF ซึ่งผู้บันทึกข้อมูลของมนุษย์มอบรางวัลความครอบคลุมที่ไม่สมส่วนในโมเดลขนาดใหญ่ที่มีความสามารถในการตอบสนองสัญญาณความยาว-รางวัลที่มากกว่า – สอดคล้องกับความแตกต่างของความยาวที่มากกว่าในแบบจำลองที่ปรับให้เหมาะสมกับการสอนมากกว่าแบบจำลองพื้นฐาน’

‘งานก่อนหน้านี้ระบุความลำเอียงของความยาวที่เป็นระบบใน รางวัล โมเดล โดยที่ผู้บันทึกข้อมูลของมนุษย์ยึดความยาวกับคุณภาพไว้’

‘โมเดลขนาดใหญ่ที่มีความสามารถในการตอบสนองสัญญาณความยาว-รางวัลที่มากกว่าอาจยึดการสร้างคำตอบที่ยาวมากขึ้นมากกว่าโมเดลขนาดเล็ก ทำให้เกิดการคิดมากเกินไปที่ขึ้นอยู่กับขนาดที่เราเห็น’

ในมนุษย์ การพูดมากเกินไปอาจเกิดขึ้น เพื่อเติมช่องว่าง หรือเพื่อปกปิดความรู้สึกไม่สบายใจ เนื่องจาก โรคจิต หรือเพื่อปกปิดการขาดความรู้ ในทางกลับกัน AI จะได้รับอิทธิพลจากปัจจัยเหล่านี้ผ่านการดูดซึมข้อมูลการฝึกอบรมที่สะท้อนหรือแสดงลักษณะเหล่านี้

ในคอร์ปัสของเซตข้อมูล มีแรงจูงใจอื่นๆ สำหรับการตอบคำถามที่ยาว เช่น แรงจูงใจด้าน SEO ในการผลิตเนื้อหาที่ยาวขึ้น ตัวอย่างเช่น ในโพสต์สูตรอาหาร โดยที่ความยาวมักจะถูกมองว่าเป็น ความยาวที่ไม่ถูกต้อง ที่เกี่ยวข้องกับอำนาจ

สิ่งที่ไม่สามารถละเลยได้คือแพลตฟอร์มที่ใช้ API ที่ได้รับแรงจูงใจในการผลักดันผู้ใช้ให้ไปสู่ระดับการสมัครสมาชิกที่สูงขึ้นและแพงกว่า ไม่ว่าจะโดยการสนับสนุนหรือไม่สนับสนุนการให้คำตอบที่ยาวเกินไป เนื่องจากสิ่งนี้ เพิ่มการใช้โทเค็น ได้อย่างง่ายดาย โดยไม่ต้องมีการให้เหตุผลหรือ การเรียกซ้ำ หรือ การสร้างข้อความใหม่^†

การวิจัยใหม่นี้มีชื่อเรื่องว่า การจำกัดความยาวคำตอบกลับลำดับความสำคัญของโมเดลภาษา และมาจากภาควิชาวิทยาการคอมพิวเตอร์ สถาบันเทคนิคสวีเดน ในชัตตอกรัม ประเทศบังคลาเทศ

วิธีการ

ในการทดสอบทฤษฎีของกระดาษนี้ โมเดลภาษา 31 รุ่นถูกประเมิน – มีจำนวนมากเกินกว่าที่จะแสดงเป็นข้อความที่นี่ แต่แสดงในภาพด้านล่าง:

โมเดลภาษาขนาดใหญ่ที่ทดสอบในหลายส่วนของการทดลองสำหรับกระดาษใหม่

โมเดลเหล่านี้ถูกประเมินกับชุดข้อมูลมาตรฐาน 5 ชุด: GSM8K สำหรับการให้เหตุผลทางคณิตศาสตร์; BoolQ สำหรับการอ่านเพื่อความเข้าใจ; CommonsenseQA สำหรับการให้เหตุผลทั่วไป; ARC-Easy สำหรับคำถามทางวิทยาศาสตร์; และ MMLU-STEM สำหรับความรู้ทางวิทยาศาสตร์

คำตอบถูกสร้างขึ้นโดยใช้ การถอดรหัสแบบ Greedy เพื่อให้แน่ใจว่าผลลัพธ์เป็น ผลลัพธ์ที่แน่นอน จากนั้นจึงถูกดึงออกโดยใช้กฎที่เฉพาะเจาะจงสำหรับแต่ละงาน โดยมีความแม่นยำวัดเป็นส่วนแบ่งของคำตอบที่ถูกต้องเมื่อเทียบกับ ข้อมูลที่ถูกต้อง

โมเดลถูกแบ่งออกเป็นขนาด โดยที่โมเดลที่มีขนาดต่ำกว่า 10 พันล้านพารามิเตอร์ถูกมองว่าเป็น ‘เล็ก’ และโมเดลที่มีขนาดมากกว่า 70 พันล้านพารามิเตอร์ถูกมองว่าเป็น ‘ใหญ่’ ตามช่องว่างการทำงานที่สังเกตได้

การปรับขนาดผกผันถูก量化โดยการเปรียบเทียบผลการทำงานของกลุ่มเหล่านี้ในแต่ละปัญหา โดยทำเครื่องหมายกรณีที่โมเดลขนาดเล็กทำงานได้ดีกว่าโมเดลขนาดใหญ่; ขนาดผลกระทบทางสถิติถูกใช้เพื่อยืนยันว่าช่องว่างเหล่านี้สะท้อนถึงความแตกต่างที่มีความหมายและสม่ำเสมอ ไม่ใช่แค่ความผิดพลาด

การกำจัดการเรียกคืน

เพื่อกำจัดความเป็นไปได้ที่โมเดลเหล่านี้เพียงแค่ เรียกคืนข้อมูลการฝึกอบรม การตรวจสอบสามครั้งถูกดำเนินการเพื่อดูว่าคำตอบมีความหลากหลายแค่ไหน; ว่าความยาวของคำตอบมีการเปลี่ยนแปลงแค่ไหน; และว่าข้อผิดพลาดเกิดขึ้นอย่างไร หากโมเดลเหล่านี้พึ่งพาการเรียกคืนรูปแบบที่จดจำไว้ คำตอบจะเหมือนกันหรือตามรูปแบบที่แน่นอน; แต่คำตอบส่วนใหญ่จะไม่เหมือนกัน และมีความยาวที่แตกต่างกัน

ข้อผิดพลาดยังถูกตรวจสอบโดยตรง โดยส่วนใหญ่จะอยู่ในรูปแบบของ คำอธิบายที่ไม่ถูกต้องและยาว มากกว่าคำตอบที่สั้นและหลีกเลี่ยง – ซึ่งบ่งชี้ว่าโมเดลเหล่านี้กำลังสร้างการให้เหตุผลจริงๆ ไม่ใช่แค่เรียกคืนคำตอบที่จดจำไว้

ข้อมูลและการทดสอบ

การทดสอบสำหรับคำถามแต่ละคำถามมากกว่าผลลัพธ์โดยรวม พบว่าชุดข้อมูลมาตรฐานจำนวนมากไม่ได้ให้ข้อมูล gì: 27.1% ไม่สามารถแยกโมเดลเหล่านี้ออกจากกันได้ เนื่องจากทุกๆ ระบบที่ทดสอบผ่านหรือล้มเหลวทั้งหมด จึงไม่มีสัญญาณใดๆ เกี่ยวกับผลการทำงานที่แตกต่างกัน:

การแยกปัญหาในระดับปัญหาในห้าชุดข้อมูลมาตรฐานแสดงให้เห็นว่าส่วนแบ่งที่สำคัญของงานไม่สามารถแยกโมเดลเหล่านี้ออกจากกันได้ ในขณะที่ส่วนแบ่งที่น้อยกว่าแสดงการปรับขนาดผกผัน โดยที่โมเดลขนาดเล็กทำงานได้ดีกว่าโมเดลขนาดใหญ่ การกระจายตัวทั่วทั้ง 1,485 ปัญหาแสดงให้เห็นว่า 7.7% แสดงการปรับขนาดผกผัน แหล่งที่มา

ในบรรดาปัญหาเหล่านั้นที่สามารถแยกโมเดลเหล่านี้ออกจากกันได้ ส่วนใหญ่จะแสดงผลการทำงานตามที่คาดไว้ โดยที่โมเดลขนาดใหญ่ทำงานได้ดีกว่า แต่ส่วนน้อยแสดงรูปแบบที่ตรงกันข้าม โดยที่โมเดลขนาดเล็กทำงานได้ดีกว่า โมเดลขนาดใหญ่ ในทุกปัญหา การปรับขนาดผกผันปรากฏขึ้น 7.7% ซึ่งบ่งชี้ว่าผลกระทบนี้ไม่ใช่ผลกระทบรอง

การดูภายในแต่ละครอบครัวของโมเดล พบว่าโมเดลขนาดใหญ่ทำงานได้ไม่ดีกว่าโมเดลขนาดเล็กในหลายๆ ปัญหา ซึ่งบ่งชี้ว่าการลดลงอาจเกี่ยวข้องกับการปรับขนาดมากกว่าการออกแบบ

ผลการวิจัยยังชี้ให้เห็นว่ามีขีดจำกัดสำหรับแต่ละปัญหา โดยที่การเพิ่มขนาดโมเดลเริ่มส่งผลเสียต่อผลการทำงาน ซึ่งแสดงให้เห็นว่าโมเดลขนาดใหญ่ไม่ได้หมายความว่าจะได้ผลลัพธ์ที่ดีกว่าเสมอไป

การปรับขนาดผกผัน

ทั่วทั้งห้าชุดข้อมูลมาตรฐาน พบว่ามี 115 ปัญหาโดยที่โมเดลขนาดเล็กทำงานได้ดีกว่าโมเดลขนาดใหญ่ ซึ่งประกอบขึ้นเป็น 7.7% ของทั้งหมด 1,485 ปัญหา โดยแสดงให้เห็นว่าการปรับขนาดผกผันไม่ใช่ปรากฏการณ์ที่หายาก

ในความเป็นจริง ผลกระทบนี้ปรากฏขึ้นใน ทุก ชุดข้อมูล: มากที่สุดใน BoolQ และน้อยที่สุดใน CommonsenseQA, ARC-Easy, GSM8K และ MMLU-STEM ซึ่งบ่งชี้ว่าผลกระทบนี้เป็นเรื่องทั่วไป แต่แตกต่างกันไปตามปัญหา:

การปรับขนาดผกผันปรากฏขึ้นทั้งห้าชุดข้อมูลมาตรฐาน โดยมีช่วงตั้งแต่ 3.9% ใน MMLU-STEM ถึง 11.3% ใน BoolQ โดยมี 115 ปัญหา โดยเฉลี่ยช่องว่างการทำงานที่ชี้ให้เห็นถึงโมเดลขนาดเล็กคือ 28.4 เปอร์เซ็นต์ ความแม่นยำลดลงเมื่อขนาดโมเดลเพิ่มขึ้น โดยที่โมเดลขนาดเล็กได้ 66.1% ในขณะที่โมเดลขนาดใหญ่ได้ 41.5%

ขนาดของช่องว่างนี้มีความสำคัญ โดยที่โมเดลขนาดเล็กทำงานได้ดีกว่าโดยเฉลี่ย 28.4 เปอร์เซ็นต์ และทุกกรณีแสดงให้เห็นถึงความได้เปรียบในทางเดียวกัน โดยชี้ให้เห็นว่ามีการลดลงอย่างต่อเนื่องในการทำงาน ไม่ใช่แค่ข้อผิดพลาดที่เกิดขึ้นเป็นครั้งคราวหรือไม่สม่ำเสมอ

รูปแบบเดียวกันนี้ยังคงอยู่ในครอบครัวโมเดลที่แตกต่างกัน รวมถึง Llama, Qwen, Gemma และ Mistral โดยที่โมเดลขนาดใหญ่ทำงานได้ไม่ดีกว่าโมเดลขนาดเล็ก โดยที่ความแม่นยำมักจะลดลงเมื่อขนาดโมเดลเพิ่มขึ้นในหลายๆ ปัญหา

ช่องว่างระหว่างโมเดลขนาดเล็กและขนาดใหญ่กว้างพอที่จะไม่สามารถอธิบายได้ด้วยความบังเอิญ และเนื่องจากรูปแบบเดียวกันนี้ปรากฏขึ้นในหลายชุดข้อมูลมาตรฐาน ปัญหา และครอบครัวโมเดล การปรับขนาดผกผันจึงปรากฏขึ้นเป็นผลกระทบที่สม่ำเสมอ ไม่ใช่ผลกระทบรอง

การดูภายในครอบครัวโมเดลแต่ละตัว พบว่าโมเดลขนาดใหญ่ทำงานได้ไม่ดีกว่าโมเดลขนาดเล็กในหลายๆ ปัญหา ซึ่งบ่งชี้ว่าการลดลงอาจเกี่ยวข้องกับการปรับขนาดมากกว่าการออกแบบ

ผลการวิจัยยังชี้ให้เห็นว่ามีขีดจำกัดสำหรับแต่ละปัญหา โดยที่การเพิ่มขนาดโมเดลเริ่มส่งผลเสียต่อผลการทำงาน ซึ่งแสดงให้เห็นว่าโมเดลขนาดใหญ่ไม่ได้หมายความว่าจะได้ผลลัพธ์ที่ดีกว่าเสมอไป

การตรวจสอบการคิดมากเกินไป

หลังจากที่ได้กำหนดแล้วว่าโมเดลขนาดใหญ่ทำงานได้ไม่ดีในบางโดเมน การวิเคราะห์จะหันไปสู่การตรวจสอบว่าทำไมสิ่งนี้จึงเกิดขึ้น โดยเสนอแนะว่าปัญหาไม่ใช่การขาดความสามารถ แต่เป็นการให้คำอธิบายมากเกินไป – กล่าวคือ กรณีที่คำตอบที่ยาวขึ้นเริ่ม บดบังการให้เหตุผลที่ถูกต้อง

ทั่วทั้งการวิจัย พบว่าคำตอบที่ยาวขึ้นเชื่อมโยงกับความแม่นยำที่ต่ำลงในหลายปัญหา โดยที่โมเดลขนาดใหญ่และเล็กสร้างขั้นตอนการให้เหตุผลที่คล้ายกัน แต่ไม่ใช่จำนวนการให้เหตุผลที่ทำได้ แต่เป็นวิธีการแสดงออก:

คำตอบที่สั้นลงปรับปรุงผลการทำงานของโมเดลขนาดใหญ่และลดช่องว่างกับโมเดลขนาดเล็ก โดยลดความแตกต่างจาก 44.2 เปอร์เซ็นต์เป็น 14.8 (และในบางกรณีกลับด้าน) ในขณะที่รูปแบบคำตอบโดยตรงทำให้ช่องว่างนี้แคบลงยิ่งขึ้น ผลลัพธ์ที่ดีที่สุดปรากฏใน GSM8K และ MMLU-STEM โดยที่อันดับเปลี่ยนไปเป็นโมเดลขนาดใหญ่ และการตรวจสอบความยาวคำตอบยืนยันว่าการแทรกแซงนี้ได้ผล โดยที่ผลลัพธ์ลดลงจากประมาณ 197 โทเค็นเป็นน้อยกว่า 80 โทเค็น ซึ่งเชื่อมโยงความยาวที่ลดลงกับความแม่นยำที่ดีขึ้น

เมื่อคำตอบถูกบังคับให้สั้นลง โมเดลขนาดใหญ่ปรับปรุงผลการทำงานอย่างมีนัยสำคัญ และในบางกรณีกลับด้านความแตกต่าง ผลกระทบนี้แตกต่างกันไปตามปัญหา โดยที่บางชุดข้อมูลมาตรฐานได้รับประโยชน์อย่างมากจากคำตอบที่สั้นลง ในขณะที่ชุดข้อมูลอื่นๆ ต้องการการอธิบายที่ยาวขึ้น

การวิเคราะห์เพิ่มเติมพบว่าโมเดลขนาดใหญ่มักจะสร้างผลลัพธ์ที่ยาวขึ้นโดยรวม โดยใช้ขั้นตอนการให้เหตุผลที่น้อยกว่าเล็กน้อย ซึ่งบ่งชี้ถึงรูปแบบการให้เหตุผลที่กระจายและไม่มีโครงสร้าง

ในทางกลับกัน โมเดลขนาดเล็กให้คำตอบที่สั้นและตรงไปตรงมา ซึ่งบ่งชี้ว่า วิธีการแสดงออก มากกว่าจำนวนการให้เหตุผลที่ทำได้ ซึ่งเป็นตัวขับเคลื่อนการลดลงของผลการทำงาน

ผู้เขียนสรุปโดยทั่วไปว่าการจำกัดความยาวคำตอบช่วยให้ความแม่นยำดีขึ้น และพิจารณาว่าสิ่งนี้อาจกลายเป็นคุณลักษณะพื้นฐานในโมเดลภาษา ไม่ใช่แค่การจำกัดที่ใช้ซ้ำๆ โดยผู้ใช้ซึ่งไม่คงอยู่ข้ามเซสชัน; และพวกเขายังระบุด้วยว่า:

‘การจำกัดความยาวช่วยให้โมเดลขนาดใหญ่ปรับปรุงผลการทำงานได้อย่างมาก ในขณะที่ไม่ส่งผลกระทบต่อโมเดลขนาดเล็กมากนัก’

‘หากความยาวไม่ใช่สาเหตุของปัญหา การเปลี่ยนแปลงความแม่นยำแบบสม่ำเสมอก็จะคาดหวังได้ในทั้งสองขนาดของโมเดล การตอบสนองที่แตกต่างกันของโมเดลขนาดใหญ่และเล็กยืนยันว่าการคิดมากเกินไปเป็นรูปแบบการทำงานที่ล้มเหลวที่ขึ้นอยู่กับขนาด ไม่ใช่ผลกระทบของความยากของงาน’

สรุป

นอกเหนือจากโมเดลที่เปิดกว้างที่นักวิจัยทดสอบแล้ว ปัญหาเรื่องความยาวคำตอบที่มากเกินไปดูเหมือนจะเกิดขึ้นบ่อยในหลายๆ โมเดลหลักๆ นอกเหนือจาก ChatGPT เช่น Claude, Gemini และ Grok

ไม่ว่าแพลตฟอร์มเหล่านี้จะเพิกเฉยต่อปัญหาเรื่องความยาวคำตอบที่มากเกินไปหรือไม่ เนื่องจากสิ่งนี้เพิ่มการใช้โทเค็นและกระตุ้นให้ผู้ใช้ไปสู่ระดับการสมัครสมาชิกที่สูงกว่าและแพงกว่า แต่ก็ไม่สมเหตุสมผลที่จะยอมรับการลดลงของความแม่นยำที่ตามมา

จะน่าสนใจที่จะเห็นว่าสามารถพัฒนาแนวทางเชิงประจักษ์ได้หรือไม่เพื่อกำหนดแหล่งที่มาของปัญหานี้ได้อย่างแน่นอน ใครก็ตามที่เคยพยายามให้แชทบอทพูดคุยแทนที่จะตอบคำถามที่ยาวและซับซ้อนจะรู้ว่าโมเดลนั้นได้รับการฝึกอบรมจากคู่มือผู้ใช้ ‘ทั้งหมดในหนึ่ง’ และ ‘วิธีแก้ปัญหา’ ที่ยอมรับแล้วในข้อมูลการฝึกอบรม

จะน่าสนใจที่จะเห็นว่าโมเดลที่ฝึกอบรมโดยเฉพาะจากการสนทนาทีละขั้นตอนสามารถหลีกเลี่ยงการให้คำตอบที่ยาวและสรุปได้หรือไม่ อย่างไรก็ตาม ดูเหมือนว่าจะต้องมีการวางกรอบหรือการกรองบางอย่างในการฝึกอบรมโมเดลเพื่อให้โมเดลให้ความสำคัญกับคำตอบที่ตัดสินใจโดยตรง ไม่ใช่แค่เนื้อหาที่นำหน้ามา

เนื่องจากข้อมูลที่เหมาะสมดูเหมือนจะหายาก อาจเป็นวิธีเดียวที่จะก้าวหน้าด้วยแนวทางนี้คือผ่าน ข้อมูลสังเคราะห์ โดยที่ข้อสรุป ‘ที่ประกอบกัน’ ถูกแยกออกเป็นการสนทนา – อันที่จริงในลักษณะเดียวกับที่ พอดแคสต์ AI ของ Google NotebookLM สามารถตีความจากข้อความธรรมดาได้

* การแปลงอ้างอิงในบรรทัดของฉันเป็นลิงก์

^† แต่ เราต้องซื่อสัตย์ ว่าความแตกต่างระหว่างต้นทุนการให้บริการ AI ที่แท้จริงและค่าบริการสมัครสมาชิกในปัจจุบันยังคงมากเกินไป ซึ่งจะทำให้เสียชื่อเสียงของผู้ใช้โดยไม่แก้ไขปัญหาทางเศรษฐกิจที่รุนแรงในระยะนี้ของ ‘การเปลี่ยนแปลง’ และ ‘การรวม’ ของ AI

เผยแพร่ครั้งแรกวันอาทิตย์ 5 เมษายน 2026