สาเปียนต์ อินเทลลิเจนซ์ เปิดตัว HRM-Text โมเดล AI ที่ได้รับแรงบันดาลใจจากสมองเพื่อท้าทายการแข่งขันขนาดใหญ่

ในขณะที่อุตสาหกรรม AI ยังคงลงทุนหลายพันล้านดอลลาร์ในโมเดลภาษาที่ใหญ่ขึ้นและขึ้นไป และศูนย์ข้อมูลขนาดใหญ่มากขึ้น บริษัทวิจัย AI ของสิงคโปร์ สาเปียนต์ อินเทลลิเจนซ์ ได้เลือกแนวทางที่แตกต่างออกไป

บริษัทได้ประกาศเปิดตัว HRM-Text โมเดลภาษาที่มี 1 พันล้านพารามิเตอร์ ซึ่งออกแบบโดยอิงจากสถาปัตยกรรมแบบเรคเคอร์เรนต์ที่ได้รับแรงบันดาลใจจากสมองในการแยกการประมวลผลที่ช้าและเร็ว

แทนที่จะพยายามชนะด้วยขนาดที่ใหญ่กว่า สาเปียนต์ ได้ пози่งตัว HRM-Text เป็นหลักฐานที่ว่าความลึกของการให้เหตุผลและประสิทธิภาพการคำนวณอาจมีความสำคัญมากกว่าจำนวนพารามิเตอร์ในการพัฒนา AI ในระยะต่อไป

การเปิดตัวนี้ยังเป็นส่วนหนึ่งของแนวโน้มที่กว้างขึ้นในอุตสาหกรรม AI ที่มีการตั้งคำถามเกี่ยวกับการขยายขนาดทรานส์ฟอร์เมอร์อย่างไม่มีกำหนดเพื่อให้ได้ความฉลาดที่ทั่วไปมากขึ้น

การเคลื่อนไหวไปสู่การผ่านพ้นจากคู่มือทรานส์ฟอร์เมอร์

โมเดลภาษาที่ใหญ่ส่วนใหญ่ในปัจจุบันใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์ที่ประมวลผลข้อมูลผ่านระบบแบบฟีดฟอร์เวิร์ดที่มุ่งเน้นไปที่การคาดการณ์ตัวถัดไป สาเปียนต์ ได้แนะนำโครงสร้างแบบเรคเคอร์เรนต์ที่มีหลายชั้นในการให้เหตุผลซึ่งโต้ตอบกันภายในก่อนที่จะสร้างผลลัพธ์ใดๆ

บริษัทอธิบายสถาปัตยกรรมนี้ว่าทำงานผ่านสองระบบที่เชื่อมต่อกัน: ระบบ “ผู้ควบคุมที่ช้า” ระดับสูงซึ่งรับผิดชอบในการวางแผนและให้เหตุผลในระดับสูง และ “ผู้ทำงานที่เร็ว” ระดับต่ำซึ่งจัดการการคำนวณที่มีรายละเอียด

สิ่งนี้แตกต่างจากวิธีการ “ช่องของความคิด” ที่ใช้กันอย่างแพร่หลายในระบบ AI ปัจจุบัน ซึ่งการให้เหตุผลถูกแสดงผ่านลำดับข้อความที่ยาวและเห็นได้ HRM-Text ทำการให้เหตุผลส่วนใหญ่ภายในพื้นที่ 潜在ก่อนที่จะสร้างคำตอบ

สาเปียนต์ อ้างว่าโครงสร้างนี้ช่วยให้ระบบที่เล็กกว่าสามารถทำการให้เหตุผลที่ซับซ้อนหลายขั้นตอนได้โดยไม่ต้องอาศัยขนาดโมเดลที่ใหญ่หรือต้นทุนการอนุมานที่มาก

ตามผลลัพธ์มาตรฐานที่บริษัทให้มา HRM-Text ได้รับ 56.2% ใน MATH, 81.9% ใน ARC-Challenge, 82.2% ใน DROP และ 60.7% ใน MMLU แม้จะมีขนาดที่เล็กกว่า

ประสิทธิภาพกลายเป็นสนามรบทางยุทธศาสตร์ของ AI

การเปิดตัวนี้เกิดขึ้นในขณะเดียวกับที่ความกังวลเกี่ยวกับต้นทุนโครงสร้างพื้นฐาน AI การบริโภคพลังงาน และการมีอยู่ของการประมวลผลกำลัง trở thànhประเด็นหลักในอุตสาหกรรม

การฝึกอบรมและใช้ระบบ AI ที่ทันสมัยต้องใช้คลัสเตอร์ GPU ที่มีขนาดใหญ่ ศูนย์ข้อมูลขนาดใหญ่ และการบริโภคพลังงานที่ถูกตรวจสอบอย่างใกล้ชิดโดยรัฐบาลและผู้ให้บริการโครงสร้างพื้นฐาน สาเปียนต์ อ้างว่าความก้าวหน้าในอนาคตอาจมาไม่ใช่จากการขยายขนาดใหญ่ขึ้น แต่จากการเปลี่ยนแปลงโครงสร้างพื้นฐานโดยพื้นฐาน

บริษัทอ้างว่า HRM-Text สามารถฝึกอบรมได้ภายในหนึ่งวันโดยใช้ GPU 16 ชิ้นบนเครื่องสองเครื่องด้วยต้นทุนประมาณ 1,000 ดอลลาร์ เมื่อเปรียบเทียบกับโมเดลภาษาที่มีขนาดใหญ่ที่สุดซึ่งต้องใช้งบประมาณการฝึกอบรมหลายร้อยล้านดอลลาร์

โปรไฟล์การใช้งานที่กะทัดรัดของโมเดลนี้ก็น่าสนใจเช่นกัน เมื่อใช้การปรับขนาด int4 HRM-Text จะใช้พื้นที่ประมาณ 0.6 GiB ทำให้สามารถใช้งานบนสมาร์ทโฟนและอุปกรณ์เอดจ์ได้จริง

การเน้นไปที่ระบบที่เล็กกว่าและสามารถใช้งานได้มากขึ้นอาจกลายเป็นสิ่งสำคัญมากขึ้นเมื่อองค์กรต่างๆ พยายามที่จะนำ AI ไปใช้บนอุปกรณ์ การอนุมานที่มีความเป็นส่วนตัว และระบบการให้เหตุผลออฟไลน์ที่ไม่พึ่งพาโครงสร้างพื้นฐานคลาวด์

การผลักดันในวงกว้างไปสู่ AI ที่ได้รับแรงบันดาลใจจากสมอง

งานของสาเปียนต์ สะท้อนถึงการเคลื่อนไหวที่กว้างขึ้นในการวิจัย AI ซึ่งกำลังมองหาทางเลือกอื่น ๆ นอกเหนือจากการขยายขนาดทรานส์ฟอร์เมอร์แบบดั้งเดิม

สถาปัตยกรรม HRM ของบริษัทได้รับแรงบันดาลใจจากแนวคิดด้านประสาทวิทยาศาสตร์ เช่น การประมวลผลแบบลำดับชั้น การแยกแยะเวลา และการคำนวณแบบเรคเคอร์เรนต์

บนเว็บไซต์ของตน สาเปียนต์ อธิบายวัตถุประสงค์ระยะยาวของตนในการส่งเสริมการสร้าง AI ที่มีการให้เหตุผล การวางแผน และการเรียนรู้แบบปรับเปลี่ยนได้ แทนที่จะพึ่งพาการจดจำทางสถิติเป็นหลัก

ทีมวิจัยของบริษัทประกอบด้วยผู้มีส่วนร่วมในอดีตจากองค์กรต่างๆ เช่น DeepMind, DeepSeek และ xAI รวมถึงนักวิจัยที่เชื่อมโยงกับสถาบัน เช่น MIT, Carnegie Mellon University, Tsinghua University และ University of Cambridge

รุ่นก่อนหน้าของโมเดลการให้เหตุผลแบบลำดับชั้นของสาเปียนต์ ได้รับความสนใจในวงการวิจัย AI แล้วสำหรับการแสดงผลการให้เหตุผลที่แข็งแกร่งโดยใช้จำนวนพารามิเตอร์ที่ลดลงอย่างมากเมื่อเทียบกับโมเดลภาษาที่ใหญ่แบบดั้งเดิม

การเปลี่ยนแปลงวิธีการวัดความก้าวหน้าของ AI

ไม่ว่าสถาปัตยกรรมอย่าง HRM จะสามารถแข่งขันกับโมเดลขนาดใหญ่ที่สุดได้หรือไม่นั้นยังคงเป็นคำถามที่เปิดกว้าง อุตสาหกรรม AI ได้เห็นทางเลือกที่มีแนวโน้มหลายอย่างเกิดขึ้นก่อนที่จะถูกแซงโดยเศรษฐกิจของขนาด

อย่างไรก็ตาม การเปิดตัวของสาเปียนต์ เกิดขึ้นในขณะเดียวกับที่อุตสาหกรรมกำลังเผชิญกับข้อจำกัดของการขยายขนาดอย่างไม่มีกำหนด การขาดแคลน GPU การใช้พลังงานที่มากเกินไป ต้นทุนการอนุมาน และผลตอบแทนลดลงจากชุดข้อมูลที่ใหญ่ขึ้น ทำให้นักวิจัยต้อง重新พิจารณาความคิดที่ได้ครอบงำการพัฒนา AI ในช่วงหลายปีที่ผ่านมา

หากระบบอย่าง HRM-Text ยังคงปรับปรุงต่อไป ระบบเหล่านี้อาจเปลี่ยนแปลงวิธีการวัดความก้าวหน้าของ AI โดยเปลี่ยนความสนใจจากจำนวนพารามิเตอร์ไปสู่ประสิทธิภาพ ความลึกในการให้เหตุผล และความสามารถในการปรับตัว

สาเปียนต์ ได้เผยแพร่ HRM-Text เป็นโอเพ่นซอร์สผ่าน GitHub เป็นส่วนหนึ่งของการเปิดตัว