กำแพง GPU กำลังแตก: การปฏิวัติที่ไม่เห็นในสถาปัตยกรรมหลัง Transformer

ในช่วงห้าปีที่ผ่านมา อุตสาหกรรมปัญญาประดิษฐ์ได้รับการยอมรับอย่างกว้างขวางว่าเป็นหนึ่งคำที่มีชื่อเสียงคือ Transformer ตั้งแต่การเผยแพร่เอกสาร “Attention Is All You Need” ในปี 2017 สถาปัตยกรรมนี้ได้ครอบงำสาขานี้ ตั้งแต่ GPT ถึง Claude โมเดลที่สร้างความน่าสนใจส่วนใหญ่นั้นพึ่งพากระบวนการ self-attention ที่ซ่อนอยู่ เราได้ถือว่าเส้นทางสู่ AI ที่ดีขึ้นคือการเพิ่มขนาดของโมเดลให้ใหญ่ขึ้น ซึ่งหมายความว่าการฝึกโมเดล Transformer ที่ใหญ่ขึ้นโดยใช้ข้อมูลมากขึ้นบนคลัสเตอร์ GPU ที่ใหญ่ขึ้น

แม้ว่าความเชื่อนี้จะนำไปสู่การผ่านพ้นไปหลายครั้ง แต่ก็ถึงขีดจำกัดแล้ว เรากำลังเผชิญกับ “กำแพง GPU” ซึ่งเป็นอุปสรรคไม่ใช่แค่พลังการคำนวณเท่านั้น แต่ยังรวมถึงความกว้างของแบนด์วิธและความยั่งยืนทางเศรษฐกิจด้วย ในขณะที่โลกกำลังให้ความสนใจในการแข่งขันโมเดลที่มีพารามิเตอร์หนึ่งล้านล้าน ตัวการเปลี่ยนแปลงที่สำคัญกำลังเกิดขึ้นในห้องปฏิบัติการวิจัย สถาปัตยกรรม “หลัง Transformer” ใหม่กำลังเกิดขึ้นเพื่อทำลายข้อจำกัดของพาราได้ม์ปัจจุบัน การเปลี่ยนแปลงนี้สัญญาว่าจะทำให้ AI มีประสิทธิภาพมากขึ้น สามารถเข้าถึงได้ และสามารถให้เหตุผลเกี่ยวกับบริบทที่ไม่มีที่สิ้นสุด

กำแพงซิลิคอน: ทำไม Transformer ถึงติดกำแพง

เพื่อเข้าใจว่าทำไมเราต้องการการเปลี่ยนแปลง เราต้องเข้าใจก่อนว่าปัญหาคอขวดของระบอบปัจจุบันคืออะไร Transformer มีพลังมาก แต่ก็มีประสิทธิภาพต่ำในบางด้าน จุดศูนย์กลางของความสามารถของมันอยู่ที่ “กลไกการให้ความสนใจ” ซึ่งช่วยให้โมเดลสามารถมองเห็นทุกตัวในลำดับและคำนวณความสัมพันธ์ของมันกับทุกตัวอื่น ๆ

อย่างไรก็ตาม ความสามารถนี้มีข้อเสียเปรียบของการเพิ่มขึ้นแบบ二乗 หากคุณเพิ่มความยาวของเอกสารที่คุณต้องการให้ AI อ่าน การคำนวณที่ต้องการไม่เพียงเพิ่มขึ้นสองเท่า แต่เพิ่มขึ้นสี่เท่า เมื่อเราต้องการสร้างโมเดล “บริบทที่ไม่มีที่สิ้นสุด” ที่สามารถอ่านห้องสมุดหรือฐานโค้ดทั้งหมดได้ การคำนวณที่ต้องการจะสูงมาก

ปัญหาที่ใกล้จะเกิดขึ้นมากกว่านั้นคือเรื่องของหน่วยความจำ โดยเฉพาะ “KV Cache” (Key-Value Cache) เพื่อให้สามารถสร้างข้อความได้อย่างคล่องแคล่ว Transformer ต้องเก็บประวัติการทำงานที่เพิ่งทำไปในหน่วยความจำที่มีความเร็วสูง (VRAM) ของ GPU เมื่อการสนทนายาวขึ้น แคชจะบวมขึ้นและกินเนื้อที่มากเพียงเพื่อจดจำสิ่งที่เกิดขึ้นสามย่อหน้าก่อนหน้านี้

การปฏิวัติที่ไม่เห็น

ในขณะที่การวิจัยหลักได้ให้ความสนใจกับ LLMs กลุ่มนักวิจัยได้กลับมาที่แนวคิดเก่าแก่: Recurrent Neural Networks (RNNs) ก่อนที่จะมาถึง Transformer RNNs เป็นมาตรฐานสำหรับการประมวลผลภาษา โดยประมวลผลข้อความแบบลำดับ คำต่อคำ โดยอัปเดตสถานะภายในที่ซ่อนอยู่เมื่อพวกมันผ่านไป RNNs มีประสิทธิภาพสูงมากเพราะไม่ต้องมองย้อนกลับไปที่ประวัติทั้งหมด แต่แค่ต้องรักษา “แก่น” ของมันไว้ในหน่วยความจำ

RNNs ล้มเหลวเพราะไม่สามารถจัดการกับการพึ่งพาที่ยาวได้ พวกมันจะ “ลืม” จุดเริ่มต้นของประโยคเมื่อถึงจุดสิ้นสุด พวกมัน cũngช้าในการฝึกเพราะไม่สามารถขนานการประมวลผลได้ ซึ่งหมายความว่าคุณต้องประมวลผลคำ A ก่อนที่จะประมวลผลคำ B Transformer ได้แก้ปัญหานี้โดยการประมวลผลทุกอย่างพร้อมกัน (การขนานการประมวลผล) และเก็บทุกอย่างไว้ในหน่วยความจำ (การให้ความสนใจ)

ตอนนี้ เรากำลังเห็นการเกิดขึ้นของสถาปัตยกรรมที่รวมทั้งสองโลกเข้าด้วยกัน สถาปัตยกรรมเหล่านี้เรียกว่า State Space Models (SSMs) พวกมันให้ความเร็วในการฝึกของ Transformer (การขนานการประมวลผล) แต่มีประสิทธิภาพในการอนุมานของ RNNs (การเพิ่มขึ้นแบบเส้นตรง)

การกลับมาของการเกิดซ้ำ

การผ่านพ้นไปของเทคนิคที่อยู่เบื้องหลัง Mamba คือ “การคัดเลือก” การพยายามก่อนหน้านี้ในการทันสมัย化 RNNs ล้มเหลวเพราะพวกมันแข็งกระด้าง พวกมันบีบอัดข้อมูลเท่าๆ กัน ไม่ว่าจะเป็นข้อมูลสำคัญหรือเสียงรบกวน Mamba นำเสนอวิธีการที่ช่วยให้โมเดลสามารถตัดสินใจได้ว่าจะจดจำหรือลืมสิ่งใดเมื่อได้รับข้อมูล

หากโมเดลได้รับข้อมูลสำคัญ เช่น การกำหนดตัวแปรในบล็อกโค้ด มันจะ “เปิดประตู” และเขียนมันเข้าไปในสถานะของมันอย่างแข็งแกร่ง หากมันเผชิญกับคำที่ไม่เกี่ยวข้องหรือเสียงรบกวน มันจะปิดประตูและรักษาความจุหน่วยความจำที่จำกัดสำหรับสิ่งที่สำคัญ

การคัดเลือกนี้ช่วยแก้ปัญหา “การลืม” ที่ท้าทาย RNNs เก่า ในหลายการทดสอบ โมเดลที่ใช้ Mamba มีประสิทธิภาพเทียบเท่ากับ Transformer ที่มีขนาดเท่าเดิม แต่ทำงานเร็วขึ้น 5 เท่าในการอนุมาน นอกจากนี้ รอยบumin ของหน่วยความจำยังเล็กกว่ามาก ซึ่งเปิดโอกาสให้ LLMs ที่มีประสิทธิภาพสูงสามารถทำงานบนอุปกรณ์ที่เคยคิดว่าไม่สามารถจัดการได้ เช่น แล็ปท็อป, เครือข่ายการประมวลผลขอบ, หรือแม้แต่สมาร์ทโฟน โดยไม่ต้องส่งแพ็คเกจไปยังคลาวด์

การเพิ่มขึ้นของไฮบริด

การปฏิวัตินี้อาจไม่ใช่การแทนที่ Transformer ทั้งหมด แต่เป็นการพัฒนารูปแบบไฮบริด เรากำลังเห็นการเกิดขึ้นของโมเดลอย่าง Jamba (จาก AI21 Labs) ซึ่งรวมชั้น Transformer เข้ากับชั้น Mamba

การเข้าใกล้รูปแบบไฮบริดนี้ให้ทางออกที่เป็นไปได้ในการแก้ไขข้อจำกัดของ Transformer Transformer ยังคงมีประสิทธิภาพสูงในบางงาน โดยเฉพาะในการคัดลอกรายละเอียดที่แม่นยำจากบริบท โดยการผสมผสานชั้น Mamba (ซึ่งจัดการข้อมูลส่วนใหญ่และหน่วยความจำระยะยาว) กับชั้น Transformer บางส่วน (ซึ่งจัดการการให้เหตุผลที่คมชัดและทันที) เราจะได้โมเดลที่รวมทั้งสองโลกเข้าด้วยกัน

อนาคตของการนำ AI ไปใช้

ผลกระทบของการปฏิวัตินี้ไม่จำกัดอยู่แค่ในศูนย์ข้อมูลเท่านั้น กำแพง GPU ได้ทำหน้าที่เป็นประตูกั้น ทำให้เฉพาะบริษัทเทคโนโลยีขนาดใหญ่ที่มีเงินหลายพันล้านดอลลาร์ในการสร้างและรันโมเดลที่มีคุณภาพสูงเท่านั้น สถาปัตยกรรมที่มีประสิทธิภาพเช่น Mamba และ RWKV ได้ทำให้พลังนี้เปิดกว้าง หากคุณสามารถรันโมเดล GPT-4 ระดับบนการ์ดผู้บริโภคเพราะคุณไม่ต้องการ VRAM จำนวนเทราบายต์สำหรับ KV Cache อีกต่อไป การควบคุม AI ที่กระจายศูนย์กลางจะเริ่มคลายตัว เราอาจเห็นการฟื้นตัวของตัวแทน AI ที่อาศัยอยู่ทั้งหมดบนคอมพิวเตอร์ของคุณ โดยประมวลผลข้อมูลส่วนตัวของคุณโดยไม่ต้องส่งแพ็คเกจไปยังคลาวด์

นอกจากนี้ ประสิทธิภาพนี้ยังเป็นกุญแจสำคัญในการปลดล็อก “Agentic AI” ระบบที่สามารถรันในพื้นหลังเป็นเวลาหลายชั่วโมงหรือวันเพื่อทำงานที่ซับซ้อน โมเดล Transformer ปัจจุบันมีราคาแพงและช้าเกินไปที่จะรันในลูปต่อเนื่องเป็นเวลานาน สถาปัตยกรรมที่มีประสิทธิภาพและใช้เวลาเชิงเส้นสามารถ “คิด” และประมวลผลลูปได้อย่างต่อเนื่องโดยไม่ทำให้ผู้ใช้ล้มละลายหรือทำให้ฮาร์ดแวร์ร้อนเกินไป

สรุป

Transformer ได้ครอบงำหัวข้อข่าว AI แต่เบื้องหลังการปฏิวัติที่เงียบๆ กำลังเกิดขึ้น กำแพง GPU กำลังผลักดันให้นักวิจัยคิดใหม่ว่าโมเดลจัดการกับหน่วยความจำและคำนวณอย่างไร สถาปัตยกรรม “หลัง Transformer” เช่น Mamba และโมเดลไฮบริดกำลังพิสูจน์ว่าประสิทธิภาพ ไม่ใช่แค่ขนาด จะกำหนดยุคหน้า สิ่งเหล่านี้ทำให้หน้าต่างบริบทขนาดใหญ่กลายเป็นเรื่องที่สามารถทำได้ การอนุมานถูกกว่า และ AI ที่มีความก้าวหน้าสามารถเข้าถึงได้นอกศูนย์ข้อมูล อนาคตของ AI ไม่ได้อยู่ที่โมเดลที่ใหญ่ขึ้น แต่อยู่ที่โมเดลที่ฉลาดขึ้นที่จดจำ ให้เหตุผล และปรับขนาดได้อย่างมีประสิทธิภาพ