xLSTM : คู่มือแบบครอบคลุมเกี่ยวกับเมมโมรี่ระยะยาวแบบขยาย

การทำความเข้าใจจุดเริ่มต้น: ข้อจำกัดของ LSTM

ก่อนที่เราจะเข้าสู่โลกของ xLSTM มันเป็นเรื่องสำคัญที่จะต้องเข้าใจข้อจำกัดที่สถาปัตยกรรม LSTM แบบดั้งเดิมได้เผชิญ ข้อจำกัดเหล่านี้เป็นตัวขับเคลื่อนหลักที่อยู่เบื้องหลังการพัฒนา xLSTM และแนวทางอื่นๆ

1. ความไม่สามารถที่จะแก้ไขการตัดสินใจเก็บข้อมูล: ข้อจำกัดหลักของ LSTM คือความไม่สามารถที่จะแก้ไขค่าเก็บเมื่อมีเวกเตอร์ที่คล้ายกันมากขึ้น ซึ่งสามารถนำไปสู่ประสิทธิภาพที่ไม่ดีในงานที่ต้องการการอัปเดตแบบไดนามิกของข้อมูลที่เก็บไว้
2. ความจุของหน่วยความจำที่จำกัด: LSTMs บีบอัดข้อมูลลงในสถานะเซลล์สเกลาร์ ซึ่งสามารถจำกัดความสามารถในการเก็บและดึงข้อมูลรูปแบบที่ซับซ้อนได้อย่างมีประสิทธิภาพ โดยเฉพาะเมื่อเผชิญกับโทเค็นหายากหรือความสัมพันธ์ระยะไกล
3. การขาด การขนานกัน: กลไกการผสมหน่วยความจำใน LSTMs ซึ่งเกี่ยวข้องกับการเชื่อมต่อระหว่างขั้นตอนเวลา ทำให้การประมวลผลแบบลำดับเป็นเรื่องจำเป็น และขัดขวางการขนานกันของการคำนวณ ทำให้การขยายขนาดมีข้อจำกัด

ข้อจำกัดเหล่านี้เปิดทางให้เกิดการเพิ่มขึ้นของโมเดล Transformer และสถาปัตยกรรมอื่นๆ ที่สามารถทำได้ดีกว่า LSTMs ในด้านการทำงานที่ซับซ้อน โดยเฉพาะอย่างยิ่งเมื่อขยายขนาดโมเดลให้ใหญ่ขึ้น

สถาปัตยกรรม xLSTM

Extended LSTM (xLSTM) family

ที่แก่นกลางของ xLSTM มีการปรับปรุงสองประการจากโครงสร้าง LSTM แบบดั้งเดิม ได้แก่ การควบคุมแบบเลขชี้กำลังและโครงสร้างหน่วยความจำใหม่ การปรับปรุงเหล่านี้แนะนำตัวแปรใหม่สองตัวของ LSTM ที่รู้จักกันในชื่อ sLSTM (สเกลาร์ LSTM) และ mLSTM (เมทริกซ์ LSTM)

1. sLSTM: สเกลาร์ LSTM ด้วยการควบคุมแบบเลขชี้กำลังและผสมหน่วยความจำ
   • การควบคุมแบบเลขชี้กำลัง: sLSTM รวมฟังก์ชันการกระตุ้นแบบเลขชี้กำลังสำหรับเกตเวย์เข้าและลบ ทำให้สามารถควบคุมการไหลของข้อมูลได้มากขึ้น
   • การปกติและเสถียรภาพ: เพื่อป้องกันความไม่เสถียรทางคณิตศาสตร์ sLSTM มีรัฐปกติใหม่ที่ติดตามผลคูณของเกตเวย์เข้าและเกตเวย์ลบในอนาคต
   • การผสมหน่วยความจำ: sLSTM รองรับหลายหน่วยความจำและอนุญาตให้ผสมหน่วยความจำผ่านการเชื่อมต่อแบบเรียกซ้ำ ทำให้สามารถดึงรูปแบบที่ซับซ้อนและติดตามสถานะได้
2. mLSTM: เมทริกซ์ LSTM ด้วยความจุหน่วยความจำที่เพิ่มขึ้น
   • หน่วยความจำเมทริกซ์: mLSTM ใช้หน่วยความจำเมทริกซ์แทนหน่วยความจำสเกลาร์ ทำให้สามารถเก็บข้อมูลได้มากขึ้นและดึงข้อมูลได้อย่างมีประสิทธิภาพ
   • กฎการอัปเดตคовариแอนซ์: mLSTM ใช้กฎการอัปเดตคовариแอนซ์ ซึ่งได้รับแรงบันดาลใจจาก Bidirectional Associative Memories (BAMs) เพื่อเก็บและดึงคู่คีย์-ค่าได้อย่างมีประสิทธิภาพ
   • การขนานกัน: โดยการละทิ้งการผสมหน่วยความจำ mLSTM สามารถขนานกันได้เต็มที่ ทำให้สามารถคำนวณได้อย่างมีประสิทธิภาพบนฮาร์ดแวร์เร่งความเร็วสมัยใหม่

ทั้งสองตัวแปร sLSTM และ mLSTM สามารถรวมเข้ากับโครงสร้างบล็อกที่มีเศษส่วน ทำให้เกิดบล็อก xLSTM ที่ทรงพลัง โดยการ chồngซ้อนบล็อก xLSTM เหล่านี้ นักวิจัยสามารถสร้างสถาปัตยกรรม xLSTM ที่มีประสิทธิภาพสูงสำหรับงานเฉพาะและโดเมนการประยุกต์

คณิตศาสตร์

LSTM แบบดั้งเดิม:

สถาปัตยกรรม LSTM เดิมแนะนำการขับเคลื่อนข้อผิดพลาดแบบคงที่และกลไกการควบคุมเพื่อเอาชนะปัญหาการจัดเก็บค่าลบในเครือข่ายประสาทแบบเรียกซ้ำ

The repeating module in an LSTM – Source

การอัปเดตสถานะเซลล์ของ LSTM ถูกควบคุมโดยสมการดังต่อไปนี้:

การอัปเดตสถานะเซลล์: ct = ft ⊙ ct-1 + it ⊙ zt

การอัปเดตสถานะซ่อน: ht = ot ⊙ tanh(ct)

โดยที่:

• 𝑐𝑡​ คือเวกเตอร์สถานะเซลล์ที่เวลา $t$
• 𝑓𝑡​ คือเวกเตอร์เกตเวย์ลบ
• 𝑖𝑡 คือเวกเตอร์เกตเวย์เข้า
• 𝑜𝑡 คือเวกเตอร์เกตเวย์ออก
• 𝑧𝑡 คืออินพุตที่ถูกปรับเปลี่ยนโดยเกตเวย์เข้า
• ⊙ แสดงถึงการคูณแบบองค์ประกอบ

เกตเวย์ ft, it, และ ot ควบคุมข้อมูลที่จะเก็บ ลบ และส่งออกจากสถานะเซลล์ ct ซึ่งช่วยลดปัญหาการจัดเก็บค่าลบ

xLSTM ด้วยการควบคุมแบบเลขชี้กำลัง:

สถาปัตยกรรม xLSTM นำการควบคุมแบบเลขชี้กำลังมาใช้เพื่อให้สามารถควบคุมการไหลของข้อมูลได้มากขึ้น สำหรับตัวแปร sLSTM:

การอัปเดตสถานะเซลล์: ct = ft ⊙ ct-1 + it ⊙ zt

การอัปเดตรัฐปกติ: nt = ft ⊙ nt-1 + it

การอัปเดตสถานะซ่อน: ht = ot ⊙ (ct / nt)

เกตเวย์เข้าและลบ: it = exp(W_i xt + R_i ht-1 + b_i) ft = σ(W_f xt + R_f ht-1 + b_f) OR ft = exp(W_f xt + R_f ht-1 + b_f)

ฟังก์ชันการกระตุ้นแบบเลขชี้กำลังสำหรับเกตเวย์เข้า (it) และลบ (ft) รวมถึงรัฐปกติ nt ช่วยให้สามารถควบคุมการอัปเดตหน่วยความจำและแก้ไขข้อมูลที่เก็บไว้ได้อย่างมีประสิทธิภาพ

คุณลักษณะสำคัญและข้อดีของ xLSTM

1. ความสามารถในการแก้ไขการตัดสินใจเก็บข้อมูล: ด้วยการควบคุมแบบเลขชี้กำลัง xLSTM สามารถแก้ไขค่าเก็บได้อย่างมีประสิทธิภาพเมื่อมีข้อมูลที่เกี่ยวข้องมากขึ้น ซึ่งเป็นการเอาชนะข้อจำกัดสำคัญของ LSTM เดิม
2. ความจุหน่วยความจำที่เพิ่มขึ้น: หน่วยความจำเมทริกซ์ใน mLSTM ให้ความจุหน่วยความจำที่เพิ่มขึ้น ทำให้ xLSTM สามารถจัดการกับโทเค็นหายาก ความสัมพันธ์ระยะไกล และรูปแบบข้อมูลที่ซับซ้อนได้อย่างมีประสิทธิภาพ
3. การขนานกัน: ตัวแปร mLSTM ของ xLSTM สามารถขนานกันได้เต็มที่ ทำให้สามารถคำนวณได้อย่างมีประสิทธิภาพบนฮาร์ดแวร์เร่งความเร็วสมัยใหม่ เช่น GPU และช่วยให้สามารถขยายขนาดได้
4. การผสมหน่วยความจำและติดตามสถานะ: ตัวแปร sLSTM ของ xLSTM ยังคงความสามารถในการผสมหน่วยความจำของ LSTM เดิม ทำให้ xLSTM มีความสามารถในการติดตามสถานะและดึงรูปแบบที่ซับซ้อนได้
5. การขยายขนาด: โดยการนำเทคนิคจากโมเดลภาษาขนาดใหญ่ xLSTM สามารถขยายขนาดได้อย่างมีประสิทธิภาพถึงพันล้านพารามิเตอร์ ทำให้สามารถสร้างแบบจำลองลำดับยาวและหน้าต่างบริบทที่ซับซ้อนได้

การประเมินเชิงทดลอง: การแสดงผลของ xLSTM

งานวิจัยนำเสนอการประเมินเชิงทดลองที่ครอบคลุมของ xLSTM โดยเน้นประสิทธิภาพของ xLSTM ในงานต่างๆ และมาตรฐานต่างๆ ต่อไปนี้คือผลลัพธ์สำคัญบางส่วน:

1. งานสังเคราะห์และ Long Range Arena:
   • xLSTM มีประสิทธิภาพสูงในการแก้ปัญหาภาษาที่ต้องการการติดตามสถานะ โดยเอาชนะโมเดล Transformer, State Space Models และสถาปัตยกรรม RNN อื่นๆ
   • ในงาน Multi-Query Associative Recall xLSTM แสดงให้เห็นถึงความจุหน่วยความจำที่เพิ่มขึ้น โดยเอาชนะโมเดลที่ไม่ใช่ Transformer และเทียบเท่ากับโมเดล Transformer
   • ในมาตรฐาน Long Range Arena xLSTM มีประสิทธิภาพที่ดีและสม่ำเสมอ โดยแสดงให้เห็นถึงความสามารถในการจัดการกับปัญหาที่มีบริบทยาว
2. การสร้างแบบจำลองภาษาและงานที่ตามมา:
   • เมื่อฝึกอบรมบน 15B โทเค็นจาก SlimPajama dataset xLSTM มีผลลัพธ์ที่ดีกว่าโมเดลที่มีอยู่ รวมถึง Transformer, State Space Models และโมเดล RNN อื่นๆ ในด้านความสับสนในการตรวจสอบ
   • เมื่อขนาดของโมเดลเพิ่มขึ้น xLSTM ยังคงรักษาความได้เปรียบในการแสดงผล โดยแสดงให้เห็นถึงพฤติกรรมการขยายขนาดที่ดี
   • ในงานที่ตามมา เช่น การให้เหตุผลทั่วไปและการตอบคำถาม xLSTM เป็นโมเดลที่ดีที่สุดในทุกขนาดของโมเดล โดยเอาชนะแนวทางที่มีอยู่
3. ประสิทธิภาพในงาน PALOMA:
   • เมื่อประเมินบน 571 โดเมนจากมาตรฐาน PALOMA xLSTM[1:0] (ตัวแปร sLSTM) มีค่าความสับสนต่ำกว่าเมื่อเทียบกับโมเดลอื่นๆ ใน 99.5% ของโดเมนเมื่อเทียบกับ Mamba, 85.1% เมื่อเทียบกับ Llama และ 99.8% เมื่อเทียบกับ RWKV-4
4. กฎการขยายขนาดและการขยายความยาวลำดับ:
   • เมื่อฝึกอบรมบน 300B โทเค็นจาก SlimPajama xLSTM แสดงให้เห็นถึงกฎการขยายขนาดที่ดี ซึ่งบ่งชี้ถึงศักยภาพในการปรับปรุงประสิทธิภาพเมื่อขนาดของโมเดลเพิ่มขึ้น
   • ในงานทดลองการขยายความยาวลำดับ xLSTM รักษาค่าความสับสนต่ำแม้เมื่อเผชิญกับบริบทที่ยาวกว่าที่เห็นระหว่างการฝึกอบรม โดยเอาชนะโมเดลอื่นๆ

ผลลัพธ์เหล่านี้แสดงให้เห็นถึงความสามารถที่น่าประทับใจของ xLSTM โดยวางตำแหน่ง xLSTM เป็นโมเดลที่มีศักยภาพสูงสำหรับการสร้างแบบจำลองภาษา การประมวลผลลำดับ และการประยุกต์ใช้งานอื่นๆ

การประยุกต์ใช้งานจริงและทิศทางในอนาคต

การประยุกต์ใช้งานของ xLSTM ครอบคลุมหลายโดเมน ตั้งแต่การประมวลผลภาษาธรรมชาติและการสร้างภาษาไปจนถึงการสร้างแบบจำลองลำดับ การวิเคราะห์ข้อมูลชุดเวลา และอื่นๆ ต่อไปนี้คือพื้นที่ที่น่าตื่นเต้นที่ xLSTM อาจมีผลกระทบอย่างมาก:

1. การสร้างแบบจำลองภาษาและการสร้างภาษา: ด้วยความจุหน่วยความจำที่เพิ่มขึ้นและความสามารถในการแก้ไขข้อมูลที่เก็บไว้ xLSTM อาจปฏิวัติการสร้างแบบจำลองภาษาและการสร้างภาษา ทำให้สามารถสร้างภาษาที่สอดคล้อง บริบท และมีประสิทธิภาพมากขึ้น
2. การแปลภาษา: ความสามารถในการติดตามสถานะของ xLSTM อาจมีคุณค่าอย่างมากในการแปลภาษา โดยการรักษาข้อมูลบริบทและความสัมพันธ์ระยะไกลที่สำคัญสำหรับการแปลที่แม่นยำ
3. การรับรู้เสียงพูดและการสร้างเสียงพูด: การขนานกันและความสามารถในการประมวลผลลำดับยาวของ xLSTM ทำให้เหมาะสำหรับการรับรู้เสียงพูดและการสร้างเสียงพูด โดยการประมวลผลลำดับเสียงที่ยาวและซับซ้อนได้อย่างมีประสิทธิภาพ
4. การวิเคราะห์ข้อมูลชุดเวลาและการพยากรณ์: ความสามารถของ xLSTM ในการจัดการกับความสัมพันธ์ระยะไกลและเก็บข้อมูลที่ซับซ้อนอาจนำไปสู่การปรับปรุงการวิเคราะห์ข้อมูลชุดเวลาและการพยากรณ์ในหลายโดเมน เช่น การเงิน การพยากรณ์สภาพอากาศ และการประยุกต์ใช้งานอุตสาหกรรม
5. การเรียนรู้แบบเสริมและการควบคุมระบบ: ศักยภาพของ xLSTM ในการเรียนรู้แบบเสริมและการควบคุมระบบมีความน่าหวัง โดยที่ความสามารถในการจัดการหน่วยความจำและติดตามสถานะของ xLSTM อาจนำไปสู่การตัดสินใจที่ฉลาดและควบคุมระบบที่ซับซ้อนได้ดีขึ้น