نماذج ومنصات الذكاء الاصطناعي

Mamba: إعادة تعريف نمذجة التسلسل وتفوقه على معمارية الترانسفورمر

Aayush Mittal
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةنموذج حالة الفضاء الانتقائي لـ Mamba يعالج التسلسلات الطويلة في وقت خطي، متفوقًا على…
عرض المزيد
  • نموذج حالة الفضاء الانتقائي لـ Mamba يعالج التسلسلات الطويلة في وقت خطي، متفوقًا على نماذج المحولات (Transformers).
  • تصميمه المدرك لخصائص العتاد يتخلص من كتل الانتباه (attention blocks) لاستدلال أسرع واستخدام أفضل لوحدة معالجة الرسومات (GPU).
  • تطابق Mamba أداء المحولات أو تتفوق عليه في مهام اللغة والصوت والجينوميات.

نستعرض في هذا المقال Mamba، نموذج فضاء الحالة (SSM) الذي طوره Albert Gu وTri Dao، وكيف يغيّر نمذجة التسلسلات. يتميز بكفاءة معالجة التسلسلات المعقدة في اللغة وعلم الجينوم وتحليل الصوت. وتتيح فضاءات الحالة الانتقائية تكلفة حسابية تنمو خطيًا مع طول التسلسل.

يعالج Mamba التحديات الحسابية التي تواجه المحوّلات التقليدية عند التعامل مع التسلسلات الطويلة. يتيح نهجه الانتقائي استدلالًا أسرع وزيادة في معدل المعالجة. ويجمع بين السرعة وطبقة SSM الانتقائية وتصميم ملائم للعتاد مستوحى من FlashAttention. وفي النتائج التي يعرضها المقال الأصلي، يتفوق على نماذج قائمة عديدة، منها نماذج مبنية على المحوّلات.

المحوّلات وMamba

وضعت نماذج مثل GPT-4 معايير مرتفعة لمعالجة اللغة الطبيعية، لكن كفاءتها الحسابية تتراجع مع زيادة طول التسلسل. يقترح Mamba بنية مختلفة لمعالجة التسلسلات الطويلة بكفاءة أكبر.

تتعامل المحوّلات مع بيانات متسلسلة مثل النصوص. وبخلاف النماذج السابقة التي تعالج العناصر تباعًا، تستطيع معالجة مواضع التسلسل بالتوازي أثناء التدريب، والتقاط العلاقات المعقدة بينها. تحدد آلية الانتباه أجزاء المدخلات المهمة للتنبؤ. وتُشتق تمثيلات الاستعلامات والمفاتيح والقيم من المدخلات، ثم تُقارن العناصر لحساب أوزان تعبّر عن أهميتها النسبية.

في بنية المشفّر وفاكّ الترميز الموصوفة هنا، يعالج المشفّر المدخلات ويولّد فاكّ الترميز المخرجات. هذا وصف لترتيب معين من المحوّلات، وليس لبنية كل نماذج هذه العائلة. تتضمن كل طبقة في المشفّر انتباهًا ذاتيًا متعدد الرؤوس وشبكة تغذية أمامية كاملة الاتصال تُطبّق على كل موضع على حدة. وتساعد عمليات التطبيع والوصلات المتبقية في تدريب الشبكات العميقة. يضيف فاكّ الترميز انتباهًا إلى مخرجات المشفّر، ويضمن القناع السببي أن يعتمد التنبؤ في موضع ما على المواضع السابقة فقط، للحفاظ على التوليد الانحداري الذاتي.

يستخدم Mamba فضاءات الحالة الانتقائية بدلًا من نهج الانتباه هذا. ملاحظة عن المصدر: تنقطع الجملة المقارنة في المقال الإنجليزي في منتصف كلمة؛ لذلك لم نختلق تتمة للاستنتاج الناقص.

تشمل الخطوات الرئيسية في المحوّل:

  • معالجة المدخلات: تحويل البيانات إلى تضمينات مع معلومات عن مواضع العناصر في التسلسل.
  • الانتباه: حساب درجات تحدد مقدار التركيز على بقية المدخلات لفهم العنصر الحالي.
  • التشفير وفك الترميز: في هذا الترتيب، تنقّح طبقات متعددة تمثيل المدخلات وتولّد المخرجات.
  • الانتباه متعدد الرؤوس: النظر إلى علاقات مختلفة بالتزامن من فضاءات تمثيل مختلفة للتعلم من سياقات متنوعة.
  • التغذية الأمامية لكل موضع: تطبيق التحويل نفسه على كل موضع بصورة مستقلة، ثم دمجه مع المدخل عبر وصلة متبقية وإجراء تطبيع الطبقة.
  • توليد المخرجات: التنبؤ بالخرج اعتمادًا على سياق المشفّر وما تم توليده سابقًا.

تفيد المعالجة المتوازية والانتباه في الترجمة وتوليد النصوص. ويواجه Mamba تكلفة التسلسلات الطويلة بفضاءات الحالة الانتقائية، مع استدلال أسرع وتوسع خطي مع طول التسلسل.

Mamba

يبتعد Mamba عن كتل الانتباه والبرسيبترون متعدد الطبقات (MLP) التقليدية، متجهًا إلى بنية أخف وأسرع وأكثر تجانسًا.

  • نماذج SSM الانتقائية: ترشّح المعلومات غير ذات الصلة وتركّز على البيانات المفيدة، بما يدعم الاستدلال المعتمد على المحتوى.
  • خوارزمية تراعي العتاد: تستفيد من المعالجة المتوازية المحسنة للعتاد الحديث، وخصوصًا وحدات GPU، لتسريع الحساب وتقليل متطلبات الذاكرة.
  • بنية مبسطة: دمج SSM الانتقائية وإزالة كتل الانتباه وMLP التقليدية يحسّنان قابلية التوسع والأداء.

تشمل النتائج المعروضة اللغة والصوت والجينوم، سواء في التدريب المسبق أو المهام المتخصصة. وفي مقارنات نمذجة اللغة المبلغ عنها، يضاهي Mamba محوّلات أكبر أو يتجاوزها. يتوفر الكود والنماذج المدربة مسبقًا علنًا على GitHub.

Standard Copying tasks are simple for linear models. Selective Copying and Induction Heads require dynamic, content-aware memory for LLMs.

مهام النسخ المعتادة سهلة للنماذج الخطية. أما النسخ الانتقائي ورؤوس الاستقراء فيحتاجان إلى ذاكرة ديناميكية تراعي المحتوى.

تجمع نماذج فضاء الحالة المنظمة S4 خصائص من الشبكات العصبية المتكررة RNN والشبكات الالتفافية CNN ونماذج فضاء الحالة الكلاسيكية. تستلهم أنظمة مستمرة تربط دوال أحادية البعد أو تسلسلات عبر حالة كامنة. وفي التعلم العميق، توفر طريقة لبناء نماذج تسلسل فعالة وقابلة للتكيّف.

ديناميكيات نماذج S4

يأخذ SSM المنظم التسلسل x ويولّد المخرج y باستخدام المعلمات المتعلمة A وB وC وخطوة الزمن Δ. تُحوّل المعلمات المستمرة إلى صيغة متقطعة ثم تُطبّق عملية SSM. وفي الشكل الأساسي الثابت زمنيًا، تبقى المعلمات نفسها في جميع الخطوات.

أهمية التحويل إلى الزمن المتقطع

تُحوّل المعلمات المستمرة إلى معلمات متقطعة باستخدام صيغ محددة، مع الحفاظ على الارتباط بأنظمة الزمن المستمر. يمنح ذلك خصائص مثل عدم التأثر بتغيير الدقة والتطبيع المناسب، بما يدعم الاستقرار والأداء. وترتبط هذه العملية أيضًا بآليات البوابات في RNN التي تدير تدفق المعلومات.

الخطية والثبات مع الزمن (LTI)

من خصائص S4 الأساسية أن ديناميكيات النموذج متسقة عبر الزمن ومعلماته ثابتة في كل خطوة. وتدعم هذه الخاصية الحساب التكراري والالتفاف، لتوفر إطارًا مبسطًا وقويًا لنمذجة التسلسلات.

تجاوز القيود الأساسية

يحد الثبات الزمني من تمثيل البيانات التي تتطلب ديناميكيات متكيفة. تقدم الدراسة معلمات متغيرة زمنيًا لإزالة قيد LTI، مما يوسّع أنواع التسلسلات والمهام التي يمكن التعامل معها.

يُستخدم مصطلح نموذج فضاء الحالة بمعنى واسع للعمليات التكرارية ذات الحالة الكامنة في تخصصات مختلفة. أما S4 أو SSM المنظمة في التعلم العميق فهي فئة محددة محسنة للحساب الفعال مع الاحتفاظ بتمثيل التسلسلات المعقدة. ويمكن دمجها في شبكات تتدرب من البداية إلى النهاية بوصفها تحويلات للتسلسلات، تؤدي دورًا مشابهًا لطبقات الالتفاف في CNN.

SSM vs SSM + Selection

SSM وSSM مع آلية اختيار

دوافع الانتقائية في نمذجة التسلسلات

Structured SSMs

نماذج فضاء حالة منظمة

من الجوانب الأساسية ضغط السياق في حالة قابلة للإدارة. تساعد تصفية المدخلات أو التركيز الانتقائي عليها في الاحتفاظ بالمعلومات المفيدة داخل هذا التمثيل المضغوط. وتتيح الانتقائية التحكم التكيفي في تدفق المعلومات على طول التسلسل، وهو مهم لمهام اللغة المعقدة وغيرها.

تجعل SSM الانتقائية معلماتها معتمدة على المدخلات، فتغدو ديناميكياتها متغيرة زمنيًا. لذلك لا يمكن استخدام حساب الالتفاف المعتاد للنماذج الثابتة زمنيًا، ويُستخدم بدلًا منه حساب تكراري ذو تكلفة خطية.

في صيغة SSM مع الاختيار (S6)، تعتمد المعلمات B وC وΔ على المدخل x. يؤخذ الاختيار في الحسبان عند التحويل إلى الصيغة المتقطعة، ثم تعالج عملية مسح التسلسل وتعدّل موضع التركيز ديناميكيًا عبر الخطوات الزمنية.

أبرز نتائج أداء Mamba

Mamba is best-in-class on every single evaluation result

يعرض مخطط المصدر Mamba بوصفه الأفضل في فئته في كل تقييم ظاهر في الشكل.

في الاختبارات المبلغ عنها، يحقق Mamba سرعة استدلال ودقة مرتفعتين. يستفيد من السياقات الطويلة في نمذجة DNA والصوت، متجاوزًا نماذج سابقة في مهام معقدة تتطلب اعتماديات بعيدة المدى. وتبرز تقييمات zero-shot عبر مهام متعددة مرونته وكفاءته وقابليته للتوسع.

بدء استخدام Mamba

يذكر مقال عام 2023 متطلبات Linux ووحدة GPU من NVIDIA وPyTorch 1.12+ وCUDA 11.6+. يتم تثبيت الحزم باستخدام pip من مستودع Mamba. وعند مشكلات توافق إصدارات PyTorch، يقترح المصدر الخيار --no-build-isolation. دُربت النماذج على بيانات واسعة مثل Pile وSlimPajama لتلبية احتياجات حسابية متنوعة.

تشمل الواجهات طبقة SSM الانتقائية وكتلة Mamba ونماذج اللغة الكاملة. تستخدم الكتلة الرئيسية طبقة Conv1d سببية ويمكن دمجها بسهولة في الشبكات العصبية. ملاحظة عن المصدر: يشير المقال الإنجليزي إلى مثال Python لإنشاء النموذج ومعالجة البيانات، لكنه لا يتضمن الكود المذكور.

تتوفر النماذج المدربة مسبقًا على Hugging Face بأحجام من 130 مليونًا إلى 2.8 مليار معلمة. دُربت على Pile وSlimPajama وتتبع معايير الأبعاد في GPT-3 لتلبية احتياجات متنوعة للأداء والحوسبة. ويشير المصدر إلى معدل معالجة ودقة مرتفعين يجعلانها خيارًا منافسًا لنمذجة اللغة وتطبيقات أخرى.

أثر Mamba

يقدم Mamba بديلًا قويًا للمحوّلات في معالجة البيانات الكثيفة بالمعلومات. يتلاءم تصميمه مع العتاد الحديث، ويحسّن استخدام الذاكرة والمعالجة المتوازية. ويتيح الكود المفتوح والنماذج المدربة مسبقًا أداة متاحة لباحثي ومطوري الذكاء الاصطناعي والتعلم العميق.

أمضيت السنوات الخمس الماضية منغمسًا في عالم التعلم الآلي والتعلم العميق المثير للاهتمام. وقد دفعني شغفي وخبرتي إلى المساهمة في أكثر من 50 مشروعًا متنوعًا في هندسة البرمجيات، مع التركيز بشكل خاص على الذكاء الاصطناعي والتعلم الآلي. كما جذبني فضولي المستمر إلى معالجة اللغة الطبيعية، وهو مجال أتطلع إلى استكشافه بمزيد من التعمق.