تطرح Baidu نموذج ERNIE 5.5 Flash Base لمواصلة تدريبه

أعلن فريق ERNIE في Baidu عن ERNIE-5.5-Flash-Base في 5 نوفمبر 2026، وأتاح أوزانًا قابلة للتنزيل لنموذج نصي فقط قائم على مزيج الخبراء، يضم 280 مليار معلمة إجمالًا، ويُفعَّل منه 14 مليار معلمة لكل رمز. وتُختتم نقطة التحقق هذه مرحلة التدريب المسبق، قبل التدريب الوسيط أو التدريب اللاحق، ما يمنح المطورين نقطة انطلاق مشتركة لتكييف النموذج مع مجالات محددة، وضبطه بالتعليمات، وإجراء أبحاث التعلم المعزز.

يوفر الإصدار أيضًا خط أساس ثابتًا لإجراء مقارنات مضبوطة بين أساليب التدريب. وقالت Baidu إن إصدارًا من ERNIE 5.5 Flash خضع للتدريب اللاحق سيصدر بعد هذه النسخة الأساسية.

البنية المعمارية ونظام التدريب

تسرد بطاقة النموذج 43 طبقة، وحجمًا خفيًا قدره 4,096، و64 رأس انتباه. وتستخدم 37 طبقة آلية الانتباه شديدة الضغط؛ إذ تضم ذاكرة التخزين المؤقت فيها مدخلًا واحدًا لكل كتلة من 128 رمزًا، إلى جانب نافذة قصيرة من الرموز الحديثة غير المضغوطة. وتحافظ ست طبقات من الانتباه الكامن متعدد الرؤوس على إمكانية الوصول إلى السياق الكامل على مستوى الرمز، وتستخدم مفهرسًا لاختيار المواضع السابقة ذات أعلى الدرجات. وتقول Baidu إن هذا الاختيار المتناثر يُبقي تكلفة الانتباه الأساسي لكل استعلام ثابتة مع اتساع السياق.

تستخدم جميع الطبقات، باستثناء الأولى، كتلةً قائمة على مزيج الخبراء تضم 512 خبيرًا موجَّهًا، يُفعَّل منها 10، بالإضافة إلى خبير مشترك واحد. وتعمل الخبراء في فضاء كامن ذي 2,048 بُعدًا بدلًا من العرض الكامل للتمثيل الخفي للنموذج. وتقول Baidu إن ذلك يخفض إلى النصف تقريبًا حركة توزيع الخبراء وتجميع مخرجاتهم، وكذلك عمليات الفاصلة العائمة للخبراء، مقارنةً بالخبراء ذوي العرض الكامل. ويتضمن التصميم أيضًا أربعة مسارات متوازية للوصلات المتبقية عبر وصلات فائقة مقيّدة بالمتشعب، ورأس إخراج MultiMax بدرجة حرارة مقطعية قابلة للتعلم.

استخدم التدريب المسبق 33.5 تريليون رمز، ومحسِّن Muon، ودقة مختلطة FP8. ووُسِّع السياق المستخدم أثناء التدريب تدريجيًا ليصل إلى 128 ألف رمز؛ أما الضبط الدقيق والاستدلال فيدعمان مليون رمز. وإلى جانب بيانات الويب متعددة اللغات، تضم مجموعة البيانات شيفرات وسجلات لتطوير البرمجيات، مثل عمليات الإيداع، والبلاغات، وطلبات السحب، والمراجعات، والاختبارات المُنشأة، والإصلاحات التي جرى التحقق منها عبر التكامل المستمر (CI). وتوفر المستندات الطويلة المنتقاة، والتسلسلات التي تتضمن عناصر تشتيت متشابهة دلاليًا، والبيانات الاصطناعية للاسترجاع والإجابة عن الأسئلة، مواد تدريبية للتعامل مع السياقات الطويلة. وتنسجم هذه الخيارات مع توجّه الإصدار الأساسي نحو الاستدلال على مستوى المستودعات، وهندسة البرمجيات الوكيلة، والمدخلات الممتدة.

يوثّق مستودع FlashMask المرفق نوى الانتباه لوحدات معالجة الرسومات Hopper وBlackwell، مع دعم إعدادات Blackwell لأبعاد رؤوس تصل إلى 576 للاستعلام والمفتاح، و512 للقيمة. وتفيد Baidu بتحقيق مكاسب في السرعة تصل إلى 175% في التمرير الأمامي و74% في التمرير الخلفي، مقارنةً بـ FlashAttention-4 MaskMod على عتاد SM100. كما يجمع نظام Muon الموزع مزامنة المعلمات الكثيفة ومعلمات مزيج الخبراء في عملية جماعية واحدة، ويوزّع حالة المحسِّن على العُقد بصورة أكثر توازنًا، من دون تغيير تحديثات المحسِّن.

نتائج Baidu المعيارية

قيّمت Baidu نموذج ERNIE مقابل نقاط التحقق المنشورة علنًا DeepSeek-V4-Flash-Base وHy3-preview-Base وMiMo-V2.5-Base، باستخدام أداة التقييم نفسها والمطالبات نفسها والأمثلة نفسها للتعلم من عدد قليل من الأمثلة، وكذلك نموذج التحكيم اللغوي الكبير نفسه للإجابة الحرة عن الأسئلة. وتُظهر نتائج مختارة من جدولها المجالات التي يتقدم فيها النموذج وتلك التي يتأخر فيها:

تعتمد نتائج مقارنة Baidu على المهمة، ولا تُظهر تفوقًا شاملًا واضحًا: يتصدر ERNIE نتيجتي MMLU وHumanEval+ المعروضتين، بينما يتصدر Hy3 اختبار FullStackBench، ويتصدر DeepSeek اختبار InfiniteBench. ويدعم الجدول أداءً قويًا في الاختبارات والمعالجة البرمجية ضمن تقييم Baidu، مع إبقاء هذه الاستثناءات واضحة.

شروط النشر والترخيص

تتوفر التنزيلات بتنسيقي safetensors ‏FP8 وBF16. وتوثّق بطاقة النموذج تقديم الخدمة في بيئات الإنتاج باستخدام SGLang وvLLM عبر واجهة برمجة تطبيقات الإكمالات، بما يتوافق مع وضع نقطة التحقق بوصفها نموذجًا أساسيًا. ويضيف وصفة Megatron Bridge من NVIDIA سير عمل للضبط الدقيق الخاضع للإشراف، يشمل إعداد البيانات والتدريب والتصدير مجددًا إلى تنسيق Hugging Face. وتستخدم وصفة النموذج الكامل 16 عقدة، تضم كل منها أربع وحدات معالجة رسومات GB300. وتتحقق NVIDIA من صحة الوصفات على أنظمة Blackwell GB200 وGB300؛ وتدعم المكونات Hopper، لكن لم يجرِ التحقق منها عليه.

تفرض اتفاقية ترخيص نموذج ERNIE 5.5 Flash Base الإصدار 1.0 شروطًا إقليمية وتجارية. وتستثني الاتفاقية الاتحاد الأوروبي والمملكة المتحدة وكوريا الجنوبية من نطاقها الجغرافي، ولا تجيز الأنشطة، بما فيها الاستخدام والتعديل والتوزيع، خارج ذلك النطاق. والاستخدام غير التجاري مجاني ولا تترتب عليه رسوم ترخيص للنموذج. أما الاستخدام التجاري، إذا كانت الإيرادات السنوية من المنتجات أو الخدمات ذات الصلة لا تتجاوز 50 مليون دولار، فيتطلب إشعارًا لمرة واحدة وإسنادًا بارزًا بعبارة “Powered by ERNIE”. وتتطلب الإيرادات التي تتجاوز هذا الحد الحصول مسبقًا على إذن كتابي منفصل من Baidu.

كما تحظر الاتفاقية استخدام المواد المرخّصة أو النماذج المشتقة أو مخرجاتها لتحسين نظام ذكاء اصطناعي أو تعلّم آلي غير ذي صلة. ويكتسب هذا القيد أهمية في عمليات التقطير وسير العمل المعتمد على البيانات الاصطناعية، إذ تتناولها الرخصة صراحةً عند تعريف النماذج المشتقة ووضع حدود لاستخدام المخرجات.

يوفّر ERNIE 5.5 Flash Base للباحثين والمطوّرين نقطة تحقق ثابتة لاختبار أساليب التدريب اللاحقة من دون تكرار عملية التدريب المسبق التي أجرتها Baidu. ويركّز تصميمه على ضبط الحوسبة النشطة وتكلفة السياقات الطويلة، لكن نطاق الاستفادة العملي من الإصدار تحدّه متطلبات الأجهزة اللازمة للضبط الدقيق للنموذج الكامل، إلى جانب رخصة تقيّد النطاق الجغرافي والاستخدام التجاري واسع النطاق ونقل القدرات إلى نماذج غير ذات صلة.