داخل DBRX: Databricks تطلق العنان لـ LLM قوية مفتوحة المصدر

في مجال نماذج اللغات الكبيرة (LLMs) الذي يتقدم بسرعة، ظهر نموذج قوي جديد - DBRX، نموذج مفتوح المصدر تم إنشاؤه بواسطة Databricksيحقق برنامج الماجستير في القانون هذا نجاحًا كبيرًا بفضل أدائه المتطور عبر مجموعة واسعة من المعايير، حتى أنه ينافس قدرات عمالقة الصناعة مثل GPT-4 من OpenAI.

يُمثل DBRX إنجازًا هامًا في تعميم الذكاء الاصطناعي، إذ يُتيح للباحثين والمطورين والشركات وصولًا مفتوحًا إلى نموذج لغوي عالي المستوى. ولكن ما هو DBRX تحديدًا، وما الذي يجعله مميزًا؟ في هذه الدراسة التقنية المُعمّقة، سنستكشف البنية المبتكرة، وعملية التدريب، والقدرات الرئيسية التي دفعت DBRX إلى صدارة مجال برامج ماجستير القانون المفتوحة.

نشأة DBRX. انطلقت DBRX من رسالة Databricks المتمثلة في جعل ذكاء البيانات في متناول جميع المؤسسات. وبصفتها شركة رائدة في منصات تحليل البيانات، أدركت Databricks الإمكانات الهائلة لبرامج الماجستير في القانون (LLM)، وسعت جاهدةً لتطوير نموذج يُضاهي، بل ويتفوق، على أداء العروض الحصرية.

بعد أشهر من البحث والتطوير المكثف واستثمار بملايين الدولارات، حقق فريق Databricks إنجازًا كبيرًا مع DBRX. وقد رسّخ الأداء المتميز للنموذج في مجموعة واسعة من المعايير، بما في ذلك فهم اللغات والبرمجة والرياضيات، مكانته كنموذج رائد في مجال برامج ماجستير القانون المفتوحة.

العمارة المبتكرة

قوة مزيج الخبراء: يكمن جوهر الأداء الاستثنائي لـ DBRX في بنيته المبتكرة لمزيج الخبراء (MoE). يُمثل هذا التصميم المتطور انحرافًا عن النماذج التقليدية الكثيفة، إذ يعتمد نهجًا مُبسطًا يُعزز كفاءة التدريب المسبق وسرعة الاستدلال.

في إطار عمل وزارة التربية والتعليم، يتم تفعيل مجموعة مختارة فقط من المكونات، تسمى "الخبراء"، لكل مدخلات. يسمح هذا التخصص للنموذج بمعالجة مجموعة واسعة من المهام بمهارة أكبر، مع تحسين الموارد الحسابية أيضًا.

تُطوّر DBRX هذا المفهوم أكثر بفضل تصميمها الدقيق لـ MoE. فعلى عكس بعض طرازات MoE الأخرى التي تستخدم عددًا أقل من الخبراء الأكبر حجمًا، توظف DBRX 16 خبيرًا، أربعة منهم نشطون لأي مُدخلات. يوفر هذا التصميم إمكانيات مذهلة لتركيبات الخبراء تزيد 65 مرة، مما يُسهم بشكل مباشر في الأداء المُتفوق لـ DBRX.

تتميز DBRX بالعديد من الميزات المبتكرة:

• ترميزات الموضع الدوار (RoPE): يعزز فهم مواضع الرمز المميز، وهو أمر بالغ الأهمية لإنشاء نص دقيق للسياق.
• الوحدات الخطية المسورة (GLU): يقدم آلية بوابة تعمل على تعزيز قدرة النموذج على تعلم الأنماط المعقدة بكفاءة أكبر.
• انتباه الاستعلام المجمع (GQA): تحسين كفاءة النموذج من خلال تحسين آلية الاهتمام.
• الترميز المتقدم: يستخدم برنامج GPT-4 لمعالجة المدخلات بشكل أكثر فعالية.

تعتبر بنية وزارة التعليم مناسبة بشكل خاص لنماذج اللغات واسعة النطاق، لأنها تسمح بتوسيع نطاق أكثر كفاءة واستخدام أفضل للموارد الحسابية. ومن خلال توزيع عملية التعلم عبر شبكات فرعية متخصصة متعددة، يمكن لـ DBRX تخصيص البيانات والقوة الحسابية بشكل فعال لكل مهمة، مما يضمن مخرجات عالية الجودة والكفاءة المثلى.

بيانات تدريب شاملة وتحسين فعال. مع أن بنية DBRX مبهرة بلا شك، إلا أن قوتها الحقيقية تكمن في عملية التدريب الدقيقة والكم الهائل من البيانات التي تعرضت لها. تم تدريب DBRX مسبقًا على 12 تريليون رمز من النصوص وبيانات الشفرة، مُختارة بعناية لضمان الجودة العالية والتنوع.

تمت معالجة بيانات التدريب باستخدام مجموعة أدوات Databricks، بما في ذلك Apache Spark لمعالجة البيانات، وUnity Catalog لإدارة البيانات وحوكمتها، وMLflow لتتبع التجارب. أتاحت هذه المجموعة الشاملة لفريق Databricks إدارة مجموعة البيانات الضخمة واستكشافها وتحسينها بفعالية، مما أرسى الأساس لأداء DBRX الاستثنائي.

لتعزيز قدرات النموذج، استخدمت Databricks منهجًا تدريبيًا مسبقًا ديناميكيًا، مع تنويع مزيج البيانات بشكل مبتكر أثناء التدريب. أتاحت هذه الاستراتيجية معالجة كل رمز بفعالية باستخدام 36 مليار معلمة نشطة، مما أدى إلى نموذج أكثر شمولًا وقابلية للتكيف.

علاوة على ذلك، تم تحسين عملية تدريب DBRX لتحقيق الكفاءة، بالاستفادة من مجموعة أدوات ومكتبات Databricks الحصرية، بما في ذلك Composer وLLM Foundry وMegaBlocks وStreaming. ومن خلال استخدام تقنيات مثل تعلم المناهج واستراتيجيات التحسين المُحسّنة، حقق الفريق تحسنًا في كفاءة الحوسبة بنحو أربعة أضعاف مقارنةً بنماذجهم السابقة.

التدريب والهندسة المعمارية

تم تدريب DBRX باستخدام نموذج التنبؤ بالرمز المميز التالي على مجموعة بيانات ضخمة مكونة من 12 تريليون رمز مميز، مع التركيز على كل من النص والرمز. يُعتقد أن مجموعة التدريب هذه أكثر فعالية بكثير من تلك المستخدمة في النماذج السابقة، مما يضمن فهمًا غنيًا وقدرة على الاستجابة عبر المطالبات المتنوعة.

لا تُعدّ بنية DBRX دليلاً على براعة Databricks التقنية فحسب، بل تُبرز أيضاً تطبيقاتها في قطاعات متعددة. من تحسين تفاعلات روبوتات الدردشة إلى دعم مهام تحليل البيانات المعقدة، يُمكن دمج DBRX في مجالات متنوعة تتطلب فهماً لغوياً دقيقاً.

من اللافت للنظر أن DBRX Instruct ينافس حتى بعضًا من أكثر النماذج المغلقة تقدمًا في السوق. ووفقًا لقياسات Databricks، فإنه يتفوق على GPT-3.5 وينافس Gemini 1.0 Pro وMistral Medium في معايير مختلفة، بما في ذلك المعرفة العامة، والتفكير المنطقي، والبرمجة، والمنطق الرياضي.

على سبيل المثال، في معيار MMLU، الذي يقيس فهم اللغة، حقق DBRX Instruct درجة 73.7%، متفوقًا على درجة GPT-3.5 المعلنة والبالغة 70.0%. وفي معيار HellaSwag للاستدلال المنطقي، حقق DBRX Instruct درجة رائعة بلغت 89.0%، متجاوزًا نسبة 3.5% التي حققها GPT-85.5.

يتألق DBRX Instruct حقًا، حيث حقق دقة رائعة بنسبة 70.1% وفقًا لمعيار HumanEval، متفوقًا ليس فقط على GPT-3.5 (48.1%) ولكن أيضًا على نموذج CodeLLaMA-70B Instruct المتخصص (67.8%).

وتسلط هذه النتائج الاستثنائية الضوء على تنوع DBRX وقدرته على التفوق في مجموعة متنوعة من المهام، بدءًا من فهم اللغة الطبيعية إلى البرمجة المعقدة وحل المشكلات الرياضية.

كفاءة الاستدلال وقابلية التوسع: من أهم مزايا بنية MoE في DBRX كفاءتها أثناء الاستدلال. بفضل التنشيط المحدود للمعلمات، يمكن لـ DBRX تحقيق معدل استدلال أسرع بمرتين إلى ثلاث مرات من النماذج الكثيفة بنفس إجمالي عدد المعلمات.

بالمقارنة مع LLaMA2-70B، وهو برنامج LLM مشهور ومفتوح المصدر، لا يُظهر DBRX جودة أعلى فحسب، بل يتميز أيضًا بضعف سرعة الاستدلال تقريبًا، على الرغم من وجود ما يقرب من نصف عدد المعلمات النشطة. تجعل هذه الكفاءة من DBRX خيارًا جذابًا للنشر في مجموعة واسعة من التطبيقات، بدءًا من إنشاء المحتوى وحتى تحليل البيانات وما بعده.

علاوة على ذلك، قامت Databricks بتطوير حزمة تدريب قوية تسمح للمؤسسات بتدريب نماذج فئة DBRX الخاصة بها من الصفر أو مواصلة التدريب فوق نقاط التفتيش المتوفرة. تعمل هذه القدرة على تمكين الشركات من الاستفادة من الإمكانات الكاملة لـ DBRX وتخصيصها وفقًا لاحتياجاتهم المحددة، مما يزيد من ديمقراطية الوصول إلى تكنولوجيا LLM المتطورة.

إمكانية الوصول والتكامل

تماشيًا مع مهمتها المتمثلة في تعزيز الوصول المفتوح إلى الذكاء الاصطناعي، قامت Databricks بإتاحة DBRX من خلال قنوات متعددة. تتم استضافة أوزان كل من النموذج الأساسي (DBRX Base) والنموذج الدقيق (DBRX Instruct) على منصة Hugging Face الشهيرة، مما يسمح للباحثين والمطورين بتنزيل النموذج والعمل معه بسهولة.

بالإضافة إلى ذلك، مستودع نموذج DBRX متاح على GitHub، مما يوفر الشفافية ويتيح المزيد من الاستكشاف والتخصيص لكود النموذج.

بالنسبة لعملاء Databricks، يمكن الوصول بسهولة إلى DBRX Base وDBRX Instruct عبر واجهات برمجة التطبيقات Databricks Foundation Model، مما يتيح التكامل السلس في سير العمل والتطبيقات الحالية. ولا يؤدي ذلك إلى تبسيط عملية النشر فحسب، بل يضمن أيضًا إدارة البيانات وأمانها لحالات الاستخدام الحساسة.

علاوة على ذلك، تم دمج DBRX بالفعل في العديد من المنصات والخدمات التابعة لجهات خارجية، مثل You.com وPerplexity Labs، مما أدى إلى توسيع نطاق وصولها وتطبيقاتها المحتملة. تُظهر عمليات التكامل هذه الاهتمام المتزايد بـ DBRX وقدراته، بالإضافة إلى الاعتماد المتزايد على LLMs المفتوحة عبر مختلف الصناعات وحالات الاستخدام.

قدرات السياق الطويل والجيل المعزز للاسترجاع إحدى الميزات البارزة لـ DBRX هي قدرته على التعامل مع مدخلات السياق الطويل، مع حد أقصى لطول السياق يبلغ 32,768 رمزًا مميزًا. تتيح هذه الإمكانية للنموذج معالجة وإنشاء النص استنادًا إلى معلومات سياقية واسعة النطاق، مما يجعله مناسبًا تمامًا لمهام مثل تلخيص المستندات والإجابة على الأسئلة واسترجاع المعلومات.

في المعايير التي تقيم أداء السياق الطويل، مثل KV-Pairs وHotpotQAXL، تفوقت DBRX Instruct على GPT-3.5 Turbo عبر أطوال التسلسل المختلفة ومواضع السياق.

يتفوق DBRX على النماذج مفتوحة المصدر القائمة في فهم اللغة (MMLU)، والبرمجة (HumanEval)، والرياضيات (GSM8K).