داخل DBRX: Databricks تطلق العنان لـ LLM قوية مفتوحة المصدر

في مجال نماذج اللغات الكبيرة (LLMs) الذي يتقدم بسرعة، ظهر نموذج قوي جديد - DBRX، نموذج مفتوح المصدر تم إنشاؤه بواسطة Databricks. تُحدث شهادة LLM هذه موجات من خلال أدائها المتطور عبر مجموعة واسعة من المعايير، حتى أنها تنافس قدرات عمالقة الصناعة مثل OpenAI's GPT-4.

يمثل DBRX علامة بارزة في إضفاء الطابع الديمقراطي على الذكاء الاصطناعي، حيث يوفر للباحثين والمطورين والشركات إمكانية الوصول المفتوح إلى نموذج لغة عالي المستوى. ولكن ما هو بالضبط DBRX، وما الذي يجعله مميزًا جدًا؟ في هذا الغوص التقني العميق، سنستكشف البنية المبتكرة وعملية التدريب والقدرات الرئيسية التي دفعت DBRX إلى طليعة مشهد LLM المفتوح.

ولادة DBRX كان إنشاء DBRX مدفوعًا بمهمة Databricks المتمثلة في جعل ذكاء البيانات في متناول جميع المؤسسات. باعتبارها شركة رائدة في منصات تحليل البيانات، أدركت Databricks الإمكانات الهائلة التي يتمتع بها حاملو شهادات LLM وشرعت في تطوير نموذج يمكن أن يضاهي أداء العروض الخاصة أو حتى يتفوق عليها.

وبعد أشهر من البحث المكثف والتطوير والاستثمار بملايين الدولارات، حقق فريق Databricks إنجازًا كبيرًا مع DBRX. إن أداء النموذج المثير للإعجاب على نطاق واسع من المعايير، بما في ذلك فهم اللغة والبرمجة والرياضيات، قد ساهم في ترسيخه باعتباره نموذجًا جديدًا من أحدث ما توصلت إليه العلوم في ماجستير إدارة الأعمال المفتوحة.

العمارة المبتكرة

قوة مزيج الخبراء يكمن جوهر أداء DBRX الاستثنائي في بنيتها المبتكرة لمزيج الخبراء (MoE). يمثل هذا التصميم المتطور خروجًا عن النماذج التقليدية الكثيفة، ويعتمد نهجًا متناثرًا يعزز كلاً من كفاءة التدريب المسبق وسرعة الاستدلال.

في إطار عمل وزارة التربية والتعليم، يتم تفعيل مجموعة مختارة فقط من المكونات، تسمى "الخبراء"، لكل مدخلات. يسمح هذا التخصص للنموذج بمعالجة مجموعة واسعة من المهام بمهارة أكبر، مع تحسين الموارد الحسابية أيضًا.

تأخذ DBRX هذا المفهوم إلى أبعد من ذلك من خلال بنية MoE الدقيقة الحبيبات. على عكس بعض نماذج وزارة التربية والتعليم الأخرى التي تستخدم عددًا أقل من الخبراء الأكبر، توظف DBRX 16 خبيرًا، مع أربعة خبراء نشطين لأي مدخلات معينة. يوفر هذا التصميم مجموعات مذهلة من الخبراء أكبر بـ 65 مرة، مما يساهم بشكل مباشر في أداء DBRX المتفوق.

تتميز DBRX بالعديد من الميزات المبتكرة:

• ترميزات الموضع الدوار (RoPE): يعزز فهم مواضع الرمز المميز، وهو أمر بالغ الأهمية لإنشاء نص دقيق للسياق.
• الوحدات الخطية المسورة (GLU): يقدم آلية البوابات التي تعزز قدرة النموذج على تعلم الأنماط المعقدة بشكل أكثر كفاءة.
• انتباه الاستعلام المجمع (GQA): تحسين كفاءة النموذج من خلال تحسين آلية الانتباه.
• الترميز المتقدم: يستخدم رمز GPT-4 لمعالجة المدخلات بشكل أكثر فعالية.

تعتبر بنية وزارة التعليم مناسبة بشكل خاص لنماذج اللغات واسعة النطاق، لأنها تسمح بتوسيع نطاق أكثر كفاءة واستخدام أفضل للموارد الحسابية. ومن خلال توزيع عملية التعلم عبر شبكات فرعية متخصصة متعددة، يمكن لـ DBRX تخصيص البيانات والقوة الحسابية بشكل فعال لكل مهمة، مما يضمن مخرجات عالية الجودة والكفاءة المثلى.

بيانات التدريب الشاملة والتحسين الفعال في حين أن بنية DBRX مثيرة للإعجاب بلا شك، فإن قوتها الحقيقية تكمن في عملية التدريب الدقيقة والكم الهائل من البيانات التي تعرضت لها. تم تدريب DBRX مسبقًا على 12 تريليون رمز مذهل من البيانات النصية والرمزية، وتم تنسيقها بعناية لضمان الجودة العالية والتنوع.

تمت معالجة بيانات التدريب باستخدام مجموعة أدوات Databricks، بما في ذلك Apache Spark لمعالجة البيانات، وUnity Catalog لإدارة البيانات وحوكمتها، وMLflow لتتبع التجارب. أتاحت مجموعة الأدوات الشاملة هذه لفريق Databricks إدارة مجموعة البيانات الضخمة واستكشافها وتحسينها بشكل فعال، مما يضع الأساس لأداء DBRX الاستثنائي.

ولزيادة تعزيز قدرات النموذج، استخدمت Databricks منهجًا ديناميكيًا للتدريب المسبق، مما أدى إلى تنويع مزيج البيانات بشكل مبتكر أثناء التدريب. سمحت هذه الإستراتيجية بمعالجة كل رمز مميز بشكل فعال باستخدام 36 مليار معلمة نشطة، مما أدى إلى نموذج أكثر شمولاً وقابلية للتكيف.

علاوة على ذلك، تم تحسين عملية التدريب في DBRX لتحقيق الكفاءة، والاستفادة من مجموعة أدوات ومكتبات Databricks الخاصة، بما في ذلك Composer وLLM Foundry وMegaBlocks وStreaming. ومن خلال استخدام تقنيات مثل تعلم المناهج واستراتيجيات التحسين المحسنة، حقق الفريق تحسنًا بمقدار أربعة أضعاف تقريبًا في كفاءة الحوسبة مقارنة بنماذجهم السابقة.

التدريب والهندسة المعمارية

تم تدريب DBRX باستخدام نموذج التنبؤ بالرمز المميز التالي على مجموعة بيانات ضخمة مكونة من 12 تريليون رمز مميز، مع التركيز على كل من النص والرمز. يُعتقد أن مجموعة التدريب هذه أكثر فعالية بكثير من تلك المستخدمة في النماذج السابقة، مما يضمن فهمًا غنيًا وقدرة على الاستجابة عبر المطالبات المتنوعة.

إن بنية DBRX ليست مجرد شهادة على براعة Databricks التقنية ولكنها تسلط الضوء أيضًا على تطبيقها عبر قطاعات متعددة. من تعزيز تفاعلات chatbot إلى تشغيل مهام تحليل البيانات المعقدة، يمكن دمج DBRX في مجالات متنوعة تتطلب فهمًا دقيقًا للغة.

ومن اللافت للنظر أن DBRX Instruct ينافس بعض النماذج المغلقة الأكثر تقدمًا في السوق. وفقًا لقياسات Databricks، فهي تتفوق على GPT-3.5 وتتنافس مع Gemini 1.0 Pro وMistral Medium عبر معايير مختلفة، بما في ذلك المعرفة العامة والتفكير المنطقي والبرمجة والتفكير الرياضي.

على سبيل المثال، في معيار MMLU، الذي يقيس فهم اللغة، حقق DBRX Instruct درجة 73.7%، متفوقًا على نتيجة GPT-3.5 التي تبلغ 70.0%. في معيار المنطق المنطقي HellaSwag، سجلت DBRX Instruct نسبة مذهلة بلغت 89.0%، متجاوزة نسبة GPT-3.5 البالغة 85.5%.

يتألق DBRX Instruct حقًا، حيث حقق دقة رائعة بنسبة 70.1% وفقًا لمعيار HumanEval، متفوقًا ليس فقط على GPT-3.5 (48.1%) ولكن أيضًا على نموذج CodeLLaMA-70B Instruct المتخصص (67.8%).

تسلط هذه النتائج الاستثنائية الضوء على تنوع DBRX وقدرته على التفوق عبر مجموعة متنوعة من المهام، بدءًا من فهم اللغة الطبيعية وحتى البرمجة المعقدة وحل المشكلات الرياضية.

الاستدلال الفعال وقابلية التوسع إحدى المزايا الرئيسية لبنية MoE الخاصة بـ DBRX هي كفاءتها أثناء الاستدلال. بفضل التنشيط المتناثر للمعلمات، يمكن لـ DBRX تحقيق إنتاجية استدلالية أسرع بما يصل إلى مرتين إلى ثلاث مرات من النماذج الكثيفة التي لها نفس إجمالي عدد المعلمات.

بالمقارنة مع LLaMA2-70B، وهو برنامج LLM مشهور ومفتوح المصدر، لا يُظهر DBRX جودة أعلى فحسب، بل يتميز أيضًا بضعف سرعة الاستدلال تقريبًا، على الرغم من وجود ما يقرب من نصف عدد المعلمات النشطة. تجعل هذه الكفاءة من DBRX خيارًا جذابًا للنشر في مجموعة واسعة من التطبيقات، بدءًا من إنشاء المحتوى وحتى تحليل البيانات وما بعده.

علاوة على ذلك، قامت Databricks بتطوير حزمة تدريب قوية تسمح للمؤسسات بتدريب نماذج فئة DBRX الخاصة بها من الصفر أو مواصلة التدريب فوق نقاط التفتيش المتوفرة. تعمل هذه القدرة على تمكين الشركات من الاستفادة من الإمكانات الكاملة لـ DBRX وتخصيصها وفقًا لاحتياجاتهم المحددة، مما يزيد من ديمقراطية الوصول إلى تكنولوجيا LLM المتطورة.

إمكانية الوصول والتكامل

تماشيًا مع مهمتها المتمثلة في تعزيز الوصول المفتوح إلى الذكاء الاصطناعي، قامت Databricks بإتاحة DBRX من خلال قنوات متعددة. تتم استضافة أوزان كل من النموذج الأساسي (DBRX Base) والنموذج الدقيق (DBRX Instruct) على منصة Hugging Face الشهيرة، مما يسمح للباحثين والمطورين بتنزيل النموذج والعمل معه بسهولة.

بالإضافة إلى ذلك، مستودع نموذج DBRX متاح على GitHub، مما يوفر الشفافية ويتيح المزيد من الاستكشاف والتخصيص لرمز النموذج.

بالنسبة لعملاء Databricks، يمكن الوصول بسهولة إلى DBRX Base وDBRX Instruct عبر واجهات برمجة التطبيقات Databricks Foundation Model، مما يتيح التكامل السلس في سير العمل والتطبيقات الحالية. ولا يؤدي ذلك إلى تبسيط عملية النشر فحسب، بل يضمن أيضًا إدارة البيانات وأمانها لحالات الاستخدام الحساسة.

علاوة على ذلك، تم دمج DBRX بالفعل في العديد من المنصات والخدمات التابعة لجهات خارجية، مثل You.com وPerplexity Labs، مما أدى إلى توسيع نطاق وصولها وتطبيقاتها المحتملة. تُظهر عمليات التكامل هذه الاهتمام المتزايد بـ DBRX وقدراته، بالإضافة إلى الاعتماد المتزايد على LLMs المفتوحة عبر مختلف الصناعات وحالات الاستخدام.

قدرات السياق الطويل والجيل المعزز للاسترجاع إحدى الميزات البارزة لـ DBRX هي قدرته على التعامل مع مدخلات السياق الطويل، مع حد أقصى لطول السياق يبلغ 32,768 رمزًا مميزًا. تتيح هذه الإمكانية للنموذج معالجة وإنشاء النص استنادًا إلى معلومات سياقية واسعة النطاق، مما يجعله مناسبًا تمامًا لمهام مثل تلخيص المستندات والإجابة على الأسئلة واسترجاع المعلومات.

في المعايير التي تقيم أداء السياق الطويل، مثل KV-Pairs وHotpotQAXL، تفوقت DBRX Instruct على GPT-3.5 Turbo عبر أطوال التسلسل المختلفة ومواضع السياق.

يتفوق DBRX على النماذج مفتوحة المصدر القائمة في فهم اللغة (MMLU)، والبرمجة (HumanEval)، والرياضيات (GSM8K).